跳到正文
热点事件持续更新

重缩放MLM头稳定稀疏检索训练

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Jang等人在《Rescaling MLM-Head for Neural Sparse Retrieval》中提出,在初始化时将SPLADE类神经稀疏检索模型的MLM头投影乘以常数因子k,以零成本方式稳定训练,并保持GTE-MLM的领先表现。该方法不改变模型架构或训练目标。

AI 根据报道生成 · 57 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AGI Hunt
    MLM 头初始化重缩放修复 SPLADE 训练崩溃,GTE-MLM 仍保持领先

    Jang 等人在论文《Rescaling MLM-Head for Neural Sparse Retrieval》中提出,初始化时将 MLM 头投影乘以常数因子 k,以零成本方式稳定 SPLADE 类学习式稀疏检索训练。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。