跳到正文
AGI Hunt· tomaarsen·· 2 小时前AI 评分43

MLM 头初始化重缩放修复 SPLADE 训练崩溃,GTE-MLM 仍保持领先

MLM 头初始化重缩放修复 SPLADE 训练崩溃,GTE-MLM 依旧无敌

AI 导读

Jang 等人在论文《Rescaling MLM-Head for Neural Sparse Retrieval》中提出,初始化时将 MLM 头投影乘以常数因子 k,以零成本方式稳定 SPLADE 类学习式稀疏检索训练。

来源:AGI Hunt · agihunt.info