AGI Hunt· tomaarsen·· 2 小时前AI 评分43
MLM 头初始化重缩放修复 SPLADE 训练崩溃,GTE-MLM 仍保持领先
MLM 头初始化重缩放修复 SPLADE 训练崩溃,GTE-MLM 依旧无敌
AI 导读
Jang 等人在论文《Rescaling MLM-Head for Neural Sparse Retrieval》中提出,初始化时将 MLM 头投影乘以常数因子 k,以零成本方式稳定 SPLADE 类学习式稀疏检索训练。
来源:AGI Hunt · agihunt.info