AGI Hunt· _reachsumit·· 3 小时前AI 评分41
数据受限稠密检索的 Scaling Law:BERT 系检索器符合乘性幂律
AI 导读
研究在 MS MARCO 子集上微调 35 个 BERT 系稠密检索器,发现数据受限场景下最优可达评估损失(MAEL)可由非嵌入参数量与唯一样本数的乘性幂律准确刻画。研究还推导出达到 MAEL 的训练步数 scaling law,并发现最优 weight decay 近似遵循不变的 EMA 时间尺度,在域内与域外基准上均取得更低损失和更强检索性能。
来源:AGI Hunt · agihunt.info