BERT系检索器缩放规律：乘性幂律

研究团队在 MS MARCO 子集上微调了 35 个 BERT 系稠密检索器，发现数据受限场景下最优可达评估损失（MAEL）可由非嵌入参数量与唯一样本数的乘性幂律准确刻画，效果优于常用的加性公式；研究还推导出达到 MAEL 所需的训练步数 scaling law，并发现最优 weight decay 近似遵循不变的 EMA 时间尺度，这些设置在域内和域外基准上都取得了更低损失和更强检索性能。 这意味着在训练数据受限的检索模型上，规模与数据量的关系可被量化预测，为选择模型大小、数据量和训练时长提供了依据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。