跳到正文
AGI Hunt· srchvrs·· 3 小时前AI 评分34

EMNLP 2026 Findings 论文《To MRL or not to MRL》:非 MRL 模型嵌入对截断出乎意料地稳健

EMNLP 论文:非 MRL 模型嵌入对截断出乎意料地稳健

AI 导读

Takeshita 等人的 EMNLP 2026 Findings 论文《To MRL or not to MRL》发现,随机截断的稳健性未必源于 MRL 训练。多个模型和下游任务的对比显示,除非嵌入压缩至少 80%,非 MRL 模型的截断嵌入与 MRL 模型相当甚至更好;MRL 还会增加训练成本并要求预先确定截断维度,代码已开源可复现。

来源:AGI Hunt · agihunt.info