AGI Hunt· srchvrs·· 3 小时前AI 评分34
EMNLP 2026 Findings 论文《To MRL or not to MRL》:非 MRL 模型嵌入对截断出乎意料地稳健
EMNLP 论文:非 MRL 模型嵌入对截断出乎意料地稳健
AI 导读
Takeshita 等人的 EMNLP 2026 Findings 论文《To MRL or not to MRL》发现,随机截断的稳健性未必源于 MRL 训练。多个模型和下游任务的对比显示,除非嵌入压缩至少 80%,非 MRL 模型的截断嵌入与 MRL 模型相当甚至更好;MRL 还会增加训练成本并要求预先确定截断维度,代码已开源可复现。
来源:AGI Hunt · agihunt.info