跳到正文
AGI Hunt· srchvrs·· 3 小时前AI 评分44

研究质疑 Matryoshka 嵌入优势

AI 导读

Takeshita 等人的实测发现,Matryoshka 表示学习(MRL)在嵌入维度压缩幅度小于 70% 时并不优于直接前缀截断,只有达到 80% 以上的重度压缩才显现优势。该结果挑战了业界多年对 MRL 的普遍认知,并在社区引发广泛讨论。

来源:AGI Hunt · agihunt.info