跳到正文
AGI Hunt· ziv_ravid·· 2 小时前AI 评分48

LeCun 等人论文解析:LLM 激进压缩牺牲语义丰富度

LeCun 等人论文:LLM 激进压缩牺牲语义丰富度,可解释性差的根源在此

AI 导读

LeCun 等人的 ICLR'26 论文以信息瓶颈框架解释 LLM 可解释性变差,认为激进压缩会牺牲语义丰富度。论文比较人类概念结构与 40+ 个 LLM 的嵌入表示,发现二者粗粒度类别边界大体一致,但 LLM 对细粒度语义的区分不及人类;encoder 模型的人类对齐表现还优于大得多的 decoder 模型。

来源:AGI Hunt · agihunt.info