跳到正文
AGI Hunt· john__allard·· 1 小时前AI 评分32

Yann LeCun 旧幻灯片断言自回归 LLM 注定失败,误差将指数级发散

LeCun「自回归 LLM 注定失败」旧幻灯片被翻出,断言误差指数级发散

AI 导读

Yann LeCun 一张旧幻灯片《Auto-Regressive Generative Models Suck!》被翻出,断言自回归 LLM“注定失败”,无法保证事实性与可控性。若每个 token 的误差概率为 e,长度 n 的回答正确率按 (1-e)^n 指数衰减,且不经重大重新设计无法修复;幻灯片引用了 Dziri 等人的 ArXiv:2305.18654 论文。

来源:AGI Hunt · agihunt.info