AGI Hunt· john__allard·· 1 小时前AI 评分32
Yann LeCun 旧幻灯片断言自回归 LLM 注定失败,误差将指数级发散
LeCun「自回归 LLM 注定失败」旧幻灯片被翻出,断言误差指数级发散
AI 导读
Yann LeCun 一张旧幻灯片《Auto-Regressive Generative Models Suck!》被翻出,断言自回归 LLM“注定失败”,无法保证事实性与可控性。若每个 token 的误差概率为 e,长度 n 的回答正确率按 (1-e)^n 指数衰减,且不经重大重新设计无法修复;幻灯片引用了 Dziri 等人的 ArXiv:2305.18654 论文。
来源:AGI Hunt · agihunt.info