跳到正文
AGI Hunt· antirez·· 3 小时前AI 评分39

antirez 澄清:LLM 隐藏态并非完整内部表征

antirez 澄清常见误解:LLM 隐藏态并非完整内部表征

AI 导读

antirez(Redis 作者)澄清,LLM 的隐藏状态只携带预测下一个 token 所需的信息,并不承载模型内部的完整表征。他指出,LLM 不是编码器,不能将其隐藏态与 JEPA 的表征空间直接类比,否则混淆两类架构状态会导向错误的比较结论。

来源:AGI Hunt · agihunt.info