antirez 与网友激辩：LLM 隐状态不是编码器，只装下预测下一个 token 所需信息

antirez 在讨论 JEPA vs LLM 与 platonic representation hypothesis 时澄清，LLM 最后位置的隐状态只携带预测下一个 token 所需的信息，并非完整内部表征。网友认为 token k+100 的交叉熵梯度会经过 token k 的嵌入，antirez 则指出过去位置的隐状态具有因果性，且未为相似性目标训练，用作成对相似度检索不如真正的编码器。