AGI Hunt· Sauers_·· 2 小时前AI 评分43
研究者驳斥「LLM 输出本质离散」论:token 只是连续过程的采样
研究者驳「LLM 输出离散不连续」论:token 只是连续过程的采样
AI 导读
Sauers 驳斥了「LLM 因按离散 token 输出而本质上不连续」的观点,认为 token 仅是底层连续计算过程的中间读出,不能把采样点等同于过程本身。他估算 token 所携带的信息仅占模型可用历史信息约 0.00001%,模型内部状态则是连续演化的。
来源:AGI Hunt · agihunt.info