Sauers称Token只是连续计算的采样点
热点事件持续更新
Sauers称Token只是连续计算的采样点
3 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
研究者 Sauers 认为，语言模型输出离散 token，并不意味着其内部机制本质上离散；token 只是底层连续计算过程的中间读数，模型状态仍会连续演化。 他以 40 万 token 上下文估算，过去 token 的身份信息约 688 万比特，而 KV cache 约 8388.6 亿比特，token 占比约 0.00082%。这一结果不同于他早先约 0.00001% 的估算，但两者都用于说明 token 本身不足以代表模型利用的全部历史信息。
AI 根据报道生成 · 50 分钟前更新
最新进展11月11日 04:52
LLM 400k 上下文的信息量账本：token 仅占 0.00082%报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- AGI HuntLLM 400k 上下文的信息量账本：token 仅占 0.00082%
Sauers 用算术回应“LLM 输出离散 token 所以本质不连续”的说法，认为 token 只是连续过程的中间读出。以 400k 上下文为例，过去 token 身份信息约 6,885,242 bits，而 KV cache 达约 838,860,800,000 bits，token 仅占模型可用历史信息约 0.00082%。
- AGI Hunt研究者 Sauers 澄清：LLM 并非离散系统，token 是连续过程采样读数
研究者 Sauers 反驳“LLM 输出离散 token 因而本质离散”的观点，指出 token 只是底层连续计算过程的中间读数与采样点。该讨论澄清了外界对 LLM 工作机制的误解。
- AGI Hunt研究者驳斥「LLM 输出本质离散」论：token 只是连续过程的采样
Sauers 驳斥了「LLM 因按离散 token 输出而本质上不连续」的观点，认为 token 仅是底层连续计算过程的中间读出，不能把采样点等同于过程本身。他估算 token 所携带的信息仅占模型可用历史信息约 0.00001%，模型内部状态则是连续演化的。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。