LLM 400k 上下文的信息量账本：token 仅占 0.00082%

Sauers 用算术回应“LLM 输出离散 token 所以本质不连续”的说法，认为 token 只是连续过程的中间读出。以 400k 上下文为例，过去 token 身份信息约 6,885,242 bits，而 KV cache 达约 838,860,800,000 bits，token 仅占模型可用历史信息约 0.00082%。