teortaxesTex 预测 3 个月内将出现支持 1000 万 token 上下文的可行开源模型

AI 研究博主 teortaxesTex 预测，3 个月内将出现标称支持 1000 万 token 上下文的可行开源模型。其对 DeepSeek V4.1 长上下文架构的修订方案以线性 logits 替代 ReLU 打分，用 4 个共享索引器键构建 ZHA 树，并维持固定选择预算。该方案可使每步注意力读取量大致持平，但存储仍随上下文线性增长。