AGI Hunt 整理开源模型注意力机制对比图

AGI Hunt 整理并分享了一张主流开源权重模型的注意力机制全景图，涵盖十余个模型，并把架构分为全注意力、滑窗注意力和线性混合三类路线。图中列出 MAI-Base-2、Kimi K3.1 Pro、Qwen3.8 2.4T、GLM-5.3、DeepSeek-V4.1 等模型，标注了各自的 token-mixing 层数、全局/滑窗/稀疏/线性注意力的配比以及激活参数量，其中 MAI-Base-2 总参数 2.8T、激活参数 80B。 这张图由 AGI Hunt 制作分享，可作为对比各家模型架构取舍的参考资料；它呈现的是各模型公开标注的设计参数，本身不构成对模型性能优劣的验证。

AI 根据报道生成 · 51 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。