一张图看懂主流开源模型的注意力机制：全注意力、滑窗与线性混合并存

AGI Hunt 整理主流开源模型注意力机制全景图，涵盖十余个模型及三类主要架构路线。图中列出 MAI-Base-2、Kimi K3.1 Pro、Qwen3.8 2.4T、GLM-5.3、DeepSeek-V4.1 等模型，并标注 token-mixing 层数、注意力配比与激活参数量；MAI-Base-2 总参为 2.8T，激活参数为 80B。