架构创新重回大模型效率前沿

AGI Hunt 判断，大模型扩展规律正摆脱“架构无关”，架构创新重新成为提升效率的核心。其梳理称，2024年的改进主要来自宽度缩放，2025年转向稀疏混合专家模型（MoE）和更优扩展规律，2026年的重点则扩展到注意力、稀疏性、矩阵运算与深度缩放。 按该来源的估算，闭源模型的效率提升约为1倍、3倍、50倍，开源模型约为1倍、3倍、15至25倍；这些数字属于其分析结果，并非已经得到独立验证的结论。

AI 根据报道生成 · 18 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。