面壁开源DHA跨层混合注意力

面壁智能发布并开源 Depth Hybrid Attention（DHA）跨层混合注意力架构研究；其实验模型性能超过全注意力模型，为大模型在效果与效率之间提供新的架构选择。 DHA在混合注意力中加入深度方向的value混合，使不同注意力层可选择性利用跨层信息，减少对完整全注意力计算的依赖。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。