面壁智能开源 DHA 跨层混合注意力架构，性能超越全注意力

面壁智能（Nanbeige）发布并开源 Depth Hybrid Attention（DHA）架构研究，在混合注意力中引入深度方向的 value 混合，使各注意力层能够选择性利用跨层信息。实验显示，该混合架构性能超越全注意力模型，为大模型架构提供了新的效率与效果权衡方向。