Qwen3-4B 蒸馏变体实测：长回答任务中 SWA+mLSTM 混合架构胜过纯滑动窗口注意力

研究者在相同 KV-cache 预算和 4.1B token 训练量下，将 Qwen3-4B 蒸馏为纯 SWA 与 SWA+mLSTM 混合架构（Bifocal）进行实测。长数学回答任务中，混合架构解题数为纯 SWA 的 1.8 倍，pass@1 为 4.4% 对 2.5%；短回答任务两者基本打平，pass@1 约 59.1% 对 59.6%。