Qwen3-4B混合注意力长回答实测占优
热点事件持续更新
Qwen3-4B混合注意力长回答实测占优
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者在相同KV-cache预算和4.1B token训练量下，将Qwen3-4B蒸馏为纯滑动窗口注意力（SWA）与SWA+mLSTM混合架构（Bifocal）进行比较。混合架构在长数学回答任务中的解题数为纯SWA的1.8倍，pass@1为4.4%，后者为2.5%；该任务包含96道约7.6K token、答案超过4K token的题目。短回答任务中两者表现接近，pass@1分别约为59.1%和59.6%。
AI 根据报道生成 · 2 小时前更新
最新进展11月3日 14:31
Qwen3-4B 蒸馏变体实测：长回答任务中 SWA+mLSTM 混合架构胜过纯滑动窗口注意力报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- AGI HuntQwen3-4B 蒸馏变体实测：长回答任务中 SWA+mLSTM 混合架构胜过纯滑动窗口注意力
研究者在相同 KV-cache 预算和 4.1B token 训练量下，将 Qwen3-4B 蒸馏为纯 SWA 与 SWA+mLSTM 混合架构（Bifocal）进行实测。长数学回答任务中，混合架构解题数为纯 SWA 的 1.8 倍，pass@1 为 4.4% 对 2.5%；短回答任务两者基本打平，pass@1 约 59.1% 对 59.6%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。