Schaeffer质疑Goodfire神经元稀疏性论证
热点事件持续更新
Schaeffer质疑Goodfire神经元稀疏性论证
3 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Rylan Schaeffer质疑Goodfire关于Mixtral神经元已具功能稀疏性的结论：消融最弱的92.2%神经元后，模型loss上升2.9%。他依据10^21—10^26 FLOP区间的预训练scaling law估算，这一变化相当于损失约50%—90%的预训练算力，因此认为仅看loss增幅会低估消融代价，尚不足以支撑功能稀疏性判断。
AI 根据报道生成 · 1 小时前更新
最新进展11月14日 02:14
研究者质疑 Goodfire 可解释性论文：消融致 loss 升 2.9% 相当于损失 50%–90% 预训练算力报道时间线
沿着报道，了解事件的不同侧面。
11月14日
- AGI Hunt研究者质疑 Goodfire 可解释性论文：消融致 loss 升 2.9% 相当于损失 50%–90% 预训练算力
Rylan Schaeffer 质疑 Goodfire 可解释性论文中“神经元已是功能稀疏的”这一论据，认为消融最弱的 92.2% MoE 神经元后，语言模型 loss 上升 2.9% 并非温和。
- AGI HuntGoodfire 神经元稀疏性论文遭研究者质疑
GoodfireAI 的神经元稀疏性论文遭研究者 Rylan Schaeffer 质疑，其消融 Mixtral 最弱的 92.2% 神经元仅使 loss 上升 2.9%的证据或不足以支撑功能稀疏性结论。Schaeffer 估算，这一结果相当于扔掉 50-90%的预训练算力。
- AGI HuntRylan Schaeffer反驳GoodfireAI神经元稀疏性结论：消融相当于丢弃50%-90%预训练算力
Rylan Schaeffer反驳GoodfireAI关于神经元功能稀疏性的结论，称消融最弱的92.2% MoE神经元后，语言模型loss增加2.9%并非温和变化。依据10^21-10^26 FLOP区间的预训练scaling law，这一增幅等价于丢弃约50%-90%的预训练算力；文章据此指出，仅看loss增幅会低估消融的实际代价。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。