AGI Hunt· RylanSchaeffer·· 2 小时前AI 评分59
研究者质疑 Goodfire 可解释性论文：消融致 loss 升 2.9% 相当于损失 50%–90% 预训练算力
研究者质疑 Goodfire 可解释性论文：消融致 loss 升 2.9% 相当于扔掉九成算力
AI 导读
Rylan Schaeffer 质疑 Goodfire 可解释性论文中“神经元已是功能稀疏的”这一论据，认为消融最弱的 92.2% MoE 神经元后，语言模型 loss 上升 2.9% 并非温和。
来源：AGI Hunt · agihunt.info