Goodfire 神经元稀疏性论文遭研究者质疑

GoodfireAI 的神经元稀疏性论文遭研究者 Rylan Schaeffer 质疑，其消融 Mixtral 最弱的 92.2% 神经元仅使 loss 上升 2.9%的证据或不足以支撑功能稀疏性结论。Schaeffer 估算，这一结果相当于扔掉 50-90%的预训练算力。