Rylan Schaeffer反驳GoodfireAI神经元稀疏性结论：消融相当于丢弃50%-90%预训练算力

Rylan Schaeffer反驳GoodfireAI关于神经元功能稀疏性的结论，称消融最弱的92.2% MoE神经元后，语言模型loss增加2.9%并非温和变化。依据10^21-10^26 FLOP区间的预训练scaling law，这一增幅等价于丢弃约50%-90%的预训练算力；文章据此指出，仅看loss增幅会低估消融的实际代价。