可解释性实验：稀疏 MoE 残差激活的特征质量胜过稠密激活

可解释性实验发现，在相近规模下，稀疏 MoE 残差激活的主观可解释性似乎优于稠密激活，即使后者的 FVU 更低。实验使用 trinity large truebase 和 Claude 3 Opus 提取特征；Opus 3 的特征标签质量优于 Opus 5.5，表明特征标签质量与 FVU 可能不同步，模型代际更新也未必改善可解释性。