alphaXiv 推出 29 分钟图解可解释性指南：从特征可视化到 SAE

alphaXiv 发布一篇阅读时长 29 分钟的图解可解释性指南，回应业界关于能否逆向工程 LLM 的争论。内容从特征可视化、SHAP、积分梯度与 circuit tracing 延伸至 attention heads、残差流、消融、激活补丁、探针、多义性、叠加和 SAE。指南强调，模型可能因错误的原因给出正确答案，因此可解释性研究仍有必要。