AGI Hunt· patrickmineault·· 23 小时前AI 评分73
研究发现 ICA 解释 LLM 激活可媲美 SAE,参数内存节省 7–43 倍
老方法翻新:ICA 解释 LLM 激活可比肩 SAE,内存省 7–43 倍
AI 导读
研究者重新评估经典统计方法 ICA,发现它在 GPT-2 Small、Gemma 2 2B 和 Qwen 3.5 9B Base 上的可解释性、稀疏重建、概念预测及定向探针扰动表现与公开 SAE 相当。
来源:AGI Hunt · agihunt.info