跳到正文
AGI Hunt· Ambroise Odonnat·· 2 小时前AI 评分51

14万次线性探测实验揭示 Transformer 最佳探测点分布于多个模块

14万次线性探测实验:最佳探测点遍布Transformer各模块而非末层

AI 导读

一项研究系统考察 Transformer 基础模型中应探测的层与模块,发现联合选择 8 个模块得到的探测特征优于仅按深度或使用末层。实验超过 14 万次线性探测评估,覆盖 15 个视觉基础模型、18 个数据集、9 个 LLM 和 24 个 MTEB 任务,简单固定策略可恢复大部分增益。

来源:AGI Hunt · agihunt.info