跳到正文
AGI Hunt· kastnerkyle·· 3 小时前AI 评分50

Kyutai 等复现 Neural Thickets:冻结模型加 logit 偏置即可,无需权重扰动

Kyutai 等复现 Neural Thickets:收益无需权重扰动,冻结模型加 logit 偏置即可

AI 导读

Kyutai、Meta FAIR、UC Berkeley 与 Google DeepMind 复现 Neural Thickets 假说,发现性能收益不必依赖权重空间中的邻近专家。研究提出 Logit PSV:冻结模型并对输出 logits 加固定随机高斯偏置,即可匹敌或超过全权重扰动集成,收益主要来自输出多样化、验证集选择与多数投票。

来源:AGI Hunt · agihunt.info