AGI Hunt· kastnerkyle·· 3 小时前AI 评分49
MIT 研究揭示:给 LLM 权重加噪免训练提升推理,实为“伪装的采样”
MIT 研究揭示:往 LLM 权重加噪声免训练提升推理,实为伪装的采样
AI 导读
MIT 一项研究揭示,Neural Thickets 通过给 LLM 权重加入随机噪声、保留最优副本并让它们投票,无需训练即可提升推理能力。其原理实为“伪装的采样”:在数十亿权重上施加噪声扰动,可替换为在 logits 上加入随机向量,说明增益来自解码端随机性,而非权重改变。
来源:AGI Hunt · agihunt.info