权重噪声提升推理被解读为采样
热点事件持续更新
权重噪声提升推理被解读为采样
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
MIT一项研究提出 Neural Thickets，通过给大语言模型权重加入随机噪声、保留表现最佳的副本并让其投票，在无需训练的情况下提升推理表现。 nicodufour进一步解读称，这种权重噪声本质上等同于在 logits 上加入随机向量；替换实现方式后仍可获得相同增益，说明改进主要来自解码阶段的随机采样，而非权重本身发生改变。
AI 根据报道生成 · 1 小时前更新
最新进展10月31日 09:17
MIT 研究揭示：给 LLM 权重加噪免训练提升推理，实为“伪装的采样”报道时间线
沿着报道，了解事件的不同侧面。
10月31日
- AGI HuntMIT 研究揭示：给 LLM 权重加噪免训练提升推理，实为“伪装的采样”
MIT 一项研究揭示，Neural Thickets 通过给 LLM 权重加入随机噪声、保留最优副本并让它们投票，无需训练即可提升推理能力。其原理实为“伪装的采样”：在数十亿权重上施加噪声扰动，可替换为在 logits 上加入随机向量，说明增益来自解码端随机性，而非权重改变。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。