Top-b动态采样降低模型输出波动
热点事件持续更新
Top-b动态采样降低模型输出波动
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
博主 cneuralnetwork 提出 Top-b 熵自适应采样策略，通过香农熵动态调整候选 token 范围，无需重训模型；在 Gemma 3 4B 实测中，GSM8K 准确率为 26.80%，高于 Top-p 的 26.13%，跨次运行方差降低近10倍，GPQA Diamond 准确率为 22.85%。 与 Top-k、Top-p 等固定参数采样相比，Top-b 在模型信心较高时收窄采样范围，不确定性较高时扩大范围，以兼顾生成稳定性和多样性。该策略目前仅见于所述 Gemma 3 4B 测试。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 00:55
Top-b 采样法：用香农熵动态调整采样范围，Gemma 3 4B 上 GSM8K 方差降近 10 倍报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- AGI HuntTop-b 采样法：用香农熵动态调整采样范围，Gemma 3 4B 上 GSM8K 方差降近 10 倍
cneuralnetwork 介绍一种无需重训模型的 Top-b 解码策略，通过香农熵动态调整候选 token 范围：模型有信心时收窄采样带，不确定时放宽以保留多样性。在 Gemma 3 4B 实测中，Top-b 的 GSM8K 准确率为 26.80%，高于 Top-p 的 26.13%，跨次运行方差降低近 10 倍；GPQA Diamond 准确率为 22.85%，为对比方法最高。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。