AGI Hunt· cneuralnetwork·· 2 小时前AI 评分40
Top-b 采样法:用香农熵动态调整采样范围,Gemma 3 4B 上 GSM8K 方差降近 10 倍
Top-b 采样法:用香农熵动态调采样范围,GSM8K 方差降近 10 倍
AI 导读
cneuralnetwork 介绍一种无需重训模型的 Top-b 解码策略,通过香农熵动态调整候选 token 范围:模型有信心时收窄采样带,不确定时放宽以保留多样性。在 Gemma 3 4B 实测中,Top-b 的 GSM8K 准确率为 26.80%,高于 Top-p 的 26.13%,跨次运行方差降低近 10 倍;GPQA Diamond 准确率为 22.85%,为对比方法最高。
来源:AGI Hunt · agihunt.info