约束解码对大模型推理的影响重估

Télécom Paris 与 Nokia Bell Labs 的论文重新评估约束解码对大语言模型推理的影响，提出格式约束、有效性和推理约束三类分类。基于4个模型家族、11个开源模型的因果实验，研究者认为，表面上的性能下降主要来自提示词与输出格式不等价，而非解码器屏蔽本身。 论文称，恰当的约束解码可以保持或提升模型性能，其中有效性约束和推理约束往往有助于提高回答的可靠性与准确率；这表明约束解码并非必然有害，效果取决于约束类型及约束与提示词的匹配程度。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。