提示选项顺序变化会改变大模型答案

helloiamleonie 展示了一个实例：在提示中给 LLM 提供多个选项时，仅调换选项的排列顺序，模型每次给出的答案就不同。作者称这种顺序敏感性会使评测或决策类提示的结果不稳定，实际使用时需要加以注意。 该案例说明，同一提示的选项排列方式可影响模型输出，因此依赖单次问答结果的评测结论可能因顺序调整而波动。

AI 根据报道生成 · 33 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。