研究称 LLM 裁判存在位置偏差，评测需全面随机化

研究者 hammermt 的实验与 antoinechaffin 的讨论指出，LLM 裁判存在强烈位置偏差，往往直接选择排在前的答案，而非真正更优者。评估 decider 类模型时需将答案顺序等所有因素随机化，否则评测结果可能失真并被投机利用。