研究者提醒 LLM-as-a-judge 评测必须随机化位置与格式等信号

Antoine Chaffin 转引 hammermt 的实验提醒，LLM 裁判常偏向排在更前面的答案，而非质量更优的答案。他建议评测时随机化顺序、格式和位置等信号，避免可钻空子的优势误导模型质量判断。