LLM-as-judge 绝对打分偏差或已系统性污染模型排名

Andriy Burkov 介绍一项关于 LLM-as-judge 可靠性的系统研究，指出单一评审模型在绝对打分中会产生不对称的假阳性与假阴性。此类隐性错误可能在无人察觉时污染模型排名、误导部署决策，并扭曲自动化训练管线；研究还评估了评审模型行为如何随其自身能力等因素变化。