AGORA 论文：用 IRT 免标注加权 LLM 评委，小样本下反超 Dawid-Skene

AGORA 论文利用 IRT 将评测项映射到同一潜在质量尺度，并以敏感度参数和有序评分阈值刻画评委可靠性，无需人工标注即可学习信任权重。三个基准显示，大评测集上其表现与 Dawid-Skene 持平或更优，评测集缩小到几百条时优势扩大，并提供可试用实现。