AGORA用IRT加权无标注LLM评委
热点事件持续更新
AGORA用IRT加权无标注LLM评委
1 篇报道1 个报道来源55 分钟前更新
先了解这件事
AI 综述
AGORA研究团队提出AGORA方法，利用项目反应理论将评测项映射到统一质量尺度，并通过敏感度和有序评分阈值刻画评委可靠性，无需人工标注即可联合学习各评委的信任权重。 论文在三个基准上的结果显示，AGORA在大评测集上的表现与Dawid-Skene持平或更优；当评测集缩小至几百条时，其优势扩大，并提供了可试用实现。
AI 根据报道生成 · 47 分钟前更新
最新进展11月12日 10:54
AGORA 论文：用 IRT 免标注加权 LLM 评委，小样本下反超 Dawid-Skene报道时间线
沿着报道，了解事件的不同侧面。
11月12日
- AGI HuntAGORA 论文：用 IRT 免标注加权 LLM 评委，小样本下反超 Dawid-Skene
AGORA 论文利用 IRT 将评测项映射到同一潜在质量尺度，并以敏感度参数和有序评分阈值刻画评委可靠性，无需人工标注即可学习信任权重。三个基准显示，大评测集上其表现与 Dawid-Skene 持平或更优，评测集缩小到几百条时优势扩大，并提供可试用实现。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。