SpecJudge征集LLM裁判置信度方案反馈
热点事件持续更新
SpecJudge征集LLM裁判置信度方案反馈
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
SpecJudge作者jokiruiz正就LLM裁判的置信度报告公开征集社区反馈，目前倾向以“6项信号满足4项”等候选标法替代模型自报0—100分，但方案尚未定稿。作者称，小模型自报置信度不构成证据，三态评级又过于粗糙，百分数还会诱导不同项目进行不可比评分，给装饰性猜测制造虚假精度。 SpecJudge通过读取项目规范和任务文件，用本地LLM推荐适配模型；每项评级必须引用规范原文，否则作废。作者重点询问各方案会如何被误读、应采取何种行动，以及所选置信度信号是否有效。
AI 根据报道生成 · 1 小时前更新
最新进展11月4日 18:42
SpecJudge 作者谈 LLM-as-judge 置信度：拒绝 0-100 分的两套替代方案报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- AGI HuntSpecJudge 作者谈 LLM-as-judge 置信度：拒绝 0-100 分的两套替代方案
开源工具 SpecJudge 用本地 LLM 做 judge，作者刻意不问模型「你有多自信」，也不采用 0-100 分数。给出的三条理由是小模型的自报不是证据、sufficient/scarce/拒绝三态过粗、百分数会诱导不可比项目互比并给装饰性猜测披上精度外衣。
- AGI Hunt开源工具 SpecJudge 用本地 LLM 当裁判，公开征求置信度报告方案
开源工具 SpecJudge 通过读取项目 spec 与任务文件，使用本地 LLM 充当裁判推荐适配模型，并要求每个评级引用 spec 原文片段，否则评级作废。作者正公开征求社区对置信度报告方案的意见，比较「6 项信号满足 4 项」与「qualified」等标法，同时解释拒绝采用 0-100 打分的理由。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。