跳到正文
AGI Hunt· jokiruiz·· 3 小时前AI 评分64

SpecJudge 作者谈 LLM-as-judge 置信度:拒绝 0-100 分的两套替代方案

LLM-as-judge 该怎么报置信度?开发者拒绝 0-100 分的三条理由

AI 导读

开源工具 SpecJudge 用本地 LLM 做 judge,作者刻意不问模型「你有多自信」,也不采用 0-100 分数。给出的三条理由是小模型的自报不是证据、sufficient/scarce/拒绝三态过粗、百分数会诱导不可比项目互比并给装饰性猜测披上精度外衣。

来源:AGI Hunt · agihunt.info