跳到正文
AGI Hunt· alex_verem·· 4 小时前AI 评分66

用20道人工题搭建LLM答案评分闭环

评测四则:用20道人工题搭一套LLM答案评分闭环

AI 导读

一种 LLM 答案评分方法从团队已有人工回答的问题中选取20道,写下标准答案和理由,再用第二个模型按1-100分评分。低于90分的回答转人工复核,90分及以上直接发布,并在修改提示词、工具或模型后全量重跑。每周人工抽查评分器并跟踪转人工比例,模型答错的案例会加入测试集。

来源:AGI Hunt · agihunt.info