跳到正文
热点事件持续更新

用20道人工题构建LLM评分闭环

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

团队从已有的人工回答问题中选取20道题,写明标准答案和评分理由,再用第二个模型按1—100分评价回答,形成“模型评分—低分人工复核—达标发布”的闭环。 回答修改提示词、工具或模型后,系统会重新运行全部题目;团队每周人工抽查评分器并跟踪转人工比例,将模型答错的案例加入测试集。90分及以上可直接发布,低于90分则转人工复核。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. AGI Hunt
    用20道人工题搭建LLM答案评分闭环

    一种 LLM 答案评分方法从团队已有人工回答的问题中选取20道,写下标准答案和理由,再用第二个模型按1-100分评分。低于90分的回答转人工复核,90分及以上直接发布,并在修改提示词、工具或模型后全量重跑。每周人工抽查评分器并跟踪转人工比例,模型答错的案例会加入测试集。

本事件热度走势

可比范围当前
9
可比范围峰值
1011月11日 07:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。