跳到正文
热点事件持续更新

论文呼吁恢复公布模型校准曲线

1 篇报道1 个报道来源47 分钟前更新

先了解这件事

AI 综述

一篇被 NeurIPS 2026 接收的立场论文呼吁大语言模型技术报告重新公布校准曲线,以公开模型置信度与实际正确率的对应关系。论文作者称,自 GPT-4 之后,各主要模型技术报告几乎不再提供这类曲线。 论文以 GPT-4 技术报告为例,指出经 RLHF(PPO)后训练后,模型在 MMLU 子集上的 ECE 从约 0.007 升至 0.074;作者据此主张从训练、评估到部署重新重视校准,尤其用于需要可靠置信度的高风险决策场景。

AI 根据报道生成 · 32 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月10日
  1. AGI Hunt
    NeurIPS 论文:LLM 技术报告悄然删除校准曲线,作者呼吁回归

    一篇被 NeurIPS 2026 接收的立场论文指出,自 GPT-4 之后,各大 LLM 技术报告几乎不再公布校准曲线。GPT-4 技术报告数据显示,RLHF(PPO)后训练使 MMLU 子集上的 ECE 从约 0.007 升至 0.074,破坏模型置信度与实际正确率的对应。作者主张从训练、评估到部署重新重视校准,以支持高风险决策场景。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。