跳到正文
热点事件持续更新

LLNL测试9个模型的置信区间校准

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

劳伦斯利弗莫尔国家实验室让9个AI模型在热传导模拟实验中拟合数据、报告热导率及其95%置信区间,结果只有GPT-6 Astra和Claude Fable 5.2的区间覆盖真值,比例分别为94%和99%;多数模型实际覆盖率仅为20%—62%。 实验故意在模拟器中设置内部粘接点缺失、侧边漏热等物理缺陷,使拟合曲线看似准确但答案偏差最高达12%。Claude 5.5在最高推理档位可恢复诊断能力,但需消耗13—31倍推理token。

AI 根据报道生成 · 58 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    LLNL 基准测试:9 个模型中仅 2 个识破模拟器暗中错误

    Lawrence Livermore 国家实验室让 9 个 AI 模型在包含物理缺陷的模拟环境中完成实验任务,仅 GPT-6 Astra 和 Claude Fable 5.2 的 95% 置信区间分别有 94% 和 99% 的覆盖率。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。