LLNL测试9个模型的置信区间校准
热点事件持续更新
LLNL测试9个模型的置信区间校准
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
劳伦斯利弗莫尔国家实验室让9个AI模型在热传导模拟实验中拟合数据、报告热导率及其95%置信区间,结果只有GPT-6 Astra和Claude Fable 5.2的区间覆盖真值,比例分别为94%和99%;多数模型实际覆盖率仅为20%—62%。 实验故意在模拟器中设置内部粘接点缺失、侧边漏热等物理缺陷,使拟合曲线看似准确但答案偏差最高达12%。Claude 5.5在最高推理档位可恢复诊断能力,但需消耗13—31倍推理token。
AI 根据报道生成 · 58 分钟前更新
最新进展11月19日 02:01
LLNL 基准测试:9 个模型中仅 2 个识破模拟器暗中错误报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- AGI HuntLLNL 基准测试:9 个模型中仅 2 个识破模拟器暗中错误
Lawrence Livermore 国家实验室让 9 个 AI 模型在包含物理缺陷的模拟环境中完成实验任务,仅 GPT-6 Astra 和 Claude Fable 5.2 的 95% 置信区间分别有 94% 和 99% 的覆盖率。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。