irombie发布LLM评测纠错长文
热点事件持续更新
irombie发布LLM评测纠错长文
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
irombie发布长文《Your LLM Evaluation Is Lying to You》及代码，主张LLM评测结果会因推理非确定性、提示格式和裁判判断波动而失真，应通过重复运行、报告结果区间及检查裁判翻转来纠错。 文章称，Qwen3-235B在温度为0时运行1000次仍产生80种答案，使用batch-invariant kernels后才完全一致；空格、分隔符和大小写等保义变化曾使LLaMA-2-13B准确率最多相差76个百分点，同一评测5次的结果可落在73%至93%。因此，小于重复运行波动的差异不宜直接解释为模型能力变化。作者还提供可用--mock模式、无需API key运行的仓库及judgeflip.py，用于测试评测裁判是否会发生判断翻转。
AI 根据报道生成 · 2 小时前更新
最新进展10月30日 18:39
Qwen3 温度 0 跑 1000 次得 80 种回答：你的 LLM 评测为何在说谎报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- AGI HuntQwen3 温度 0 跑 1000 次得 80 种回答：你的 LLM 评测为何在说谎
文章以 Qwen3-235B 在温度 0 下运行 1000 次得到 80 种回答为例，说明 LLM 推理并非完全确定性，使用 batch-invariant kernels 后可实现 1000 次结果完全一致。格式化分隔符、空格和大小写等保义变化，曾令 LLaMA-2-13B 准确率最多移动 76 个点；同一评测 5 次结果也可能落在 73%~93%，因此评测应报告重跑区间。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。