Jev决策模型登榜引发校准讨论

Antoine Chaffin公布Jev Decision Index决策模型及技术报告，并称该模型在Hugging Face官方严格榜单取得世界第一；他还指出，榜单准确率排名未必直接反映模型能力。 据其分析，许多任务的AUC几乎相同时，准确率差异主要来自模型对yes/no比例的先验判断，以及在0.5阈值下的校准变化。合并全部问题打分还可能因校准抬高默认阈值表现，因此他主张榜单优先参考分布级指标，而非依赖与基准分布匹配的先验比例。他另称团队已将推理蒸馏进模型，但这一效果及其榜单排名均是其发布内容中的说法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。