AGI Hunt· wenhaocha1·· 4 小时前AI 评分57
ECI 榜单加权方式引发开源闭源模型差距争议
ECI 榜单缺陷引争议:不加权基准下开源闭源差距可缩至约 2 个月
AI 导读
wenhaocha1 引用 scaling01 的说法并批评 ECI 未对各基准进行人工加权,认为开源与闭源模型差距的判断高度依赖权重选择。他指出,若提高编程任务的权重,Claude Opus 4.8、Opus 5.5 与 Kimi K3、DeepSeek-R1 等模型之间的差距可被解读为仅约 2 个月,并提出按类别重拟合和留一类别重拟合的方法分析差距来源。
来源:AGI Hunt · agihunt.info