Lambert质疑开源模型衰亡论及AA榜单

Nathan Lambert 借 Artificial Analysis v5 指数发布之际评价评测行业，认为“开源模型衰亡”的说法被夸大，但此前 AA 指数确实美化了开源模型的表现。他同时为独立评测者与开源模型发声，指出基准测试比人们想象的更难，也更主观。

Nathan Lambert 评论 Artificial Analysis v5 榜单，认为开源模型“衰亡”的说法被夸大，但 AA 指数确实美化了开源模型的表现。他指出，提升榜单分数已有清晰方法且成本高昂，真正前沿 AI benchmark 的构建仍缺乏方法论，行业需要针对不同任务细分智能指标。

Artificial Analysis v5 聚焦评测基准设计者面临的困境：在 AI 前沿，创建真正有意义的评测基准比推高模型分数更难。文章指出，独立评估语言模型的价值尚未得到充分认识；提升分数已有成熟路径，但成本高昂，而高难度基准仍缺乏清晰方法。