AGI Hunt· ChemicalExcellent463·· 4 小时前AI 评分37
大模型评测:benchmark 只用于淘汰差模型,好模型要在实际工作中测试
「Benchmark 只用来淘汰差模型,好模型得拿自己的活儿测」
AI 导读
一位开发者提出,大模型 benchmark 在分数超过某个阈值后趋于饱和,更适合作为淘汰差模型的底线,而好模型应通过真实任务验证。测试分为执行与检查两条线:前者观察模型能否连续完成其他 AI 智能体制定的计划,后者衡量其发现 bug 的数量与深度,同时还需排查话多活少、逻辑漏洞和误解需求等老毛病。
来源:AGI Hunt · agihunt.info