Mercor 开源真实工程长程基准

Mercor 发布并开源 OWE-Bench，以26个完整工程项目评测编码智能体端到端完成真实工程任务的能力，覆盖GPU内核、CAD、飞行器设计等4个领域；单次尝试需运行4至18小时，平均消耗1.24亿token，并公布模型榜单结果。 其中16个任务提供公开评分器，研究者可自行评分；其余10个任务的评分器保持私有，包括依赖私有飞行模拟器的飞行器设计、构建与飞行任务。数据集发布于 Hugging Face，任务以 Harbor 格式托管在 GitHub。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。