跳到正文
GitHub 新星仓库·· 2 小时前精选AI 评分78

REbench 评测 AI 智能体重建软件的正确性与速度

BrandeisPatrick/REbench

AI 导读

REbench让 AI 智能体在断网环境中运行60分钟,从行为中重建应用,并由独立评分器检查隐藏输入上的结果与速度。首个任务是重建 LibreOffice Calc 公式引擎,Opus 5.5、Sonnet 5.5和Fable 5.1各通过3项隐藏测试,速度中位数分别为27.4x、17.3x和10.6x。

推荐理由

REbench通过离线行为重建、隐藏测试和速度评分,提供了可复现的软件反向工程评测方法。

来源:GitHub 新星仓库 · github.com