GitHub 新星仓库·· 2 小时前精选AI 评分78
REbench 评测 AI 智能体重建软件的正确性与速度
BrandeisPatrick/REbench
AI 导读
REbench让 AI 智能体在断网环境中运行60分钟,从行为中重建应用,并由独立评分器检查隐藏输入上的结果与速度。首个任务是重建 LibreOffice Calc 公式引擎,Opus 5.5、Sonnet 5.5和Fable 5.1各通过3项隐藏测试,速度中位数分别为27.4x、17.3x和10.6x。
推荐理由
REbench通过离线行为重建、隐藏测试和速度评分,提供了可复现的软件反向工程评测方法。
来源:GitHub 新星仓库 · github.com