AGI Hunt· Qiming Shi·· 52 分钟前AI 评分55
AutoVend 基准测试 LLM 智能体经营20台自动售货机,5个模型中4个未跑赢规则基线
AutoVend 基准:LLM 智能体经营 20 台自动售货机,5 个中 4 个跑不赢规则基线
AI 导读
AutoVend 基准评估 LLM 智能体长周期自主经营能力,5个受测智能体中有4个未跑赢规则库存控制基线。智能体需通过 Web 操作界面管理五类场地的20台自动售货机,模拟运营180天,并处理共享仓库、采购提前期、库存过期和持续运营成本。按每美元推理成本的回报排名时,模型排序与单纯回报排名不同;轨迹分析显示,智能体普遍难以落实行动、管理库存承诺并根据反馈修订策略。
来源:AGI Hunt · agihunt.info