跳到正文
AGI Hunt· Zhongwei Xie·· 3 小时前AI 评分33

JockeyBench:用日本赛马评测 LLM 智能体的重复事件预测能力

JockeyBench:用日本赛马评测 LLM Agent 的重复事件预测能力

AI 导读

港科大团队发布 JockeyBench,以日本赛马为场景评测 LLM 智能体的重复事件预测能力。评测协议采用时间门控证据、定价工具、成对的冻结程序对照及两种工作流。结果显示,可复用预测器能提升效率,但所有配置的平均投注回报均为负,预测优势未必转化为决策收益。

来源:AGI Hunt · agihunt.info