PyBot数学基准结果公布
热点事件持续更新
PyBot数学基准结果公布
1 篇报道1 个报道来源38 分钟前更新
先了解这件事
AI 综述
lvwerra公布PyBot的GSM8K评测结果:这款不依赖模型权重和训练、无需思维链的纯Python规则系统直接回答准确率为15.2%,高于Llama 2 70B的11.6%和GPT-3.5 davinci-003的12.6%。 PyBot约60万行规则由16轮迭代生成,每轮由6个Codex智能体并行修改规则文件,代码已开源。该结果仅适用于无思维链的直接回答测试,仍低于2023年ChatGPT的23.8%。
AI 根据报道生成 · 23 分钟前更新
最新进展11月19日 13:13
PyBot 纯 Python 规则在 GSM8K 得分超过 Llama 2 70B报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- AGI HuntPyBot 纯 Python 规则在 GSM8K 得分超过 Llama 2 70B
无权重、无训练的 PyBot 依靠约 60 万行纯 Python 规则,在 GSM8K 直接回答测试中取得 15.2%,超过 Llama 2 70B 的 11.6% 和 GPT-3.5 davinci-003 的 12.6%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。