跳到正文
热点事件持续更新

PyBot数学基准结果公布

1 篇报道1 个报道来源38 分钟前更新

先了解这件事

AI 综述

lvwerra公布PyBot的GSM8K评测结果:这款不依赖模型权重和训练、无需思维链的纯Python规则系统直接回答准确率为15.2%,高于Llama 2 70B的11.6%和GPT-3.5 davinci-003的12.6%。 PyBot约60万行规则由16轮迭代生成,每轮由6个Codex智能体并行修改规则文件,代码已开源。该结果仅适用于无思维链的直接回答测试,仍低于2023年ChatGPT的23.8%。

AI 根据报道生成 · 23 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    PyBot 纯 Python 规则在 GSM8K 得分超过 Llama 2 70B

    无权重、无训练的 PyBot 依靠约 60 万行纯 Python 规则,在 GSM8K 直接回答测试中取得 15.2%,超过 Llama 2 70B 的 11.6% 和 GPT-3.5 davinci-003 的 12.6%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。