跳到正文
热点事件持续更新

风险学者质疑OpenAI基准披露方式

2 篇报道1 个报道来源56 分钟前更新

先了解这件事

AI 综述

风险研究者 David Manheim 批评 OpenAI 先公布困惑度基准数据、再要求其他实验室公布可比数字并解释差异的做法,称其“狡猾且不诚实”,并表示因此不再倾向给予 OpenAI 善意推定。他认为,这种披露顺序变相施压 Anthropic 公开同类数据。 Manheim 还称,Anthropic 使用更细粒度的 tokenizer,其困惑度在跨实验室比较中天然处于劣势;将困惑度作为模型能力上限指标,会系统性偏向 OpenAI。

AI 根据报道生成 · 25 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月23日
  1. AGI Hunt
    风险学者批 OpenAI:基准数据披露手法「sneaky 且不诚实」

    风险研究者 David Manheim 批评 OpenAI 刻意先发布一个基准数字,待 Anthropic 被迫公布可对比数字后再解释两者不可比。他认为这种做法 sneaky 且不诚实,因此不再倾向给予 OpenAI 善意推定。

  2. AGI Hunt
    OpenAI 公布困惑度数据引争议:透明还是陷阱

    研究者 David Manheim 批评 OpenAI 公开困惑度数据,并将其作为跨实验室能力上限指标的做法称为“狡猾且不诚实”。他认为此举变相施压 Anthropic 公布同类数字并解释差异;由于 Anthropic 使用更细粒度的 tokenizer,困惑度天然处于劣势,因此该指标会系统性偏向 OpenAI。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。