跳到正文
热点事件持续更新

Palisade 研究员 Jeff Ladish 呼吁恢复 METR 时间跨度图

2 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Palisade Research 研究员 Jeff Ladish 呼吁 METR 等机构恢复用模型完成长时程任务的时间跨度估算图,而不是只用 40 个 benchmark 衡量 AI 进步。他认为长时程任务依然可测量,并称最大的一次能力跃升出现在 Fable 模型发布前后,他使用 agent 的频率也从偶尔变成每天。 Ladish 同时表示,使用 Opus 5.5 时感觉模型几乎在各方面都更强,但每一代模型虽有泛化,能力分布仍“尖锐不平”,模型依旧不擅长幽默、魅力和说服;他预测自动化 AI 研发可能通过自建强化学习训练环境突破这一限制。

AI 根据报道生成 · 59 分钟前更新

事件进展

2 个进展

  1. 11月6日 11:05 · 1 篇报道
    Palisade 研究员 Jeff Ladish:模型样样变强,但幽默与魅力仍是短板
    AGI Hunt:Palisade 研究员 Jeff Ladish:模型样样变强,但幽默与魅力仍是短板
  2. 11月6日 11:02 · 1 篇报道
    Palisade 研究员呼吁恢复 METR 时间跨度图:别只盯 40 个 benchmark
    AGI Hunt:Palisade 研究员呼吁恢复 METR 时间跨度图:别只盯 40 个 benchmark

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. AGI Hunt
    Palisade 研究员 Jeff Ladish:模型样样变强,但幽默与魅力仍是短板

    Palisade Research 研究员 Jeff Ladish 表示,使用 Opus 5.5 时感觉模型几乎在所有方面都更强,但每代模型虽有泛化,能力分布仍“尖锐不平”。他认为模型仍不擅长幽默、魅力与说服,并预测自动化 AI R&D 可能通过自建 RL 训练环境突破这一限制。

  2. AGI Hunt
    Palisade 研究员呼吁恢复 METR 时间跨度图:别只盯 40 个 benchmark

    Palisade Research 研究员 Jeff Ladish 呼吁 METR 等机构恢复模型任务时间跨度估算图,而非仅用 40 个 benchmark 衡量 AI 进步。他认为长时程任务仍可测量,并称最大能力跃升出现在 Fable 模型发布前后,使用 agent 的频率由偶尔转为每天。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。