跳到正文
热点事件持续更新

METR研究员批评前沿实验室回避科学难题

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

METR研究员rbhar90反驳Dwarkesh,称许多前沿实验室只在有限问题集上测试系统,回避容易暴露前沿模型缺陷的科学难题。他认为现有前沿科学基准不够严肃,LLM-as-judge评估效果不佳,批评这种做法如同“路灯下找钥匙”。 rbhar90同时认可Dwarkesh值得以善意态度展开讨论;其前述关于评测回避科学难题、基准质量及评估方法的判断属于个人批评,报道未提供相关实验数据作为佐证。

AI 根据报道生成 · 55 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. AGI Hunt
    METR 研究员:前沿实验室评测回避科学难题,如路灯下找钥匙

    METR 研究员 rbhar90 反驳 Dwarkesh 的嘲讽,称许多前沿实验室仅在有限问题集上测试系统,回避容易暴露前沿模型缺陷的科学难题。他认为前沿科学基准不够严肃,LLM-as-judge 效果不佳,批评这种回避如同“路灯下找钥匙”,但认可 Dwarkesh 值得以善意态度展开讨论。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。