跳到正文
热点事件持续更新

Surge AI主张用真实工作检验前沿模型

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Surge AI团队在旧金山Kaggle Bench Summit提出,AI基准应更多模拟真实工作,而非停留在传统评测;团队以DAYJOB、sudo L7、GDP.等基准为例,分享其构建经验。 Surge AI团队成员Eric Chen称,包含模糊提示、混乱环境和专业判断的真实工作型评测,仍会让前沿模型表现挣扎。这也意味着,模型在标准化基准上的能力不必然直接对应复杂工作场景中的可靠性。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. AGI Hunt
    Surge AI 在 Kaggle Bench Summit 谈基准的未来:更像真实工作

    Surge AI 团队在旧金山 Kaggle Bench Summit 演讲,探讨基准从传统评测走向真实工作场景的未来。Eric Chen 分享构建 DAYJOB、sudo L7、GDP. 等基准的经验,并指出前沿模型在这些包含模糊 prompt、混乱环境和专业判断的真实工作型评测中仍表现挣扎。

本事件热度走势

可比范围当前
9
可比范围峰值
1010月29日 00:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。