按任务拆分模型评测
热点事件持续更新
按任务拆分模型评测
2 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Josh Purtell 提出，当一个领域由多项无法按难度排序的任务衡量时，应将这些任务拆成多个 eval 分别评测，以免单一总分掩盖模型在不同任务上的表现。 他同时强调，如果拆分不可行或成本过高，仍应以尽可能少的任务判断模型优劣。这是在任务拆分与评测效率之间作出的条件性取舍，而非认定所有评测都应拆分。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:27
Josh Purtell：评测任务无法按难度排序时，拆成多个 eval 是更优解？报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- AGI HuntJosh Purtell 提出另类 AGI 判据：一条提示词月入百万美元
Josh Purtell 在推文中分享 eval 设计心得，并提出个人 AGI 判据：一条提示词每月收入达到百万美元，就算达到 AGI。他批评综合基准将不同任务混在同一 domain，主张尽量拆分为多个 eval；无法拆分或不划算时，则以尽可能有序的方式衡量目标。
- AGI HuntJosh Purtell：评测任务无法按难度排序时，拆成多个 eval 是更优解？
Josh Purtell 认为，领域由多项难度无法排序的任务衡量时，基础做法是拆成多个 eval。若拆分不可行或不划算，仍应以尽可能少的任务判断模型优劣。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。