DEPTH框架重构长程终端任务评测
热点事件持续更新
DEPTH框架重构长程终端任务评测
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Notre Dame、IBM Research、CMU等机构提出DEPTH框架，用“顺序依赖深度”而非模型完成轮数衡量长程终端任务，并通过该方法合成更难任务。相关研究称，现有基准的轮数主要反映模型使用习惯，基于LLM设置的难度标签也难以预测通过率；基于DEPTH合成任务进行agent微调可带来评测与训练效果提升。
AI 根据报道生成 · 55 分钟前更新
最新进展11月4日 14:17
DEPTH 研究揭示长程终端任务基准深度虚高：轮数反映模型习惯，按依赖深度合成更难任务报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- AGI HuntDEPTH 研究揭示长程终端任务基准深度虚高：轮数反映模型习惯，按依赖深度合成更难任务
Notre Dame、IBM Research、CMU 等机构研究指出，长程终端任务基准以模型完成轮数衡量任务长度、以 LLM 设置的标签衡量难度，但前者主要反映模型习惯，后者几乎不能预测通过率。DEPTH 按顺序依赖深度度量并合成更难任务，用这些任务进行 agent 微调可带来提升，为 agent 评测与训练数据合成提供方法论启示。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。