Flex-RSI以留出集和隐藏测试约束评测
热点事件持续更新
Flex-RSI以留出集和隐藏测试约束评测
2 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Flex-RSI 预印本提出更严格的智能体自改进评测方案：允许改进者重写执行器的提示词、工具和工作流，但冻结模型权重、评测器、数据切分与算力预算，阻止被评智能体接触评分机制或改写自身参数。 Krish Subramanian 解读称，新方案须在留出验证集上以超过噪声余量的幅度击败现有方案，最终成绩再由仅使用一次的隐藏测试集确定。该流程在固定预算下覆盖24个视觉和机器人任务、18个模型；预印本目前主张的是评测机制及其验证门槛，并不等同于所有自改进方案已被证明有效。
AI 根据报道生成 · 55 分钟前更新
最新进展11月11日 01:44
严谨评测智能体应设置留出验证集噪声门槛报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- AGI Hunt严谨评测智能体应设置留出验证集噪声门槛
一套严谨的智能体评测要求候选方案在留出验证集上以超过噪声余量的幅度击败现有方案，最终得分来自仅使用一次的隐藏测试集。评测期间模型权重保持不变，评测器、数据切分与算力预算全部锁定，Agent 无法改写评分机制。
- AGI HuntFlex-RSI 论文拆解：可改 Harness、固定权重与隐藏测试把关自改进 Agent
Flex-RSI 预印本在固定预算下评估 24 个视觉/机器人任务和 18 个模型，由 Krish Subramanian 用 8 条推文拆解。机制允许 improver 重写 executor 的 prompt、工具与工作流，但冻结模型权重、评估环节和预算；新解法需在留出验证集上超过噪声幅度，并通过仅使用一次的隐藏测试集。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。