bendee983 提出“准饱和基准”个人测试法追踪模型能力边界

bendee983 提出一套个人追踪 AI 能力进步的方法：用当前前沿模型“接近完成但仍需大量引导和脚手架”的任务作为准饱和基准，在每次新模型发布时测试其无辅助完成度；当任务被前沿模型轻松解决后，就把任务改写成更难的版本，以继续追踪能力边界。同时，作者建议用已被饱和的旧基准来测试廉价模型，观察每百万输出 token 低于 1 美元的 Flash 级开源模型能完成多少工作。这一方法回应的是 levie 提出的“每 3 至 6 个月复查 AI 能力”的观点，作者本人并未给出具体基准清单或测试结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。