AGI Hunt· bendee983·· 3 小时前AI 评分59
bendee983 提出“准饱和基准”个人测试法追踪模型能力边界
自建「准饱和基准」:一套追踪模型边界的个人测试法
AI 导读
bendee983 提出一套追踪 AI 能力的个人测试方法,维护当前模型接近完成但仍需要大量引导和脚手架的任务,并在每次新模型发布时测试无辅助完成度。任务被前沿模型轻松解决后,作者建议改写成更难的版本继续追踪前沿;同时用饱和的旧基准测试廉价模型,以观察每百万输出 token 不到 1 美元的 Flash 级开源模型能够完成多少工作。
来源:AGI Hunt · agihunt.info