AGI Hunt· RLanceMartin·· 8 小时前AI 评分48
Sleep-time Compute:让模型离线预思考,测试时算力省 5 倍
AI 导读
Sleep-time Compute 让模型在查询到来前离线预计算上下文,以降低测试时算力需求。在 Stateful GSM-Symbolic 和 Stateful AIME 上,相同精度所需 test-time 算力减少约 5 倍;增加 sleep-time 计算还可将精度最高提升 13%/18%。
来源:AGI Hunt · agihunt.info