跳到正文
AGI Hunt· RLanceMartin·· 8 小时前AI 评分48

Sleep-time Compute:让模型离线预思考,测试时算力省 5 倍

AI 导读

Sleep-time Compute 让模型在查询到来前离线预计算上下文,以降低测试时算力需求。在 Stateful GSM-Symbolic 和 Stateful AIME 上,相同精度所需 test-time 算力减少约 5 倍;增加 sleep-time 计算还可将精度最高提升 13%/18%。

来源:AGI Hunt · agihunt.info