离线预计算降低模型测试算力
热点事件持续更新
离线预计算降低模型测试算力
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Letta团队在论文《Sleep-time Compute: Beyond Inference Scaling at Test-time》中提出“睡眠期计算”：在查询到来前离线预计算相关上下文，以减少模型正式推理时的算力需求。在 Stateful GSM-Symbolic 和 Stateful AIME 测试中，达到相同精度所需测试算力约降5倍；增加睡眠期计算后，精度最高可提升13%和18%。 论文还提出 Multi-Query GSM-Symbolic，在同一上下文对应多个相关查询时摊销预计算成本，使单次查询平均成本再降低2.5倍。RLanceMartin随后介绍并推荐了该研究。
AI 根据报道生成 · 8 小时前更新
最新进展11月7日 05:21
Sleep-time Compute：让模型离线预思考，测试时算力省 5 倍报道时间线
沿着报道，了解事件的不同侧面。
11月7日
- AGI HuntSleep-time Compute：让模型离线预思考，测试时算力省 5 倍
Sleep-time Compute 让模型在查询到来前离线预计算上下文，以降低测试时算力需求。在 Stateful GSM-Symbolic 和 Stateful AIME 上，相同精度所需 test-time 算力减少约 5 倍；增加 sleep-time 计算还可将精度最高提升 13%/18%。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 1011月7日 06:00
- 近 24 小时变化
- –
02.557.510
06:0008:0010:0012:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。