AGI Hunt· burny_tech·· 2 小时前AI 评分44
Together AI 发布 FlashStates，AI 智能体推理吞吐最高达 vLLM 3.14 倍
Together AI 推出 FlashStates，agent 推理吞吐最高达 vLLM 3.14 倍
AI 导读
Together AI 发布 FlashStates，通过 Arbitrary State Checkpointing（ASC）减少 AI 智能体工作负载中的前缀缓存失效和重复 prefill。
来源：AGI Hunt · agihunt.info