AI 智能体工作流推理速度优化：Martin Alderson 一年实践总结

Martin Alderson 将 Web 性能优化经验迁移到 AI 智能体工作流，总结过去 12 个月提升推理速度的关键心得。速度可拆为 TTFT（首 token 时间）和 tok/s（每秒 token 数），prompt caching 对降低 TTFT 至关重要，缓存 token 更快也更便宜。多轮短回复场景中，TTFT 的影响相对更大。