AGI Hunt· simran_s_arora·· 2 小时前精选AI 评分79
ThunderAgent 并入 LLM-D，Agent 推理吞吐提升 1.5–2 倍、首 token 延迟降至 2–4 秒
ThunderAgent 并入 LLM-D,Agent 推理吞吐翻倍、首 token 延迟从 50 秒降到秒级
AI 导读
程序感知的 agentic 推理系统 ThunderAgent 已合并进 LLM-D，在 Claude Code 与 Weka 的真实多轮 agent 轨迹上，输出吞吐提升 1.5–2 倍，中位 TTFT 从约 50 秒降至 2–4 秒。
推荐理由
程序感知调度、KV-cache 亲和与逐 Pod 准入控制的思路和实测收益都写清了，便于Agent推理服务的工程实现参考。
来源：AGI Hunt · agihunt.info