跳到正文
AGI Hunt· PyTorch·· 2 小时前AI 评分60

PyTorch 用 AI 编码助手一周内将 SGLang 移植到 IBM Spyre

PyTorch 用 AI 编码助手一周内将 SGLang 移植到 IBM Spyre,吞吐提升 3.6 倍

AI 导读

PyTorch 借助 AI 编码代理,在一周内用 1500 行插件完成 SGLang 与 IBM Spyre 加速器的集成,吞吐量约为参考实现 torch-spyre 的 3.6 倍。在 Granite 3.3 8B 和 Gemma 4 26B-A4B 工作负载上,SGLang 性能与 vLLM 基本持平,RadixCache 前缀共享无需硬件特定改动即可使用。

来源:AGI Hunt · agihunt.info