AGI Hunt· asfbrz96·· 3 小时前AI 评分67
Reddit 用户为 AMD Strix Halo 发布 vLLM 插件 libstrix,长上下文预填充最高提速 31 倍
Reddit 用户为 Strix Halo 手写内核,vLLM 长上下文预填充最高提速 31 倍
AI 导读
Reddit 用户 asfbrz96 开源 libstrix,通过 vLLM 插件为 AMD Strix Halo 提供专用 HIP 内核,无需 fork 或修改上游代码。Qwen3.6-35B-A3B 的 256k 预填充时间由 7,568 秒降至 241 秒,约提速 31 倍;插件目前仅支持 gfx1151,并要求兼容的 torch 与 ROCm 版本。
来源:AGI Hunt · agihunt.info