跳到正文
AGI Hunt· joao_gante·· 5 小时前AI 评分44

Claude 为 8 个开源模型编写专属 megakernel,解码速度最高达 vLLM 的 1.77 倍

用 Claude 为 8 个开源模型各写一个 megakernel,解码速度最高达 vLLM 的 1.77 倍

AI 导读

团队使用 Claude 为 8 个参数量介于 8B 到 594B 的开源模型分别编写专属 megakernel,以单个 GPU kernel 执行完整解码循环。其解码速度相比 vLLM / SGLang 最高提升 1.77×,叠加模型专属技巧后可达 2.05×。

来源:AGI Hunt · agihunt.info