跳到正文
AGI Hunt· rbm3267·· 2 小时前AI 评分63

开发者开源 WingLLM,让 2GB 显卡运行 7B 模型提速近 2 倍

2GB 显卡跑 7B 模型提速近 2 倍,开发者开源 WingLLM 投机解码工具

AI 导读

开发者开源 Go 编写的 WingLLM 投机解码工具,让 2GB 显存的 Quadro P620 运行 7B 模型时速度从 1.29 tok/s 提升至 2.54 tok/s,提速 1.97 倍且输出质量不变。

来源:AGI Hunt · agihunt.info