AGI Hunt· rbm3267·· 2 小时前AI 评分63
开发者开源 WingLLM,让 2GB 显卡运行 7B 模型提速近 2 倍
2GB 显卡跑 7B 模型提速近 2 倍,开发者开源 WingLLM 投机解码工具
AI 导读
开发者开源 Go 编写的 WingLLM 投机解码工具,让 2GB 显存的 Quadro P620 运行 7B 模型时速度从 1.29 tok/s 提升至 2.54 tok/s,提速 1.97 倍且输出质量不变。
来源:AGI Hunt · agihunt.info