开发者开源 WingLLM 投机解码工具
热点事件持续更新
开发者开源 WingLLM 投机解码工具
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
开发者 rbm3267 开源了 Go 编写的 WingLLM 投机解码工具。其测试显示,在配备 2GB 显存的 Quadro P620 上运行 7B 模型时,生成速度由 1.29 tok/s 提升至 2.54 tok/s,接近翻倍,输出质量保持不变。 WingLLM 支持自动匹配同族 tokenizer、扫描 Ollama 模型并配对,以及拉取草稿模型;开发者还提供 Windows、macOS 和 Linux 一键安装脚本。工具采用 MIT 协议,压缩为约 11MB 的单二进制,并支持接入 VSCode Continue、Cline,附带 Web UI 和 MCP server。
AI 根据报道生成 · 1 小时前更新
最新进展11月17日 17:17
开发者开源 WingLLM,让 2GB 显卡运行 7B 模型提速近 2 倍报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AGI Hunt开发者开源 WingLLM,让 2GB 显卡运行 7B 模型提速近 2 倍
开发者开源 Go 编写的 WingLLM 投机解码工具,让 2GB 显存的 Quadro P620 运行 7B 模型时速度从 1.29 tok/s 提升至 2.54 tok/s,提速 1.97 倍且输出质量不变。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。