AGI Hunt· samajhdar-bano2·· 1 小时前AI 评分56
Nemotron Bolt 24G 与 Qwen3.8-27B 本地部署速度实测
3090 跑 Nemotron Bolt 达 70 tok/s，作者安利 Nvidia 开源模型生态
AI 导读
一名 Reddit 用户分享了 Nemotron 系列模型的本地部署体验，在 3090 上通过原生 llama.cpp 与 IQ2 量化运行 Bolt 24G，速度约 70 tok/s。
来源：AGI Hunt · agihunt.info