RTX 3060跑通Qwen 27B量化模型
热点事件持续更新
RTX 3060跑通Qwen 27B量化模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Reddit用户WiseVanilla2743称，在RTX 3060 12GB显卡和16GB DDR4内存上，其成功运行ISTA-DASLab的Qwen3.8-27B-GSQ-RCO GGUF模型，并使65K上下文全部驻留显卡。 该方案采用IQ3XXS量化并关闭MTP、启用turboquant，将mmproj卸载至内存，通过llama-tq设置reasoning-budget 256、-ngl 99和65536上下文。作者还称，这套配置能够完成需要实际推理的设备端agent任务，但未提供第三方验证。
AI 根据报道生成 · 2 小时前更新
最新进展11月15日 22:44
RTX 3060 12GB 运行 Qwen3.8-27B 的 65K 上下文量化配方实测报道时间线
沿着报道，了解事件的不同侧面。
11月15日
- AGI HuntRTX 3060 12GB 运行 Qwen3.8-27B 的 65K 上下文量化配方实测
Reddit 用户在 RTX 3060 12GB 上跑通 Qwen3.8-27B-GSQ-RCO GGUF，65K 上下文全部在显卡运行。方案采用 IQ3XXS 量化并将 mmproj 卸载到内存，命令设定 -ngl 99 和 65536 上下文。作者称可完成设备端 agent 推理任务。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。