跳到正文
热点事件持续更新

RTX 3060本地模型显存实测与适配计算器

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

作者sdatta11在RTX 3060 12GB上实测Qwen3.5、Gemma 4等本地模型的显存占用与生成速度,并据此制作浏览器端模型适配计算器;其称估算误差低于1%。 测试采用LM Studio、llama.cpp CUDA、Q4KM量化和全量GPU offload。计算器覆盖54款桌面及移动GPU,可按Q4、Q5、Q8、FP16估算约40个模型是否需要将权重、完整注意力层KV Cache及0.6GB运行时开销纳入显存,并生成最大可运行模型的Ollama命令。实测中,Qwen3.8 27B无法完全装入显存,GPU占用9.5GB、其余进入内存,速度为5.4 tok/s。

AI 根据报道生成 · 57 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AGI Hunt
    RTX 3060 12GB实测Qwen3.5与Gemma4显存占用并提供模型适配计算器

    作者使用LM Studio、llama.cpp CUDA、Q4KM量化和全量GPU offload,实测RTX 3060 12GB运行Qwen3.5与Gemma4时的显存占用和速度。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。