16GB显存实测35B MoE卸载并开源套件

作者 willeyh 公布在单张16GB显存显卡上运行35B MoE模型的专家卸载实测，称 ExLlamaV3 表现最佳，并开源测试图表、多位精度对比数据及基于 Kapitsa 的 Go 基准套件 moe-offload-bench。 测试使用配备16GB显存的9070XT和32GB DDR4内存，对比 llama.cpp、ExLlamaV3 与 Strata，KV 缓存采用 Q8，目标是让模型满足128K上下文的智能体工作需求。结论仅对应上述硬件与配置，不宜直接外推到其他显卡或模型。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。