AGI Hunt· willeyh·· 1 小时前AI 评分53
16GB显存运行35B MoE三引擎卸载实测，ExLlamaV3表现最佳
16GB 显存跑 35B MoE：9070XT 上三引擎专家卸载实测，ExLlamaV3 最能打
AI 导读
作者在16GB显存的9070XT上完成llama.cpp、ExLlamaV3和Strata的35B MoE专家卸载实测，ExLlamaV3表现最佳。
来源：AGI Hunt · agihunt.info
16GB显存运行35B MoE三引擎卸载实测，ExLlamaV3表现最佳