AGI Hunt· Traditional_Bell8153·· 3 小时前AI 评分49
Tesla V100 本地运行 MoE 大模型：55 tok/s 解码，缓存 8109 个专家
Tesla V100 本地跑 MoE 大模型：55 tok/s 解码，31.6GB 显存缓存 8109 个专家
AI 导读
Reddit 用户 Traditional_Bell8153 展示 Strata 本地 LLM 推理监控面板，使用 Tesla V100-32GB 单卡与 126GB 内存运行 MoE 模型。
来源：AGI Hunt · agihunt.info