AGI Hunt· Ambitious_Fold_2874·· 3 小时前AI 评分25
4x RTX 5060 Ti + 4x RTX 3060 + 256GB 内存的 8 卡异构平台跑 MoE 推理可行吗
4x5060Ti+4x3060+256GB 内存,混搭 8 卡跑 MoE 推理可行吗
AI 导读
Reddit 用户展示一套 8 卡异构推理平台，并询问能否高速、高精度运行大型 MoE 模型。配置为 4x RTX 5060 Ti 16GB、4x RTX 3060 12GB、256GB DDR4-3200 内存和 128 条 PCIe 4.0 通道，总成本与 DGX Spark 相当，但用户担忧其性能不及统一显存或内存架构。
来源：AGI Hunt · agihunt.info