八卡异构平台尝试运行MoE模型

Reddit 用户展示了一套由 4 张 RTX 5060 Ti 16GB、4 张 RTX 3060 12GB 和 256GB DDR4-3200 内存组成的异构推理平台，并询问它能否高速、高精度运行大型 MoE 模型；目前公开内容只有配置展示和可行性疑问，尚未给出实测结论。 该平台拥有 128 条 PCIe 4.0 通道，合计 112GB 显存。用户称其总成本与 DGX Spark 相当，但担忧新旧显卡混合、统一显存不足及内存交换会影响性能；成本和性能比较目前均未提供独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。