AGI Hunt· PyTorch·· 1 小时前AI 评分41
Muse Spark Open：816B MoE 在 TPU v7 单机 megakernel 跑出 433 tok/s，成本优于 GB200
TPU v7 上 816B MoE 单机 megakernel 跑出 433 tok/s，成本优于 GB200
AI 导读
PyTorch 官方转发社区在 TPU v7 上展示 Muse Spark Open 的推理优化：816B MoE 模型以单个 Pallas 程序运行，每用户速度达 433 tok/s。
来源：AGI Hunt · agihunt.info