PyTorch转发TPU v7推理优化成果
热点事件持续更新
PyTorch转发TPU v7推理优化成果
1 篇报道1 个报道来源49 分钟前更新
先了解这件事
AI 综述
PyTorch官方转发社区展示的TPU v7推理优化：Muse Spark Open的816B MoE模型全部62层以单个Pallas程序运行在一台TPU v7主机上，单用户速度达到433 tok/s。 据转发内容，AgentX在100万上下文下单芯片速度达25.9K tok/s，较此前路径每token提速1.94倍。在四芯片TPU v7、FP8与NVFP4精度组合及每小时每芯片1.21美元的条件下，其每美元token数高于价格为每小时每GPU 1.86美元的GB200 FP4。
AI 根据报道生成 · 20 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- AGI HuntMuse Spark Open：816B MoE 在 TPU v7 单机 megakernel 跑出 433 tok/s，成本优于 GB200
PyTorch 官方转发社区在 TPU v7 上展示 Muse Spark Open 的推理优化：816B MoE 模型以单个 Pallas 程序运行，每用户速度达 433 tok/s。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。