AGI Hunt· johnowhitaker·· 2 小时前AI 评分45
新硬件实测:BF16 矩阵乘法提速约 50%,本地 MoE 解码几乎无感
实测:新硬件 BF16 矩阵乘法提速约 50%,但本地 MoE 推理解码几乎无感
AI 导读
实测显示,新硬件的 BF16、FP16 和 TF32 矩阵乘法算力均提升约 50%,且输出一致。但本地 MoE 推理的 prefill 提速不足 10%,decode 速度基本不变,瓶颈仍是内存带宽而非算力。
来源:AGI Hunt · agihunt.info