前沿AI实验室为何自研推理芯片

Patrick Toulme认为，前沿 AI 实验室的自研芯片更适合聚焦推理，而非承担更复杂的训练任务，因此相关项目还会增加。 他解释称，推理芯片可只支持 Transformer 架构，并采用大尺寸 MXU 矩阵乘法单元；由强化学习训练的 coding agents 还可在接近 ISA 的层面直接编写 kernel。相比之下，通用芯片开发难度更高，而适配软件产生的成本本质上也是 token 成本。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。