跳到正文
AGI Hunt· ai·· 1 小时前AI 评分43

推理芯片的悖论:快 3 倍但闲置半天不等于便宜 3 倍

推理芯片的悖论:快 3 倍但闲置半天并不等于便宜 3 倍

AI 导读

专用推理芯片即使速度比 GPU 快 3 倍,若每天闲置一半时间,也未必便宜 3 倍。评估成本应综合实际利用率与跨网络搬 KV cache 的开销;文中以 GPU 利用率 70%、专用芯片平均 40% 为例说明账目可能不成立,megakernels 带来的 40–75% 低并发 decode 性能提升也在削弱专用芯片优势。

来源:AGI Hunt · agihunt.info