跳到正文
AGI Hunt· anneouyang·· 1 小时前AI 评分51

Standard Kernel 用 AI 优化 Intel Gaudi2 内核,解码速度达 H100 的 1.6 倍

AI 写内核优化:Intel Gaudi2 解码速度反超 H100 1.6 倍

AI 导读

Standard Kernel 披露,经 AI 自动生成软件优化后,Intel Gaudi2 的解码吞吐达到 475 tokens/s,为 NVIDIA H100 的 1.60 倍。其 cached prefill 吞吐为 5,409 tokens/s,是 H100 的 1.08 倍。公司认为芯片性能与经济性不只取决于硬件,软件栈同样关键,并正构建用 AI 编写内核软件的产品。

来源:AGI Hunt · agihunt.info