跳到正文
AGI Hunt· BanghuaZ·· 2 小时前AI 评分32

Hyperbolic 创始人谈 SGLang 推理优化:算力优化之外还要盘活闲置 GPU

Hyperbolic 创始人 SGLang Summit 演讲:算力优化之外还要盘活闲置 GPU

AI 导读

Hyperbolic 创始人 Jasper Zhang 团队在首届 SGLang Summit 提出,推理优化除提升每块 GPU 效率外,还需通过算力网格盘活闲置 GPU。团队指出,闲置 GPU 即使优化再多也不会产出 token,而算力网格可确保 GPU 小时被有效使用;Hyperbolic 的目标是建立全球统一、有生产力、可流动的算力网络。

来源:AGI Hunt · agihunt.info