AGI Hunt· BanghuaZ·· 2 小时前AI 评分74
Meta 披露 SGLang 服务数十亿用户推理并支持四类芯片
Meta 披露 SGLang 承载数十亿应用用户推理,横跨四类芯片
AI 导读
Meta 披露 SGLang 已在生产环境服务 Muse 应用及 Instagram、Facebook、WhatsApp、Messenger 等产品的数十亿用户。该框架通过多集群路由统一调度,并支持 NVIDIA GPU、AMD GPU、Google TPU 和 Meta 自研 MTIA 加速器,覆盖 Muse App、Muse Code、Model API 及图像视频等场景。
来源:AGI Hunt · agihunt.info