跳到正文
AWS Machine Learning Blog· Alex Nails·· 54 分钟前AI 评分62

SGLang-Neuron 公开可用,可在 AWS Trainium 上服务模型

Deploy frontier AI models on AWS Trainium with SGLang-Neuron

AI 导读

Amazon 宣布 SGLang-Neuron 公开可用,可通过 AWS Deep Learning Container 在 AWS Trainium 上服务模型并生成强化学习(RL)rollouts。该项目由 RadixArk 与 Annapurna Labs 协作发布,沿用 SGLang 现有服务接口,并通过原生 PyTorch、树外插件及预填充与解码分离支持 Trainium 部署。

来源:AWS Machine Learning Blog · aws.amazon.com