跳到正文
AGI Hunt· VraserX·· 48 分钟前AI 评分63

XLA Serving Engine 开源,支持 Python 训练与 C++ 部署

XLA Serving Engine 开源:Python 训练 C++ 部署,省 70% CPU

AI 导读

XLA Serving Engine(XSE)以 Apache 2.0 协议开源,提出「Python 训练、C++ 服务」的推理部署方案。开发者可将 JAX 等框架的模型导出为 XLA SavedModel,再由原生 C++ 系统执行推理;官方称其可处理请求数提升 2–5 倍,CPU 时间占用最多减少 70%。

来源:AGI Hunt · agihunt.info