AGI Hunt· FinanceYF5·· 1 小时前AI 评分51
SGLang 三年演进：从 RadixAttention 到服务 330+ 组织的推理引擎
SGLang 三年进化史：从缓存技巧到 330+ 组织的推理引擎
AI 导读
SGLang 回顾视频梳理了项目从 2024 年 1 月 RadixAttention 论文到 v1.0 和 SGLang Consortium 成立的三年演进，期间经历二十个里程碑。视频称，SGLang 已被 330+ 组织使用，首日支持 217 个模型，并运行在数十万张 GPU 上。
来源：AGI Hunt · agihunt.info