跳到正文
AGI Hunt· BanghuaZ·· 2 小时前AI 评分39

SGLang GPU 通信拆解:从页表到 NVLink 的内部实现对应

新博客拆解 GPU 通信:从页表到 NVLink,逐一对应 SGLang 内部用法

AI 导读

SGLang 系列博客首篇系统拆解 GPU 通信,将基础概念逐一对应到推理框架的内部实现。内容涵盖 pinned 与 pageable 主机内存、NUMA 放置、CPU 侧内存共享及 GPU 侧 IPC handle 生命周期,并结合 PCIe、NVLink、Custom All-reduce、V2 版本与 NVSwitch 说明实践。后续篇章将深入 VMM 与对称内存等主题。

来源:AGI Hunt · agihunt.info