SGLang发布首篇GPU通信拆解博客
热点事件持续更新
SGLang发布首篇GPU通信拆解博客
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
BanghuaZ发布SGLang系列博客第一部分,系统讲解GPU通信概念与推理框架内部实现的对应关系,内容覆盖锁页与可分页主机内存、NUMA放置、CPU侧共享内存及GPU侧IPC句柄生命周期。 文章还结合PCIe、NVLink、Custom All-reduce、V2版本和NVSwitch说明相关实践,后续计划深入VMM与对称内存等主题。
AI 根据报道生成 · 1 小时前更新
最新进展10月25日 01:02
SGLang GPU 通信拆解:从页表到 NVLink 的内部实现对应报道时间线
沿着报道,了解事件的不同侧面。
10月25日
- AGI HuntSGLang GPU 通信拆解:从页表到 NVLink 的内部实现对应
SGLang 系列博客首篇系统拆解 GPU 通信,将基础概念逐一对应到推理框架的内部实现。内容涵盖 pinned 与 pageable 主机内存、NUMA 放置、CPU 侧内存共享及 GPU 侧 IPC handle 生命周期,并结合 PCIe、NVLink、Custom All-reduce、V2 版本与 NVSwitch 说明实践。后续篇章将深入 VMM 与对称内存等主题。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。