AGI Hunt· DukeUniversity·· 41 分钟前AI 评分72
Tideway以统一内存池加速消费级设备上的MoE推理
Tideway:统一内存池管理,消费级设备跑大 MoE 模型延迟降半
AI 导读
杜克大学等团队发布Tideway,通过统一管理主机RAM与GPU显存,并结合相位感知内存布局和专家分页优化CUDA Graph执行,加速消费级设备上的大型MoE推理。实测相较最快基线,端到端延迟、TTFT和TPOT分别取得1.97×、2.40×和1.61×加速,代码已开源。
来源:AGI Hunt · agihunt.info