跳到正文
AGI Hunt· ManuXD32·· 56 分钟前AI 评分46

Branchy:分支式模型训练让多设备分布式 LLM 推理提速 1.5-2.6 倍

Branchy:分支式模型训练让多设备分布式推理提速 1.5-2.6 倍

AI 导读

独立开发者 ManuXD32 用「分支模型」改造分布式 LLM 推理,多设备切分较传统层切分提速 1.5-2.6 倍。中间层拆为并行分支,由协调器运行 embedding 与主干层,再经融合层输出,最多经历 2 跳网络延迟且无设备空转。

来源:AGI Hunt · agihunt.info