跳到正文
AGI Hunt· FieldMouse-AI·· 4 小时前AI 评分35

Frankenstein 主机演示 27B/9B/2B 三个视觉 LLM 并发推理,榨干 PCIe x1 带宽

PCIe x1 榨到极限: Frankenstein 主机并发跑 27B/9B/2B 三个视觉模型

AI 导读

Reddit 用户 lvgale 展示其“Frankenstein”主机,在一台异构机器并发运行 27B、9B、2B 三个视觉 LLM。自研 Slipstream 编排引擎借助 Vulkan 后端与 Flash Attention,应对 PCIe x1/x2 窄带宽和 AMD、NVIDIA 混合拓扑。

来源:AGI Hunt · agihunt.info