AGI Hunt· FieldMouse-AI·· 4 小时前AI 评分35
Frankenstein 主机演示 27B/9B/2B 三个视觉 LLM 并发推理,榨干 PCIe x1 带宽
PCIe x1 榨到极限: Frankenstein 主机并发跑 27B/9B/2B 三个视觉模型
AI 导读
Reddit 用户 lvgale 展示其“Frankenstein”主机,在一台异构机器并发运行 27B、9B、2B 三个视觉 LLM。自研 Slipstream 编排引擎借助 Vulkan 后端与 Flash Attention,应对 PCIe x1/x2 窄带宽和 AMD、NVIDIA 混合拓扑。
来源:AGI Hunt · agihunt.info