跳到正文
AGI Hunt· Introvertosaurus·· 2 小时前AI 评分67

PCIe 3.0 x1 双卡 tensor split 推理实测:约 100 MB/s 并非瓶颈

实测 PCIe 3.0 x1 跑双卡 tensor split:推理仅需约 100MB/s 并非瓶颈

AI 导读

Introvertosaurus 实测显示,在 i5-14400F 和 2× RTX 3060 12GB 配置上,用 llama.cpp 运行 Gemma 31B Q5 时,改用 tensor split 后速度从 14 t/s 提升至 20 t/s。

来源:AGI Hunt · agihunt.info