跳到正文
AGI Hunt· PuzzleheadedArm3732·· 2 小时前AI 评分49

单张 Tesla V100 32GB 实测多款 LLM 推理引擎:同权重速度最高相差 5 倍

单卡 V100 实测:同权重换推理引擎,速度差最高 5 倍

AI 导读

一位开发者在单张 Tesla V100 32GB 上用相同权重和提示词实测多款推理引擎,跑完数百万 token 后发现生成速度最高相差 5 倍。Qwen3.8-27B 的生成速度由 llama.cpp 的 33 tokens/s 升至 NInfer+MTP 的 64 tokens/s。MTP 仅增加约 10% 功耗,却可将每 token 能耗最多削减一半。

来源:AGI Hunt · agihunt.info