AGI Hunt· PuzzleheadedArm3732·· 2 小时前AI 评分49
单张 Tesla V100 32GB 实测多款 LLM 推理引擎:同权重速度最高相差 5 倍
单卡 V100 实测:同权重换推理引擎,速度差最高 5 倍
AI 导读
一位开发者在单张 Tesla V100 32GB 上用相同权重和提示词实测多款推理引擎,跑完数百万 token 后发现生成速度最高相差 5 倍。Qwen3.8-27B 的生成速度由 llama.cpp 的 33 tokens/s 升至 NInfer+MTP 的 64 tokens/s。MTP 仅增加约 10% 功耗,却可将每 token 能耗最多削减一半。
来源:AGI Hunt · agihunt.info