跳到正文
热点事件持续更新

单卡实测显示推理引擎速度最高差5倍

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

开发者 PuzzleheadedArm3732 在单张 Tesla V100 32GB 上,以相同权重和提示词运行多款 LLM 推理引擎并完成数百万 token 测试,结果显示各引擎生成速度最高相差 5 倍。 其中,运行 Qwen3.8-27B 时,生成速度从 llama.cpp 的 33 tokens/s 提升至 NInfer+MTP 的 64 tokens/s。该开发者称,更快的生成会消耗更多电力,但长期成本更低;采用多 token 预测(MTP)仅增加约 10% 功耗,却可使每个 token 的能耗最多降低一半。上述结果限于此次单卡测试环境。

AI 根据报道生成 · 57 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月23日
  1. AGI Hunt
    单张 Tesla V100 32GB 实测多款 LLM 推理引擎:同权重速度最高相差 5 倍

    一位开发者在单张 Tesla V100 32GB 上用相同权重和提示词实测多款推理引擎,跑完数百万 token 后发现生成速度最高相差 5 倍。Qwen3.8-27B 的生成速度由 llama.cpp 的 33 tokens/s 升至 NInfer+MTP 的 64 tokens/s。MTP 仅增加约 10% 功耗,却可将每 token 能耗最多削减一半。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。