AGI Hunt· 1ncehost·· 3 小时前AI 评分75
int8-vllm 重写服务栈,4x MI100 运行 Qwen3 27B 超 1000 tok/s
int8-vllm 重写服务栈:4x MI100 跑 27B 模型超 1000 tok/s
AI 导读
int8-vllm 维护者重写 vLLM 服务栈,为主线 vLLM 尚不支持的老款 AMD 和 NVIDIA GPU 提供 int8 推理。4x MI100 或 2x MI210 运行 Qwen3 27B 时,C8 解码速度超过 1000 tok/s,并修复了 vLLM/ROCm 的多处理数值问题。
来源:AGI Hunt · agihunt.info