1ncehost发布重写服务栈的int8-vLLM分支
热点事件持续更新
1ncehost发布重写服务栈的int8-vLLM分支
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
1ncehost发布并维护 curvedinf/int8-vLLM 分支，几乎重写 vLLM 服务栈，以支持主线 vLLM 尚不能提供的 INT8 推理，目标包括 MI100、MI50、MI210、V620、Vega7000 等老款 AMD GPU，以及 Volta、Ampere 等支持 INT8 的 NVIDIA GPU。 1ncehost称，在 C8 解码模式下，4 张 MI100 或 2 张 MI210 运行 Qwen3 27B 的速度可超过 1000 tok/s，分支还修复了 vLLM/ROCm 的多处理数值问题，并已在生产环境稳定运行数周。
AI 根据报道生成 · 2 小时前更新
最新进展11月5日 16:12
int8-vllm 重写服务栈，4x MI100 运行 Qwen3 27B 超 1000 tok/s报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- AGI Huntint8-vllm 重写服务栈，4x MI100 运行 Qwen3 27B 超 1000 tok/s
int8-vllm 维护者重写 vLLM 服务栈，为主线 vLLM 尚不支持的老款 AMD 和 NVIDIA GPU 提供 int8 推理。4x MI100 或 2x MI210 运行 Qwen3 27B 时，C8 解码速度超过 1000 tok/s，并修复了 vLLM/ROCm 的多处理数值问题。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。