AGI Hunt· eesahe·· 8 小时前AI 评分71
单张 RTX 4090 运行 Inkling 2 Mini 的 FP8 与 NVFP4 实测配方
单卡 4090 跑 Inkling 2 Mini 达 ~200 tok/s:FP8+NVFP4 实测配方
AI 导读
作者通过修补 vLLM,在单张 RTX 4090 上将 Inkling 2 Mini 推理速度提升至约 190-220 tokens/s,开箱速度约为 117 tokens/s。配置采用 NVFP4 专家权重(W4A16)、FP8 注意力、头部与嵌入(W8A16)以及 FP8 KV cache,24GB 显存可容纳 35k 上下文,样例 prompt 困惑度损失约 0.4%。
来源:AGI Hunt · agihunt.info