跳到正文
AGI Hunt· VoidAsuka·· 45 分钟前AI 评分38

Inkling 2 Mini 在 RTX 5090 上用 vLLM 跑出 200 tok/s

AI 导读

开发者 @gaunernst 分享实测:在 RTX 5090 上用 vLLM 运行 Inkling 2 Mini,开箱生成速度达到 200 tokens/秒,并原生支持 NVFP4 量化。其思维链相比 Qwen 更简洁流畅,使用者称第一印象体验顺滑。

来源:AGI Hunt · agihunt.info