Flint 40B单卡实测达206 tok/s

Autonomous Labs 在单张 RTX PRO 6000 Blackwell 上本地实测 Flint 40B；采用 NVFP4 与 SGLang 配置时，单用户输出速度达到 206 tok/s。 同一配置下，16名并发用户总输出速度为 1240 tok/s，人均 77.5 tok/s；8K prompt 的预填充耗时约0.3秒，KV池容量约107万token。结果显示该模型可在单张工作站级显卡上提供本地推理与并发服务能力。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。