跳到正文
AGI Hunt· peaster_·· 2 小时前AI 评分50

开发者优化 Inkling 2 Mini 推理,双 3090 解码速度达到约 200 tok/s

开发者优化 Inkling 2 Mini 推理:双 3090 飙至约 200 tok/s

AI 导读

peaster_ 将 Inkling 2 Mini 移植到 Ampere 架构 GPU 上的 vLLM,使双 3090 解码速度达到约 200 tok/s。该模型为 26B MoE、约 3B 激活,未优化时在 llama.cpp 上约为 50 tok/s,开发者量化后单张 4090 可接近 60 tok/s。

来源:AGI Hunt · agihunt.info