跳到正文
AGI Hunt· MerePotato·· 2 小时前AI 评分47

Inkling 2 Mini 在单张 4090 上跑到 117 tokens/s,作者建议弃用 llama.cpp

AI 导读

Reddit 用户分享 Inkling 2 Mini 本地推理实测:在单张 4090 上使用 vLLM(不开 dspark)达到 117 tokens/s。上下文拉至 128k 时速度降至 76 tokens/s,作者建议若运行不顺可从 llama.cpp 转向 vLLM。

来源:AGI Hunt · agihunt.info