跳到正文
AGI Hunt· VoidAsuka·· 3 小时前AI 评分35

Inkling 2 Mini 登陆 vLLM,本地推理适配跑通

Inkling 2 Mini 登陆 vLLM,网友自嘲'摆脱永久下等舱'

AI 导读

用户 VoidAsuka 宣布已在 vLLM 推理框架上成功跑通 Inkling 2 Mini,并称其本地推理适配现已可用。此前 Ahmad Osman 表示,该小模型能让普通用户获得不错的本地推理能力;相关实测还称,NInfer-all 适配后在 5090 上解码速度达到 llama.cpp 的两倍。

来源:AGI Hunt · agihunt.info