AGI Hunt· VoidAsuka·· 3 小时前AI 评分35
Inkling 2 Mini 登陆 vLLM,本地推理适配跑通
Inkling 2 Mini 登陆 vLLM,网友自嘲'摆脱永久下等舱'
AI 导读
用户 VoidAsuka 宣布已在 vLLM 推理框架上成功跑通 Inkling 2 Mini,并称其本地推理适配现已可用。此前 Ahmad Osman 表示,该小模型能让普通用户获得不错的本地推理能力;相关实测还称,NInfer-all 适配后在 5090 上解码速度达到 llama.cpp 的两倍。
来源:AGI Hunt · agihunt.info