跳到正文
AGI Hunt· WaveCut·· 3 小时前AI 评分66

NInfer-all 适配 Inkling 2 Mini,RTX 5090 解码速度达 llama.cpp 两倍

NInfer-all 适配 Inkling 2 Mini,5090 上解码速度达 llama.cpp 两倍

AI 导读

WaveCut 将 Inkling 2 Mini 接入 NInfer-all,可直接运行 Unsloth UD-IQ4XS GGUF,无需重新量化。在相同 GGUF 下,RTX 5090 的 decode 速度为 182 tok/s,llama.cpp 为 97 tok/s。该项目提供 Windows 和 Linux 预编译二进制及 Docker 镜像,并支持低显存 GPU 缓存热点专家专家权重。

来源:AGI Hunt · agihunt.info