NInfer-all适配Inkling 2 Mini
热点事件持续更新
NInfer-all适配Inkling 2 Mini
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
WaveCut已将Thinking Machines的Inkling 2 Mini接入NInfer-all,可直接运行Unsloth的UD-IQ4XS GGUF而无需重新量化。在相同GGUF和RTX 5090上,其解码速度为182 tok/s,llama.cpp为97 tok/s;后者需使用Unsloth构建版本,主线尚不支持该GGUF。 项目提供Windows、Linux预编译二进制和Docker镜像。显存不足16GB时,专家权重保留在内存并由GPU缓存热点专家;8GB显卡也可运行,但极端情况下从磁盘读取专家的速度约为9 tok/s。
AI 根据报道生成 · 2 小时前更新
最新进展11月21日 16:58
NInfer-all 适配 Inkling 2 Mini,RTX 5090 解码速度达 llama.cpp 两倍报道时间线
沿着报道,了解事件的不同侧面。
11月21日
- AGI HuntNInfer-all 适配 Inkling 2 Mini,RTX 5090 解码速度达 llama.cpp 两倍
WaveCut 将 Inkling 2 Mini 接入 NInfer-all,可直接运行 Unsloth UD-IQ4XS GGUF,无需重新量化。在相同 GGUF 下,RTX 5090 的 decode 速度为 182 tok/s,llama.cpp 为 97 tok/s。该项目提供 Windows 和 Linux 预编译二进制及 Docker 镜像,并支持低显存 GPU 缓存热点专家专家权重。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。