跳到正文
热点事件持续更新

NInfer-all适配Inkling 2 Mini

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

WaveCut已将Thinking Machines的Inkling 2 Mini接入NInfer-all,可直接运行Unsloth的UD-IQ4XS GGUF而无需重新量化。在相同GGUF和RTX 5090上,其解码速度为182 tok/s,llama.cpp为97 tok/s;后者需使用Unsloth构建版本,主线尚不支持该GGUF。 项目提供Windows、Linux预编译二进制和Docker镜像。显存不足16GB时,专家权重保留在内存并由GPU缓存热点专家;8GB显卡也可运行,但极端情况下从磁盘读取专家的速度约为9 tok/s。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    NInfer-all 适配 Inkling 2 Mini,RTX 5090 解码速度达 llama.cpp 两倍

    WaveCut 将 Inkling 2 Mini 接入 NInfer-all,可直接运行 Unsloth UD-IQ4XS GGUF,无需重新量化。在相同 GGUF 下,RTX 5090 的 decode 速度为 182 tok/s,llama.cpp 为 97 tok/s。该项目提供 Windows 和 Linux 预编译二进制及 Docker 镜像,并支持低显存 GPU 缓存热点专家专家权重。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。