跳到正文
热点事件持续更新

Inkling-2-Mini量化版实测表现不佳

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Reddit用户实测称,Inkling-2-Mini的IQ4NL量化版权重约17GB,在48GB显存环境下,131072上下文长度时速度不足20 tok/s,且比Hy4-Flash更慢,并出现影响输出质量的bug。 该用户怀疑问题来自模型本身的榜单特化,或llama.cpp对模型的支持尚未成熟;llama.cpp与unsloth团队当时也未确定应使用哪个fork。因此,这一结论目前仅代表该用户的实测,尚不能视为普遍表现。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    Inkling-2-Mini 量化版实测翻车:17GB 权重吃满 48GB 显存

    Reddit 用户实测发现,Inkling-2-Mini 的 IQ4NL 量化版约 17GB,不仅比 Hy4-Flash 更慢,还存在影响质量的 bug。即便如此,17GB 量化权重仍会占满 48GB 显存,在 131072 上下文长度下速度不足 20 tok/s;作者怀疑其架构或 llama.cpp 支持尚未成熟。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。