Inkling-2-Mini量化版实测表现不佳
热点事件持续更新
Inkling-2-Mini量化版实测表现不佳
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Reddit用户实测称,Inkling-2-Mini的IQ4NL量化版权重约17GB,在48GB显存环境下,131072上下文长度时速度不足20 tok/s,且比Hy4-Flash更慢,并出现影响输出质量的bug。 该用户怀疑问题来自模型本身的榜单特化,或llama.cpp对模型的支持尚未成熟;llama.cpp与unsloth团队当时也未确定应使用哪个fork。因此,这一结论目前仅代表该用户的实测,尚不能视为普遍表现。
AI 根据报道生成 · 1 小时前更新
最新进展11月21日 19:17
Inkling-2-Mini 量化版实测翻车:17GB 权重吃满 48GB 显存报道时间线
沿着报道,了解事件的不同侧面。
11月21日
- AGI HuntInkling-2-Mini 量化版实测翻车:17GB 权重吃满 48GB 显存
Reddit 用户实测发现,Inkling-2-Mini 的 IQ4NL 量化版约 17GB,不仅比 Hy4-Flash 更慢,还存在影响质量的 bug。即便如此,17GB 量化权重仍会占满 48GB 显存,在 131072 上下文长度下速度不足 20 tok/s;作者怀疑其架构或 llama.cpp 支持尚未成熟。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。