跳到正文
AGI Hunt· EmilPi·· 2 小时前AI 评分37

Inkling-2-Mini 量化版实测翻车:17GB 权重吃满 48GB 显存

Inkling-2-Mini 量化版实测翻车:17GB 权重吃满 48GB 显存

AI 导读

Reddit 用户实测发现,Inkling-2-Mini 的 IQ4NL 量化版约 17GB,不仅比 Hy4-Flash 更慢,还存在影响质量的 bug。即便如此,17GB 量化权重仍会占满 48GB 显存,在 131072 上下文长度下速度不足 20 tok/s;作者怀疑其架构或 llama.cpp 支持尚未成熟。

来源:AGI Hunt · agihunt.info