AGI Hunt· EmilPi·· 2 小时前AI 评分37
Inkling-2-Mini 量化版实测翻车:17GB 权重吃满 48GB 显存
Inkling-2-Mini 量化版实测翻车:17GB 权重吃满 48GB 显存
AI 导读
Reddit 用户实测发现,Inkling-2-Mini 的 IQ4NL 量化版约 17GB,不仅比 Hy4-Flash 更慢,还存在影响质量的 bug。即便如此,17GB 量化权重仍会占满 48GB 显存,在 131072 上下文长度下速度不足 20 tok/s;作者怀疑其架构或 llama.cpp 支持尚未成熟。
来源:AGI Hunt · agihunt.info