Inkling-2-Mini本地实测:速度更快但能力未达27B
热点事件持续更新
Inkling-2-Mini本地实测:速度更快但能力未达27B
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
一名使用16GB显存的用户公布Inkling-2-Mini本地实测:在Q4KXL、262K上下文和INT8 KV配置下,airbench取最好两次的三分之一成绩为98%,整套基准约耗时1小时,较27B模型的1小时24分快约19分钟。 但该用户认为,Inkling-2-Mini在真实任务和标准基准中的表现未达到27B档。其判断是,模型主要对无法装载27B模型的低显存设备有吸引力;从Q4到Q1量化时性能衰减曲线理论上会更平缓,但这尚属其个人分析。
AI 根据报道生成 · 41 分钟前更新
最新进展11月23日 01:30
16GB 显卡实测 Inkling-2-Mini:快 19 分钟但远不及 27B 档报道时间线
沿着报道,了解事件的不同侧面。
11月23日
- AGI Hunt16GB 显卡实测 Inkling-2-Mini:快 19 分钟但远不及 27B 档
16GB 显卡用户实测 Inkling-2-Mini,在 Q4KXL、262K 上下文和 INT8 KV 配置下耗时约 1 小时。其 airbench 最好成绩为 98%(取最好 2/3),比 27B 模型的 1 小时 24 分更快,但真实任务表现未达到 27B 档。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。