跳到正文
热点事件持续更新

Inkling-2-Mini本地实测:速度更快但能力未达27B

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

一名使用16GB显存的用户公布Inkling-2-Mini本地实测:在Q4KXL、262K上下文和INT8 KV配置下,airbench取最好两次的三分之一成绩为98%,整套基准约耗时1小时,较27B模型的1小时24分快约19分钟。 但该用户认为,Inkling-2-Mini在真实任务和标准基准中的表现未达到27B档。其判断是,模型主要对无法装载27B模型的低显存设备有吸引力;从Q4到Q1量化时性能衰减曲线理论上会更平缓,但这尚属其个人分析。

AI 根据报道生成 · 41 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月23日
  1. AGI Hunt
    16GB 显卡实测 Inkling-2-Mini:快 19 分钟但远不及 27B 档

    16GB 显卡用户实测 Inkling-2-Mini,在 Q4KXL、262K 上下文和 INT8 KV 配置下耗时约 1 小时。其 airbench 最好成绩为 98%(取最好 2/3),比 27B 模型的 1 小时 24 分更快,但真实任务表现未达到 27B 档。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。