跳到正文
热点事件持续更新

Inkling 2 Mini本地推理速度实测

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Reddit 用户 MerePotato 分享 Inkling 2 Mini 本地推理实测:在单张 RTX 4090 上使用未开启 dspark 的 vLLM,生成速度达到 117 tokens/s;上下文扩展至 128k 后降至 76 tokens/s。 MerePotato 称,若模型运行不顺,可考虑从 llama.cpp 改用 vLLM,并表示两者速度差别明显;该结果来自个人设备的单次实测。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. AGI Hunt
    Inkling 2 Mini 在单张 4090 上跑到 117 tokens/s,作者建议弃用 llama.cpp

    Reddit 用户分享 Inkling 2 Mini 本地推理实测:在单张 4090 上使用 vLLM(不开 dspark)达到 117 tokens/s。上下文拉至 128k 时速度降至 76 tokens/s,作者建议若运行不顺可从 llama.cpp 转向 vLLM。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。