跳到正文
热点事件持续更新

社区将 Inkling-2-Mini 移植至 RTX 3090

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Reddit 用户通过 vLLM PR #69028 的 ampere-port 分支,将原本仅支持 Hopper/Blackwell 的 Inkling-2-Mini 移植到单张 24GB RTX 3090,无需重新量化,并实现 128k 上下文与 DSpark 投机解码。 实测解码速度为 112–147 tok/s,prefill 约 2500–2700 tok/s,权重占用 17.55 GiB;8 路并发下未报错,tool calling 正常。但启用 FP8 KV 和 DSpark 时显存占用约 23.8GB,投机接受率仅约 20%–29%,且尚未重跑质量基准。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    社区将 Inkling-2-Mini 移植到单张 RTX 3090

    Reddit 用户将 Inkling-2-Mini 移植到单张 RTX 3090,使其支持 128k 上下文并可使用 DSpark 投机解码。移植包含 Triton 回退、FA2、FP8 KV、CPU 卸载等改动,单卡实测解码速度为 112–147 tok/s,prefill 约 2500–2700 tok/s,权重占用 17.55 GiB。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。