社区将 Inkling-2-Mini 移植至 RTX 3090
热点事件持续更新
社区将 Inkling-2-Mini 移植至 RTX 3090
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Reddit 用户通过 vLLM PR #69028 的 ampere-port 分支,将原本仅支持 Hopper/Blackwell 的 Inkling-2-Mini 移植到单张 24GB RTX 3090,无需重新量化,并实现 128k 上下文与 DSpark 投机解码。 实测解码速度为 112–147 tok/s,prefill 约 2500–2700 tok/s,权重占用 17.55 GiB;8 路并发下未报错,tool calling 正常。但启用 FP8 KV 和 DSpark 时显存占用约 23.8GB,投机接受率仅约 20%–29%,且尚未重跑质量基准。
AI 根据报道生成 · 1 小时前更新
最新进展11月21日 23:18
社区将 Inkling-2-Mini 移植到单张 RTX 3090报道时间线
沿着报道,了解事件的不同侧面。
11月21日
- AGI Hunt社区将 Inkling-2-Mini 移植到单张 RTX 3090
Reddit 用户将 Inkling-2-Mini 移植到单张 RTX 3090,使其支持 128k 上下文并可使用 DSpark 投机解码。移植包含 Triton 回退、FA2、FP8 KV、CPU 卸载等改动,单卡实测解码速度为 112–147 tok/s,prefill 约 2500–2700 tok/s,权重占用 17.55 GiB。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。