AGI Hunt· Material_Tone_6855·· 2 小时前AI 评分62
社区将 Inkling-2-Mini 移植到单张 RTX 3090
社区把 Inkling-2-Mini 移植到单张 RTX 3090:128k 上下文、DSpark 提速
AI 导读
Reddit 用户将 Inkling-2-Mini 移植到单张 RTX 3090,使其支持 128k 上下文并可使用 DSpark 投机解码。移植包含 Triton 回退、FA2、FP8 KV、CPU 卸载等改动,单卡实测解码速度为 112–147 tok/s,prefill 约 2500–2700 tok/s,权重占用 17.55 GiB。
来源:AGI Hunt · agihunt.info