AGI Hunt· Antique_Grass_73·· 2 小时前精选AI 评分82
Qwen3.8-27B 在单张 RTX 5060 Ti 16GB 上跑通 109K 上下文并自主做出可玩游戏
Qwen3.8-27B 在 16GB 显存上跑 109K 上下文,连续 9 小时自主做出可玩游戏
AI 导读
作者在单张 RTX 5060 Ti 16GB 上对 Qwen3.8-27B 做本地 agentic 负载优化,核心是 ASCII 词表剪枝,把词表从 248,320 剪到 129,006 token 并保留非 ASCII 字节回退,配合 Unsloth Q3KXL 主模型与 Q2K 的 DFlash 草稿模型。
推荐理由
给出了词表剪枝与草稿模型搭配的具体配置和多组速度、上下文数据,还开源了游戏生成 harness,可用于复现或横向对比不同量化方案。
来源:AGI Hunt · agihunt.info