跳到正文
AGI Hunt· Uncovered-Myth·· 2 小时前AI 评分72

2018 款 Acer Nitro 5 运行 Qwen3.6-35B-A3B,提示缓存将冷启动从 9 分钟降至 76 秒

2018 老笔记本跑 Qwen3.6-35B:自建 CUDA 12.9 加提示缓存,冷启动 9 分钟压到 76 秒

AI 导读

一名 Reddit 用户在 2018 款 Acer Nitro 5 上通过自建 CUDA 12.9、提示缓存和显存调优,将 Qwen3.6-35B-A3B 部署为 Hermes 智能体后端。12.7k token 的冷启动时间由 8–9 分钟降至约 76 秒,后续轮次为 5–8 秒,热重启可降至 0.15 秒,但生成速度仍约为 12 tok/s。

来源:AGI Hunt · agihunt.info