AGI Hunt· cortexist·· 1 小时前AI 评分43
2018 年的 Jetson AGX Xavier 跑 Qwen3.8 27B：decode 17 tok/s 的完整折腾记录
2018 年的 Jetson AGX Xavier 跑 Qwen3.8 27B:decode 17 tok/s 的完整折腾记录
AI 导读
作者将 2018 年的 Jetson AGX Xavier 改造成本地 LLM 机，在 512 token prompt 下，Qwen3.8 27B 的 prefill 峰值为 106 tok/s，配合 Qwen3.8 2B draft 后 decode 约 13.4 tok/s。
来源：AGI Hunt · agihunt.info