AGI Hunt· suayptalha·· 1 小时前AI 评分57
纯汇编跑通 Qwen3.5-0.8B,单 CPU 线程达到 6.51 tok/s
纯汇编跑通 Qwen3.5-0.8B:单 CPU 线程 6.51 tok/s 胜过 PyTorch
AI 导读
suayptalha 用纯汇编实现了 Qwen3.5-0.8B 的完整推理,并将代码开源在 GitHub。在 AMD EPYC 7B12 的单 CPU 线程上,生成速度为 6.51 tok/s,高于 Transformers 参考实现的 4.34 tok/s;两次运行生成的 32 个 token 与参考完全一致。
来源:AGI Hunt · agihunt.info