纯汇编实现开源版Qwen3.5推理

suayptalha 用纯汇编实现 Qwen3.5-0.8B 的完整推理并开源代码；在 AMD EPYC 7B12 单 CPU 线程上，其生成速度为 6.51 tok/s，高于 Transformers 参考实现的 4.34 tok/s。 该测试采用19个输入 token、贪心解码并运行两次，两次生成的32个 token 均与参考结果完全一致。不过，报道指出双方精度与 kernel 不同，因此并非严格对等比较；这一结果主要验证了纯汇编极简栈运行该模型 CPU 推理的可行性。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。