扩散式 LLM 为何不适合分布式推理：一篇技术分析

技术分析认为，扩散式 LLM 的双向注意力去噪器每一步都需在完整 canvas 上计算，无法像自回归模型那样利用 KV-cache 切分至多台设备。由于 noisy canvas 属于全局状态，扩散式 LLM 的跨设备同步开销超过收益，分布式推理表现因此不及自回归架构。