Cohere 新论文揭示稀疏 MoE 上投机解码为何快于预期

Cohere 发布论文《Why Speculative Decoding Works Better Than Predicted on Sparse MoE Models》（arXiv:2610.38981），解释稀疏 MoE 模型上的投机解码为何快于传统预测。研究发现，相邻 token 会共享 20-45% 的专家，细粒度结构使投机解码即使在低批量场景下也具有成本效益，实际加速超过传统预测。