Qwen 团队发布 TRACE：让 FP4 训练与 rollout 的舍入保持一致

阿里 Qwen 团队与俄亥俄州立大学提出 TRACE，用于稳定 MoE 语言模型中 FP4 权重/激活与 KV-cache rollout 的联合量化。它记录 rollout 侧量化产生的紧凑 scale 与 mantissa 信息，据此选择训练侧的舍入方向，并通过紧凑缓存控制通信开销。该方法已在 Qwen3.5-35B-A3B 上报告推理与训练质量数据。