热点事件持续更新

Qwen团队提出TRACE统一FP4舍入

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

阿里Qwen团队与俄亥俄州立大学提出并发布TRACE，通过让FP4训练与rollout采用一致的舍入方向，减少MoE语言模型中权重、激活和KV-cache联合量化造成的不一致。 TRACE会记录rollout侧量化生成的紧凑scale与mantissa信息，再据此选择训练侧舍入方式，并以紧凑缓存控制通信开销。团队已在Qwen3.5-35B-A3B模型上报告推理与训练质量数据。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道，了解事件的不同侧面。

11月3日

11:00
AGI Hunt
Qwen 团队发布 TRACE：让 FP4 训练与 rollout 的舍入保持一致
阿里 Qwen 团队与俄亥俄州立大学提出 TRACE，用于稳定 MoE 语言模型中 FP4 权重/激活与 KV-cache rollout 的联合量化。它记录 rollout 侧量化产生的紧凑 scale 与 mantissa 信息，据此选择训练侧的舍入方向，并通过紧凑缓存控制通信开销。该方法已在 Qwen3.5-35B-A3B 上报告推理与训练质量数据。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。