ICML 论文 AGZO：激活子空间引导零阶优化，Qwen3-0.6B 微调超 MeZO

ICML 2026 论文 AGZO 提出激活子空间引导的零阶优化方法，通过前向传播即时提取低秩激活子空间，约束梯度估计方向。Qwen3-0.6B 在 CB 上达到 89.2%，MeZO 为 80.3%；AGZO 还在近一阶训练会 OOM 的硬件条件下完成 Qwen3-4B 微调，显存占用与其他 ZO 方法基本持平。