AGZO用激活子空间改进零阶微调
热点事件持续更新
AGZO用激活子空间改进零阶微调
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
AGZO研究团队提出激活子空间引导的零阶优化方法，利用前向传播即时提取低秩激活子空间，约束梯度估计方向，从而改善大语言模型低显存微调。论文称，在谱集中假设下，该方法与真实梯度的余弦相似度优于各向同性扰动；Qwen3-0.6B在CB任务上的微调准确率达到89.2%，高于MeZO的80.3%。 AGZO还在近一阶训练会因显存不足而无法运行的硬件条件下完成了Qwen3-4B微调，研究团队称其显存占用与其他零阶优化方法基本持平。
AI 根据报道生成 · 1 小时前更新
最新进展10月22日 18:52
ICML 论文 AGZO：激活子空间引导零阶优化，Qwen3-0.6B 微调超 MeZO报道时间线
沿着报道，了解事件的不同侧面。
10月22日
- AGI HuntICML 论文 AGZO：激活子空间引导零阶优化，Qwen3-0.6B 微调超 MeZO
ICML 2026 论文 AGZO 提出激活子空间引导的零阶优化方法，通过前向传播即时提取低秩激活子空间，约束梯度估计方向。Qwen3-0.6B 在 CB 上达到 89.2%，MeZO 为 80.3%；AGZO 还在近一阶训练会 OOM 的硬件条件下完成 Qwen3-4B 微调，显存占用与其他 ZO 方法基本持平。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。