Tinker上线LoRA优化器Dimuon
热点事件持续更新
Tinker上线LoRA优化器Dimuon
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Thinking Machines旗下Tinker已上线专为LoRA微调设计的Dimuon优化器；官方称，在监督微调测试中，它通常能用更少训练步数取得低于AdamW的损失，目前正征集开发者反馈。 Dimuon通过调整矩阵更新中的缩放、正交化计算方式及不同秩的步长设置来适配LoRA。该优化器面向Tinker平台上的LoRA微调任务，效果数据目前来自官方测试。
AI 根据报道生成 · 2 小时前更新
最新进展10月29日 04:51
Tinker 推出 LoRA 微调优化器 Dimuon，SFT 少步数即超 AdamW报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- AGI HuntTinker 推出 LoRA 微调优化器 Dimuon，SFT 少步数即超 AdamW
Thinking Machines 旗下 Tinker 平台发布面向 LoRA 微调的新优化器 Dimuon，官方称其在 SFT 测试中常以更少步数达到低于 AdamW 的 loss，现已上线并征集反馈。开发者通过 API 还原了更新规则，包括延迟对角条件化、以 Polar Express 替代 Newton–Schulz 固定步长，以及按 rank 设定。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。