AGI Hunt· xennygrimmato_·· 3 小时前AI 评分64
Tinker 推出 LoRA 微调优化器 Dimuon,SFT 少步数即超 AdamW
AI 导读
Thinking Machines 旗下 Tinker 平台发布面向 LoRA 微调的新优化器 Dimuon,官方称其在 SFT 测试中常以更少步数达到低于 AdamW 的 loss,现已上线并征集反馈。开发者通过 API 还原了更新规则,包括延迟对角条件化、以 Polar Express 替代 Newton–Schulz 固定步长,以及按 rank 设定。
来源:AGI Hunt · agihunt.info