AGI Hunt· TheTuringPost·· 2 小时前AI 评分37
SADL 插件损失将 JEPA 训练崩溃率从 50% 降至 0%
SADL 插件损失号称把 JEPA 训练崩溃率从 50% 降到 0
AI 导读
David Sunok 介绍新方法 SADL(Supply And Demand Loss),称其将 JEPA 训练表征崩溃率从 50% 降至 0%,通过解决编码器 H 先崩溃、梯度无法回传到 Z 的问题发挥作用。该单一即插即用损失已开源,1 个 epoch 效果超过原来 10 个以上,并可在无需搜索的情况下对任意目标形状实现 92% 以上可控性。
来源:AGI Hunt · agihunt.info