OpenCLIP 4.x支持分层学习率衰减

OpenCLIP 4.x 为 CLIP 文本与图像编码器的微调新增分层学习率衰减支持，希望在数据不足或质量不佳、偏离原始训练分布的情况下，通过为不同层设置不同学习率来缓解遗忘问题。 这项功能面向使用 OpenCLIP 微调 CLIP 的开发者，可分别调整文本和图像编码器的参数更新幅度；目前报道仅说明其设计目标，尚未给出实际缓解效果的测试数据。

AI 根据报道生成 · 37 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。