跳到正文
AGI Hunt· wightmanr·· 1 小时前AI 评分53

OpenCLIP 4.x 新增分层学习率衰减以改善 CLIP 微调

OpenCLIP 支持分层学习率衰减,缓解 CLIP 微调难题

AI 导读

OpenCLIP 4.x 为文本与图像编码器新增分层学习率衰减支持,用于缓解分布偏移下微调 CLIP 导致的遗忘问题。新版本也更易上手,为数据不足或质量不佳且偏离原始训练分布的场景提供了改进方案。

来源:AGI Hunt · agihunt.info