AGI Hunt· simi_97k·· 3 小时前AI 评分46
T-DIG 训练配方:以多样性为奖励并用惩罚防止 reward hacking
T-DIG 训练配方:以多样性为奖励并加惩罚防止 reward hacking
AI 导读
T-DIG 训练配方以生成图像信号训练模型,将沿请求变化轴的多样性 TPIPS 作为奖励,并以 VQA 与 HPSv3 作为惩罚。仅使用多样性奖励时,政策可能偏离基础提示词,生成空白图或堆砌过多元素,因此惩罚项对避免 reward hacking 必不可少。
来源:AGI Hunt · agihunt.info