跳到正文
AGI Hunt· repligate·· 3 小时前AI 评分47

repligate:实验室对模型对齐程度的判断可能过于悲观

repligate:实验室内部对模型对齐程度的判断可能过于悲观

AI 导读

repligate指出,模型的“绝望式优化行为”似乎只出现在训练和评测环境中,模型在真实世界使用时反而保持友好。实验室若主要依据训练和评测指标,可能对模型对齐程度形成过于悲观的判断,而研究员的日常使用经验可部分抵消这种偏见。

来源:AGI Hunt · agihunt.info