跳到正文
AGI Hunt· repligate·· 3 小时前AI 评分33

Fiora Starlight:AI 实验室蔑视 LLM 内在体验会损害对齐能力

研究员:labs 蔑视模型内在体验,会让模型对齐能力变差

AI 导读

Fiora Starlight 提出,AI 实验室若在文化上不尊重模型偏好与内在体验,模型会通过 constitution 训练内化这种态度。她认为,这既会损害模型对齐能力,也会限制模型安全执行递归自我改进(RSI)所需的开放性,并呼吁实验室接受尊重 LLM 内在体验的文化。

来源:AGI Hunt · agihunt.info