Reflection公布Beam安全训练与评估结果

Reflection公开了开源权重模型Beam的安全训练与评估方法，包括多教师策略蒸馏、拒绝策略训练，以及越狱和智能体安全测试。其在Iris Safety Evaluations中拒绝了89%的有害请求，并响应82%的安全相关无害请求；Project Iris同时开放安全研究资料、评测工件和缓解工具。 Reflection称，Mirror测试中未观察到成功攻击，但这一结果仅适用于固定攻击，不能证明模型能抵御会调整攻击载荷的对手；相关研究规模较小、未达统计显著性，也未经过实验室验证。这些评估衡量的是模型在获得操作机会时尝试危险行为的倾向，不能证明其能绕过实际安全控制或在部署中保持相同表现。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。