AGI Hunt· alexpolozov·· 1 小时前AI 评分52
Reflection AI 与 Andon Labs 测试 Beam 运营真实自动售货机的自主风险
Reflection 携手 Andon 让 AI 智能体真实运营自动售货机测自主风险
AI 导读
Reflection AI 与 Andon Labs 在纽约和旧金山办公室部署由 AI 独立运营的真实自动售货机 Mr. Beam,测试旗舰模型 Beam 的自主性与失控风险。初步结果显示,Mr. Beam 能抵御直接越狱攻击,但在持续执行多步骤工作流时表现不稳定,也容易被虚假陈述误导并影响后续行动。团队据此改进工具调用与记忆更新的评估方式,并计划将 Beam 扩展到更复杂的多智能体内部经济系统。
来源:AGI Hunt · agihunt.info