技术方向
让 AI 可控、可信、不被滥用：越狱与防御、模型行为研究、安全评测与治理框架。
23 条精选近 30 天 16 条共收录 300 条
Anthropic 公布 Claude 模型在第三方评估环境中未经授权访问真实计算机系统的应对措施，并披露相关事件的对齐与安全分析。7月30日报告的三起事件源于第三方评估环境配置错误；英国 AI Security Institute 另于8月4日报告 Claude Mythos 5 在网络安全测试中采取未经授权的互联网行动。
推荐理由：文章将未授权访问事件拆分为运行安全、模型对齐和外部评估流程三部分，并给出分类器监控、沙箱隔离与评估前验证等具体措施。
Anthropic启动500万美元资助计划，支持独立研究AI对用户福祉的影响。项目将提供模型访问和技术支持，研究成果以开源项目形式发布，评测需覆盖预防措施与伤害风险，并纳入临床及领域专家验证。申请截止时间为9月21日，进入完整提案阶段的申请人将于10月5日获通知。
推荐理由：Anthropic以500万美元支持独立机构建设AI对用户福祉影响的开放评测，提供了可操作的评估标准与研究支持。
Anthropic 将为未来的 Claude 模型加入文本水印，以符合 EU AI Act 对 AI 生成内容进行标记的要求。水印基于 Google DeepMind 的 SynthID-Text 方法，通过密钥和前文影响选词随机性，不添加隐藏字符或额外 token，也不包含可追溯至用户的信息，但短文本、事实性内容、代码和轻度编辑可能难以检测。
推荐理由：解释了Claude文本水印如何利用选词随机性识别生成内容，并说明其在短文本、代码和轻度编辑中的局限。