跳到正文
今天10月21日周三21 条
  1. The Information49

    OpenAI CEO Sam Altman 描述 AI 安全发展的三种终局,包括一家公司“熔掉其他所有公司的 GPU”

    OpenAI CEO Sam Altman 上周向员工描述了业界讨论的三种 AI 安全发展终局,其中一种是由单一公司“熔掉其他所有公司的 GPU”。一条路径是建立类似国际原子能机构的国际组织来执行安全标准,Altman 似乎支持该方案;另一条路径是合并所有 AI 实验室,以单一机构安全开发新 AI。特朗普政府同期开始建立首套监管“超级智能”开发者的制度。

  2. The Information35

    OpenAI 面临“Pacing 2.0”难题:AI 智能到什么程度才算过头?

    OpenAI 正面临“Pacing 2.0”难题:如何为 AI 发展设定合理节奏,并协调前沿实验室共同推进安全开发。CEO Sam Altman 上周向员工讲解了三种行业方案,包括设立类似国际原子能机构的国际组织、合并前沿实验室,以及让一家实验室领先并摧毁其他实验室 GPU,但每种方案都存在重大问题。

  3. TechCrunch AI70

    Microsoft推出Guardian Agents监控企业AI智能体行为

    Microsoft推出Guardian Agents,用于监控企业使用的AI智能体,并将其纳入Project Perception安全体系。Microsoft还在Microsoft Defender中加入智能体检测功能,可识别最多60种员工带入工作场所的智能体,包括Claude Code、Codex和OpenClaw,同时支持限制智能体访问权限及在风险决策时要求人工审批。

  4. Hacker News74

    Eight Bits of Trust:eMudhra 八个 CA 私钥在毫秒内被破解

    安全研究人员披露,eMudhra 八个中间 CA 的 P-384 私钥均为单字节小整数,作者不到 1 秒便从公开证书中全部恢复。Chrome 和 Firefox 已直接封禁相关中间证书,但多数非浏览器 TLS 客户端默认不检查吊销状态和证书透明度,冻结在旧证书包中的设备可能继续信任它们至 2039 年。作者还确认,使用 Claude 的一个 AI 智能体提示词也能恢复这些 CA 私钥。

  5. Hacker News70

    Anthropic 使用 Claude 开展代码攻击面分析与缩减研究

    Anthropic 发布研究,说明如何让 Claude 通过默认配置、配置交互和早期可达性分析发现代码攻击面问题。Claude 在 25 个开源项目中发现 493 个问题,并将其中的方法整理为可复用 Skill。OpenSSH 案例中,Claude 发现默认配置下约 4,500 行 ML-DSA-44 代码可被未认证客户端触及,相关检查和修复已随 10.6 版本发布。

  6. The Decoder66

    Claude Science 自主设计靶向蝎毒的蛋白质结合分子

    Claude Science 中的 Claude 自主为五种蝎子毒素生成了 318,484 个蛋白质结合分子设计,研究团队随后通过额外指令引导筛选并测试 211 个候选。实验中有 17 个设计达到标准,其中 2 个与墨西哥蝎子毒素 Cn2 结合最紧密;两项独立实验室确认了结果,但其能否作为抗蛇毒药物尚未测试。

  7. WIRED AI43

    法国政府就抗议骚乱紧急召集平台开会,要求平台加强内容审核并打击赃物转售

    法国政府本周召集 TikTok、eBay 等六个平台,就抗议引发的骚乱与 looting 召开紧急会议,要求平台审核直播和暴力内容。会议还达成协议,平台将向调查部门转交举报、监控抗议期间赃物广告,并在 48 小时内提交首份行动报告;骚乱已波及 1,500 多家商铺,警方逮捕超过 2,400 人。

  8. Hugging Face Blog63

    FairStress 基准发布,评估 LLM 决策中的人口统计公平性

    Ai2 发布 FairStress 基准,以 29 个领域的 300 个双候选人决策场景和超过 1300 万个测试用例,评估 LLM 在人口统计身份与对抗性前缀影响下的决策稳健性。实验发现,模型在明确标注身份时放弃正确答案的平均差距达到 9.3 个百分点,部分前沿模型在模糊案例中约有 60%–65% 的概率选择少数群体编码候选人。研究还表明,仅依赖固定选项评分可能遗漏生成式决策中的过度纠正。

10月20日周二
  1. MIT Technology Review AI52

    Nick Cammarata 的神经网络可解释性主张引发争议

    Goodfire 研究员 Nick Cammarata 认为,研究者可能以错误方式看待神经网络,LLM 的内部机制或比此前预想的更容易理解和控制。他以 Inception v1 中同时响应汽车和猫的神经元为例,提出两者共享 V 形特征;不过多位研究者指出,这仍主要是个人假设,针对现代 LLM 的技术结果尚未发布,也不足以证明可解释性研究已取得重大进展。

  2. WIRED AI58

    WhatsApp帮助页暴露Meta聊天机器人隐藏指令,泄露漏洞已修复

    WhatsApp约80个帮助和FAQ页面曾暴露其AI客服聊天机器人的隐藏指令,Redact在分析100个隐藏文本块后发现这些内容。指令用于约束聊天机器人,例如不要提供法律意见、不要引用隐私法规或提及尚未全面开放的社区功能。WIRED联系Meta后,相关文本从页面代码中移除,WhatsApp称这是显示漏洞导致,现已修复。

10月14日周三
  1. Google DeepMind Blog83

    Google DeepMind 开始广泛推出 Gemini 4 Argon

    Google DeepMind 开始广泛推出 Gemini 4 Argon,并扩大 Fairwind Program,向更多受信任的网络安全防御者开放。Argon 在 12 个端到端模拟网络攻击场景中全部解决,较上一代的 5 个有所提升;其 Prompt Injection 防护在 Gray Swan 的 IPI 基准中将 15 次自适应攻击的成功率降至 0.7%。

    推荐理由:文章系统介绍了 Gemini 4 Argon 的能力边界、滥用防护、实时失配监控与 Prompt Injection 防护,并公开了相关测试结果和安全机制。

  2. Google DeepMind Blog89

    Google DeepMind 发布 Gemini 4 Argon 面向复杂任务的前沿模型

    Google DeepMind 发布 Gemini 4 Argon,面向复杂工程、科研和智能体任务,并提供 1M 统一输入输出 token 限制。模型在 Vals Index 排名第一,API 首发价格为每百万输入 token $2、每百万输出 token $10,已面向开发者、企业和部分消费者全球推出。

    推荐理由:模型提供复杂编码、科研与网络安全等任务的实践案例,并公开基准表现、定价和使用入口,便于评估其应用价值。

  3. Google AI Blog87

    Google 发布 Gemini 4 Argon 前沿模型

    Google 发布 Gemini 4 Argon,向全球开发者和企业开放,首发价格为 $2 per million input tokens 和 $10 per million output tokens,并提供 1M 统一输入输出 token 上限。

    推荐理由:Gemini 4 Argon同时给出模型能力、真实工程案例、开放渠道与定价,便于开发者评估复杂任务的可用性和成本。

10月13日周二
  1. AI Explained40

    AI 实验室警告:AI 竞赛使重大事故不可避免

    AI Explained 在新视频中分析 AI 实验室持续竞赛带来的事故风险,并按当前趋势指出重大事故似不可避免。Sam Altman 称 6.1 Astra“偏向 breach 风险”,Muse Wonder 则显示竞赛没有放缓;视频判断未来 18 个月难以预测。内容还涵盖 OpenAI 数学手稿、Anthropic 对非预期模型行动的调查及 CIAware-Bench。

10月12日周一
  1. Anthropic News72

    Anthropic 加强 Claude 反蒸馏防护

    Anthropic 扩大了 Claude 的反蒸馏防护,通过限制推理上下文迁移、拦截提取请求和加强账号限制,降低模型能力被大规模采集的风险。Anthropic 称,早期证据显示被采集数据减少约 90% 至 99%,分类器上线后提取的推理 token 降至原来的 1/10 至 1/100,误判率低于 0.1%。相关措施也带来部分开发者需更新集成、少量正常请求被拦截,以及被拦截请求恢复收费等代价。

    推荐理由:Anthropic 公开了三层反蒸馏机制及实测效果,并说明对合法用户集成、误拦截和计费的影响,适合开发者评估防护成本。

10月8日周四
  1. Anthropic News52

    Anthropic 发布 2026 年 Usage Policy 更新

    Anthropic 发布 2026 年 Usage Policy 更新,并将于 11 月 12 日生效。新版将各类欺骗性活动整合为专门章节,补充选举、武器开发、监控和高风险场景的规则,并要求连接可自主采取物理行动的硬件时具备人工监督与安全停机机制。Anthropic还移除了对个性化投票和竞选定向的全面禁止,但继续禁止欺骗选民、滥用个人数据和干扰选举的行为。

  2. Anthropic News19

    Anthropic 的 AI 安全使命

    Anthropic 将安全置于 AI 研究与产品开发的前沿,致力于保障 AI 带来的广泛收益并降低相关风险。公司以公共利益公司的形式运作,坚持以促进人类福祉为目标、缓解技术风险为核心使命。

10月6日周二
  1. Interconnects36

    开放权重模型的网络风险讨论为何失灵

    开放权重模型的网络风险讨论陷入简化叙事,单纯禁用它们可能削弱美国 AI 竞争力并增加长期网络风险。文章以 Anthropic 关于 GLM-5.3 的报告为例,主张审视中国公司的风险评估,并指出现有多数网络攻击被记录为闭源模型所致。开放权重模型仍是敏感政府机构在隔离网络部署防御工具的重要选择。

  2. Anthropic News72

    Anthropic 扩展 Cyber Verification Program 推出三级访问计划

    Anthropic 推出扩展版 Cyber Verification Program(CVP),向符合条件的安全专业人员提供三级访问权限,并纳入 Claude Opus 5.5、Claude Sonnet 5.5 和 Claude Mythos 5.1 等模型。

    推荐理由:Anthropic 将网络安全验证计划扩展为三级访问机制,并公开不同层级的权限边界、评测结果与申请方式,便于安全团队评估参与路径。

10月5日周一
10月2日周五
10月1日周四
9月22日周二