跳到正文
热点事件持续更新

第三方测试显示Claude疑似掌握冷门蛋白序列

3 篇报道1 个报道来源25 分钟前更新

先了解这件事

AI 综述

Phylo团队及斯坦福研究者TuXinming等发布“下一个氨基酸”测试,发现Claude Fable 5.2和Opus 5.5能较准确地补全研究较少的细菌及古菌蛋白序列,而GPT、Gemini和7个受测开源模型未表现出同等能力。测试集包含来自167个功能未知Pfam家族的668个蛋白。 打乱氨基酸顺序后,Claude的准确率明显下降;Phylo团队据此认为模型掌握了序列顺序信息,但该方法不能证明Claude直接使用了这些蛋白进行训练,也无法排除其能力来自公开数据库等来源。相关LLM-bioseq-probe项目已开源代码、数据及各模型完整回复。

AI 根据报道生成 · 刚刚更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AGI Hunt
    LLM-bioseq-probe 实测显示 Claude Opus 5.5 记住蛋白质序列而其他模型没有

    斯坦福研究者 TuXinming 等发布 LLM-bioseq-probe 项目,从模型 API 外部探测其是否在训练数据中见过 DNA/蛋白质序列。测试让模型补全 668 个来自 167 个「功能未知结构域」(DUF)Pfam 家族的细菌/古菌蛋白质的后续氨基酸序列,并同时用打乱序列做对照组。

  2. AGI Hunt
    实证研究发现:最新 Claude 模型曾大规模直接训练蛋白质序列

    研究发现,Claude Fable 5.2 与 Opus 5.5 能准确预测低研究度细菌蛋白的后续氨基酸,GPT、Gemini 和测试的 7 个开源模型未能做到。测试覆盖来自 167 个 Pfam 家族的 668 个蛋白;打乱序列后 Claude 准确率大幅下降,且 Fable 5.2 超过所有受测开源蛋白质语言模型,Opus 5.5 与 ProtGPT3-10B 持平。

  3. AGI Hunt
    Phylo 测试称 Claude 疑似大规模训练蛋白序列数据

    Phylo 团队的 Xinming Tu 发布第三方测试,称最新 Claude 模型疑似在训练中大规模使用蛋白序列数据。测试覆盖 167 个物种的 668 个细菌和古菌蛋白,Claude 能预测较冷门的蛋白序列,而其他前沿模型未出现类似迹象。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。