跳到正文
AGI Hunt· kenbwork·· 4 小时前AI 评分50

Ken 发布 RespSurvBench 评估模型的呼吸道疫情监测能力

新基准 RespSurvBench:21 个模型最高通过率仅 25.5%

AI 导读

Ken 发布 RespSurvBench,以110项任务评估21个模型在呼吸道疫情监测与追踪中的能力,覆盖诊断检测、病原体发现、病毒演化和传播。测试包含34种模型–harness组合,最高通过率为25.5%,来自 Pi 中的 Claude Opus 5.5,拒答与执行错误均计为失败。初步分析显示,模型会把缺失观测当作阴性结果、错配记录或将测量伪影误认为真实生物信号。

来源:AGI Hunt · agihunt.info