跳到正文
热点事件持续更新

Artificial Analysis法律基准结果公布

2 篇报道1 个报道来源43 分钟前更新

先了解这件事

AI 综述

Artificial Analysis公布Harvey LAB-AA v1.1法律基准结果,OpenAI的Astra for Law 6.2以20.8%的“幻觉门控全通过率”居首,GPT-6.2 Astra(max)以15.0%次之。该基准包含覆盖24个执业领域的120项私测法律任务,核心指标会惩罚幻觉;该通过率要求评审团认定每条评分标准全部通过,且任务不含实质性幻觉。 OpenAI称,Astra for Law及GPT-6.2 Astra在法律任务中的幻觉数比Opus 5.5少约20倍、比Fable 5.2少约25倍,并称相关数据与Artificial Analysis结果一致,Astra for Law每任务实质幻觉数约为0.03。Astra for Law目前没有公开API。

AI 根据报道生成 · 16 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AGI Hunt
    Artificial Analysis 法律基准:OpenAI Astra for Law 以 20.8% 居首

    Artificial Analysis 发布 Harvey LAB-AA v1.1 基准结果:OpenAI Astra for Law 6.2 以 20.8% 的幻觉门控全通过率居首。基准含 120 项私测任务、覆盖 24 个执业领域;Astra for Law 目前无公开 API。

  2. AGI Hunt
    OpenAI 称 Astra for Law 幻觉数比 Opus 5.5 少约 20 倍

    OpenAI 称 Astra for Law 及 6.2 Astra 在法律任务中的幻觉数比 Opus 5.5 少约 20 倍,比 Fable 5.2 少约 25 倍。相关数据与 Artificial Analysis 的 Harvey LAB-AA v1.1 一致,Astra for Law 每任务实质幻觉数约为 0.03。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。