跳到正文
热点事件持续更新

医疗大模型偏倚评估覆盖失衡

4 篇报道1 个报道来源47 分钟前更新

先了解这件事

AI 综述

《柳叶刀·数字健康》系统综述汇总201项医疗大模型偏倚与公平性研究,发现现有测试明显偏向闭源模型,真实临床数据、病历生成和多语言评估覆盖不足,尚不足以判断模型在实际医疗应用中的偏倚。 201项研究中有180项测试闭源模型,69项涉及开源权重模型;仅44项使用真实世界数据,7项考察临床文书写作。英语被测试32次,多语言仅1次。论文作者称,开源权重是独立审计模型偏倚的必要条件,并呼吁在真实临床工作流中开展大规模研究,同时审计闭源和开源模型。

AI 根据报道生成 · 刚刚更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    《柳叶刀》子刊综述 201 项医疗 LLM 偏倚研究

    Lancet Digital Health 的系统综述汇总了 201 项医疗大模型偏倚研究,发现评估在模型、数据、语言和临床场景上分布失衡。180 项研究只测试闭源模型,69 项涉及开源权重模型,44 项使用真实世界数据,仅 7 项研究临床文书写作;英语被测试 32 次,多种语言仅测试 1 次。作者呼吁在真实临床工作流中开展大规模研究,并对闭源与开源模型进行偏倚审计。

  2. AGI Hunt
    《Lancet Digital Health》综述 201 项研究 医疗 LLM 偏见审计不足

    《Lancet Digital Health》11 月 18 日发表综述,系统梳理了 201 项医疗 LLM 偏见与公平性研究。180 项研究测试闭源模型,69 项测试开源模型,其中仅 44 项使用真实世界数据、7 项涉及临床病历书写。论文作者认为,开源权重模型是独立审计医疗 LLM 偏见的必要条件,闭源模型使这类审查难以开展。

  3. AGI Hunt
    Lancet 综述:医疗 LLM 偏差研究九成只测闭源模型

    《Lancet Digital Health》11 月 18 日发表系统综述,分析 201 项医疗大语言模型偏倚研究。结果显示,180 项测试了闭源模型,仅 69 项涉及开源权重模型,评论者据此指出当前偏见审计覆盖不足。

  4. AGI Hunt
    Lancet Digital Health 综述 201 项医疗 LLM 偏差研究

    《Lancet Digital Health》一项系统综述纳入 201 项医疗 LLM 偏差研究,其中 180 项测试闭源模型,仅 69 项测试开源模型。研究仅 44 项使用真实世界数据,应用分布上临床决策支持最多,共 104 项,临床病历生成仅 7 项。作者认为,开源权重模型是透明审计模型偏差的可行途径。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。