医疗大模型偏倚评估覆盖失衡
先了解这件事
《柳叶刀·数字健康》系统综述汇总201项医疗大模型偏倚与公平性研究,发现现有测试明显偏向闭源模型,真实临床数据、病历生成和多语言评估覆盖不足,尚不足以判断模型在实际医疗应用中的偏倚。 201项研究中有180项测试闭源模型,69项涉及开源权重模型;仅44项使用真实世界数据,7项考察临床文书写作。英语被测试32次,多语言仅1次。论文作者称,开源权重是独立审计模型偏倚的必要条件,并呼吁在真实临床工作流中开展大规模研究,同时审计闭源和开源模型。
AI 根据报道生成 · 刚刚更新
报道时间线
沿着报道,了解事件的不同侧面。
- AGI Hunt《柳叶刀》子刊综述 201 项医疗 LLM 偏倚研究
Lancet Digital Health 的系统综述汇总了 201 项医疗大模型偏倚研究,发现评估在模型、数据、语言和临床场景上分布失衡。180 项研究只测试闭源模型,69 项涉及开源权重模型,44 项使用真实世界数据,仅 7 项研究临床文书写作;英语被测试 32 次,多种语言仅测试 1 次。作者呼吁在真实临床工作流中开展大规模研究,并对闭源与开源模型进行偏倚审计。
- AGI Hunt《Lancet Digital Health》综述 201 项研究 医疗 LLM 偏见审计不足
《Lancet Digital Health》11 月 18 日发表综述,系统梳理了 201 项医疗 LLM 偏见与公平性研究。180 项研究测试闭源模型,69 项测试开源模型,其中仅 44 项使用真实世界数据、7 项涉及临床病历书写。论文作者认为,开源权重模型是独立审计医疗 LLM 偏见的必要条件,闭源模型使这类审查难以开展。
- AGI HuntLancet 综述:医疗 LLM 偏差研究九成只测闭源模型
《Lancet Digital Health》11 月 18 日发表系统综述,分析 201 项医疗大语言模型偏倚研究。结果显示,180 项测试了闭源模型,仅 69 项涉及开源权重模型,评论者据此指出当前偏见审计覆盖不足。
- AGI HuntLancet Digital Health 综述 201 项医疗 LLM 偏差研究
《Lancet Digital Health》一项系统综述纳入 201 项医疗 LLM 偏差研究,其中 180 项测试闭源模型,仅 69 项测试开源模型。研究仅 44 项使用真实世界数据,应用分布上临床决策支持最多,共 104 项,临床病历生成仅 7 项。作者认为,开源权重模型是透明审计模型偏差的可行途径。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。