FairStress 基准发布,评估 LLM 决策中的人口统计公平性
Ai2 发布 FairStress 基准,以 29 个领域的 300 个双候选人决策场景和超过 1300 万个测试用例,评估 LLM 在人口统计身份与对抗性前缀影响下的决策稳健性。实验发现,模型在明确标注身份时放弃正确答案的平均差距达到 9.3 个百分点,部分前沿模型在模糊案例中约有 60%–65% 的概率选择少数群体编码候选人。研究还表明,仅依赖固定选项评分可能遗漏生成式决策中的过度纠正。
Ai2 发布 FairStress 基准,以 29 个领域的 300 个双候选人决策场景和超过 1300 万个测试用例,评估 LLM 在人口统计身份与对抗性前缀影响下的决策稳健性。实验发现,模型在明确标注身份时放弃正确答案的平均差距达到 9.3 个百分点,部分前沿模型在模糊案例中约有 60%–65% 的概率选择少数群体编码候选人。研究还表明,仅依赖固定选项评分可能遗漏生成式决策中的过度纠正。
Import AI 475 汇总了 AI 智能体集群扩展、AI 监管民调、Google DeepMind 的 SynthID Bio、自动科学实验基准 SciUniverse,以及面向自主科学发现的科学经济研究。