FairStress 基准发布，评估 LLM 决策中的人口统计公平性

Ai2 发布 FairStress 基准，以 29 个领域的 300 个双候选人决策场景和超过 1300 万个测试用例，评估 LLM 在人口统计身份与对抗性前缀影响下的决策稳健性。实验发现，模型在明确标注身份时放弃正确答案的平均差距达到 9.3 个百分点，部分前沿模型在模糊案例中约有 60%–65% 的概率选择少数群体编码候选人。研究还表明，仅依赖固定选项评分可能遗漏生成式决策中的过度纠正。