FairStress 基准发布,评估 LLM 决策中的人口统计公平性
Ai2 发布 FairStress 基准,以 29 个领域的 300 个双候选人决策场景和超过 1300 万个测试用例,评估 LLM 在人口统计身份与对抗性前缀影响下的决策稳健性。实验发现,模型在明确标注身份时放弃正确答案的平均差距达到 9.3 个百分点,部分前沿模型在模糊案例中约有 60%–65% 的概率选择少数群体编码候选人。研究还表明,仅依赖固定选项评分可能遗漏生成式决策中的过度纠正。
Ai2 发布 FairStress 基准,以 29 个领域的 300 个双候选人决策场景和超过 1300 万个测试用例,评估 LLM 在人口统计身份与对抗性前缀影响下的决策稳健性。实验发现,模型在明确标注身份时放弃正确答案的平均差距达到 9.3 个百分点,部分前沿模型在模糊案例中约有 60%–65% 的概率选择少数群体编码候选人。研究还表明,仅依赖固定选项评分可能遗漏生成式决策中的过度纠正。
ALTK-Evolve 从智能体训练轨迹中提炼行为规则并附加到系统提示词,不更新模型权重即可提升 τ²-bench 客服任务表现。使用 gpt-4.1 时,零售 held-out 任务的 Pass^4 达到 67.5%,在 October 12, 2026 排行榜快照中排名第一;gpt-5.5 在航空任务上的 Pass^4 达到 82.0%,同样排名第一。