客服Agent退款承诺矛盾暴露评测盲区

JitteryWorkman在1200例客服Agent评测中发现，现有逐trace独立打分无法识别同一工单跨会话的退款承诺矛盾：38例多trace案例中，有3例的相关轨迹各自通过政策打分器，却给出互相冲突的退款金额，人工复核同一case时每轮所见金额也不同。 作者正在Braintrust测试按caseid分组的会话级打分，每行最多合并64条trace，并将矛盾案例纳入回归数据集、发布前以case级结果设置CI质量门；工单重开或再次转接时的分组边界尚未确定。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。