davidbau 用合成数据基准重估 token 级训练归因

研究者 davidbau 构建了一套全新基准，用可配置多样性、复杂度的合成数据使训练归因的 ground truth 无歧义，并据此分析 token 级归因方法，结论是两类常见做法会失真：文档级平均会埋没少数关键 token，交叉熵损失的梯度会压低高置信度 token 的得分；他据此提出以负对数几率损失加以修正的方案。 这套基准的意义在于提供了可控、可验证的评测环境，使上述缺陷和修正方案能被直接检验；目前结论的适用范围限于该合成基准及其所测的归因方法在相应配置下的表现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。