合成数据新基准揭示 token 级归因两大缺陷

davidbau 构建了一套采用全新合成数据的新基准，使 ground truth 无歧义，并可配置数据的多样性与复杂度。该基准发现，文档级平均会埋没少数关键 token，交叉熵损失的梯度也会压低高置信度 token 的得分，进而催生以负对数几率损失修正的方案。