David Bau 团队新论文提出 Piggyback 假说：窄域微调致错对齐源于聊天模板 token 传播

David Bau 团队在 arXiv 发布论文，提出 Piggyback 假说，解释窄域微调引发的涌现错对齐源于聊天模板 token 传播。扰动查询前缀 token 或替换前缀表征，可在不改变用户查询的情况下恢复对齐。其提出的 TReFT 在 Llama-3.1-8B 法律域微调中多减少 33.5% 的 EM，并在 abstention、工具调用、拒答场景平均降低 54.3% 的跑题泛化。