Omni-Woodpecker免训练减少跨模态幻觉

南京大学与中国科学院团队发布 Omni-Woodpecker，通过免训练方式减少全模态大模型的跨模态幻觉，不改动模型参数；目前已在 Qwen2.5-Omni-7B 和 VideoLLaMA2-AV 上提供支持，相关代码以 MIT 协议在 GitHub 开源。 该框架利用视频、音频及视听遮蔽等四种探针诊断模态冲突，并在模型隐状态中分离证据与竞争先验，随后局部干预注意力头和残差状态，以降低模型依据错误或竞争性先验生成不一致内容的情况。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。