跳到正文
AGI Hunt· nanjinguniv·· 2 小时前AI 评分51

南京大学与中科院发布 Omni-Woodpecker:免训练减少全模态大模型跨模态幻觉

南大发布 Omni-Woodpecker:免训练修正全模态大模型跨模态幻觉

AI 导读

南京大学与中科院发布 Omni-Woodpecker,以 training-free 框架减少 Omni LLM 的跨模态幻觉。框架通过视频、音频及视听遮蔽等 4 种探针诊断冲突,在隐状态中分离证据与竞争先验,并局部干预注意力头和残差状态,不改动模型参数。该框架支持 Qwen2.5-Omni-7B 与 VideoLLaMA2-AV,代码以 MIT 协议在 GitHub 开源。

来源:AGI Hunt · agihunt.info