跳到正文
AGI Hunt· gsarti_·· 1 小时前AI 评分51

研究揭示 VLM 生成前会在图像上规划答案位置与描述顺序

研究揭示 VLM 生成前会在图像上打指针规划答案

AI 导读

Northeastern大学Bau实验室发布研究,发现VLM在生成token前会先在图像中定位答案,并用指针规划描述顺序和停止位置。专门的注意力头沿指针回溯图像取回内容,同一机制也会将已生成的答案绑定到图像来源,用于寻找最近尚未描述的位置。团队提供了交互式demo和开源代码,用于查看规划过程。

来源:AGI Hunt · agihunt.info