跳到正文
AGI Hunt· NationalUniversityofSingapore·· 46 分钟前AI 评分40

新加坡国立大学 MMFlash:视觉语言模型推测解码最高提速 3.58 倍

新加坡国立大学 MMFlash:视觉语言模型推测解码提速 3.58 倍

AI 导读

新加坡国立大学团队发布 MMFlash,通过自适应上调依赖视觉的 token 权重,并结合长视频稀疏注意力改进多模态推测解码。基于 KL 散度的 token 级视觉依赖度量显示,接受率随视觉依赖升高从 46% 降至 22%;该方法在文本、STEM、视频等多任务上实现最高 3.58× 无损加速,代码与模型已开源。

来源:AGI Hunt · agihunt.info