跳到正文
AGI Hunt· meituan-longcat·· 3 小时前AI 评分41

美团 LongCat 提出因子化向量量化 FVQ,离散视觉 token 追平连续表征

美团 LongCat 提出因子化向量量化 FVQ,离散视觉 token 追平连续表征

AI 导读

美团 LongCat 团队提出因子化向量量化(FVQ),使离散视觉 token 在多模态理解上追平连续视觉表征。研究发现,量化误差大小不能可靠决定语义损失,下游性能更取决于离散索引的有效比特预算。FVQ 以对称并行码本量化视觉特征的互补固定维度视图,并在大比特预算下持续提升,避免现有量化器扩充码本时出现饱和。

来源:AGI Hunt · agihunt.info