AGI Hunt· meituan-longcat·· 3 小时前AI 评分41
美团 LongCat 提出因子化向量量化 FVQ,离散视觉 token 追平连续表征
美团 LongCat 提出因子化向量量化 FVQ,离散视觉 token 追平连续表征
AI 导读
美团 LongCat 团队提出因子化向量量化(FVQ),使离散视觉 token 在多模态理解上追平连续视觉表征。研究发现,量化误差大小不能可靠决定语义损失,下游性能更取决于离散索引的有效比特预算。FVQ 以对称并行码本量化视觉特征的互补固定维度视图,并在大比特预算下持续提升,避免现有量化器扩充码本时出现饱和。
来源:AGI Hunt · agihunt.info