跳到正文
热点事件持续更新

LoopVL用循环复用32层挑战4B模型

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

中国人民大学、百度、上海交通大学、清华大学等团队推出视觉语言模型 LoopVL,用约 1B 参数的语言骨干配合两层嵌套循环,把 32 个独特的 Transformer 层重复调用为 128 次层调用,以同一批参数反复处理输入代替堆叠参数规模。 在共享 0.14T 训练 token 预算的对照条件下,LoopVL 在 8 个受控基准中的 5 个上同时超过约 4B 的深层和宽层基线模型,其中 RealWorldQA 得分 70.98,MathVision 得分 38.49。 该结果的适用范围限于上述共享 token 预算下的受控基准对比,报道未涉及更大规模模型或其他训练设置的表现。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月29日
  1. AGI Hunt
    LoopVL 用 1B 参数循环复用 32 层,5/8 基准胜 4B 模型

    人大、百度、上海交大、清华等团队推出 LoopVL,约 1B 语言骨干以两层嵌套循环将 32 个独特 Transformer 层复用为 128 次层调用。它在共享 0.14T 训练 token 预算下,于 8 个受控基准中的 5 个胜过约 4B 深版和宽版基线,RealWorldQA 达 70.98,MathVision 达 38.49。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。