LoopVL用循环复用32层挑战4B模型
热点事件持续更新
LoopVL用循环复用32层挑战4B模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
中国人民大学、百度、上海交通大学、清华大学等团队推出视觉语言模型 LoopVL,用约 1B 参数的语言骨干配合两层嵌套循环,把 32 个独特的 Transformer 层重复调用为 128 次层调用,以同一批参数反复处理输入代替堆叠参数规模。 在共享 0.14T 训练 token 预算的对照条件下,LoopVL 在 8 个受控基准中的 5 个上同时超过约 4B 的深层和宽层基线模型,其中 RealWorldQA 得分 70.98,MathVision 得分 38.49。 该结果的适用范围限于上述共享 token 预算下的受控基准对比,报道未涉及更大规模模型或其他训练设置的表现。
AI 根据报道生成 · 2 小时前更新
最新进展10月29日 06:48
LoopVL 用 1B 参数循环复用 32 层,5/8 基准胜 4B 模型报道时间线
沿着报道,了解事件的不同侧面。
10月29日
- AGI HuntLoopVL 用 1B 参数循环复用 32 层,5/8 基准胜 4B 模型
人大、百度、上海交大、清华等团队推出 LoopVL,约 1B 语言骨干以两层嵌套循环将 32 个独特 Transformer 层复用为 128 次层调用。它在共享 0.14T 训练 token 预算下,于 8 个受控基准中的 5 个胜过约 4B 深版和宽版基线,RealWorldQA 达 70.98,MathVision 达 38.49。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。