跳到正文
热点事件持续更新

NTU提出循环模型Late Entry解码

1 篇报道1 个报道来源39 分钟前更新

先了解这件事

AI 综述

南洋理工大学研究团队提出循环语言模型的Late Entry解码策略,让新token跳过初始计算、直接进入后续循环并复用深上下文缓存;经轻量微调解决入口处隐状态范数失配后,效果超过匹配的early-exit。 团队在Wake中以单个静态CUDA图统一贪心精确、margin门控和无回滚有损三种模式,关键路径只需K次计算。Huginn-3.5B上的贪心精确解码加速6.1至8.4倍;无回滚有损模式最高加速12.5倍。

AI 根据报道生成 · 21 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    NTU 循环语言模型 Late Entry 解码:最高 12.5 倍加速

    NTU 提出循环语言模型(looped LM)的 Late Entry 解码策略,让新 token 跳过初始 pass,并将贪心精确推理加速 5.2–8.4 倍。该策略在 Wake 的单个静态 CUDA 图内统一三种模式;在 Huginn-3.5B 上采用无回滚有损模式时,加速最高达 12.5 倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。