NTU提出循环模型Late Entry解码
热点事件持续更新
NTU提出循环模型Late Entry解码
1 篇报道1 个报道来源39 分钟前更新
先了解这件事
AI 综述
南洋理工大学研究团队提出循环语言模型的Late Entry解码策略,让新token跳过初始计算、直接进入后续循环并复用深上下文缓存;经轻量微调解决入口处隐状态范数失配后,效果超过匹配的early-exit。 团队在Wake中以单个静态CUDA图统一贪心精确、margin门控和无回滚有损三种模式,关键路径只需K次计算。Huginn-3.5B上的贪心精确解码加速6.1至8.4倍;无回滚有损模式最高加速12.5倍。
AI 根据报道生成 · 21 分钟前更新
最新进展11月19日 14:17
NTU 循环语言模型 Late Entry 解码:最高 12.5 倍加速报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- AGI HuntNTU 循环语言模型 Late Entry 解码:最高 12.5 倍加速
NTU 提出循环语言模型(looped LM)的 Late Entry 解码策略,让新 token 跳过初始 pass,并将贪心精确推理加速 5.2–8.4 倍。该策略在 Wake 的单个静态 CUDA 图内统一三种模式;在 Huginn-3.5B 上采用无回滚有损模式时,加速最高达 12.5 倍。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。