跳到正文
AGI Hunt· NanyangTechnologicalUniversity·· 51 分钟前AI 评分50

NTU 循环语言模型 Late Entry 解码:最高 12.5 倍加速

循环语言模型 Late Entry 解码:最高 12.5 倍贪心精确加速

AI 导读

NTU 提出循环语言模型(looped LM)的 Late Entry 解码策略,让新 token 跳过初始 pass,并将贪心精确推理加速 5.2–8.4 倍。该策略在 Wake 的单个静态 CUDA 图内统一三种模式;在 Huginn-3.5B 上采用无回滚有损模式时,加速最高达 12.5 倍。

来源:AGI Hunt · agihunt.info