跳到正文
AGI Hunt· burkov·· 3 小时前AI 评分32

并行语言模型 PLM:一次前向生成多个一致 token,突破自回归延迟瓶颈

并行语言模型 PLM:一次前向生成多个一致 token,突破自回归延迟瓶颈

AI 导读

并行语言模型 PLM 用辅助变量协调多个并行 token 预测,使模型一次前向生成多个 token,同时保持一致性与可训练性。训练覆盖 8000 万至 30 亿参数模型,直接在文本上训练,并与同等规模自回归模型及公开语言模型、扩散模型进行比较。

来源:AGI Hunt · agihunt.info