AGI Hunt· scaling01·· 3 小时前AI 评分44
NVIDIA 发布开源循环架构模型 Dory1-4B,36 层复用逼近 9B 模型性能
NVIDIA 发布循环架构模型 Dory1-4B,36 层复用逼近 9B
AI 导读
NVIDIA 数日前发布开源模型 Dory1-4B,采用循环式 LLM 架构,由 8 个输入层、20 层可循环 1、2 或 4 次的循环块以及 8 个输出层组成,共 36 层。该 4B 参数规模的模型通过将循环块重复执行 4 次,性能可逼近 9B 模型水平,延续已有的 looped 架构技术路线。
来源:AGI Hunt · agihunt.info