NVIDIA 开源发布 36 层循环架构 LLM Dory1-4B

NVIDIA 近期开源发布循环架构大语言模型 Dory1-4B，模型共 36 层，由 8 层输入层、20 层循环块和 8 层输出层组成。Dory1-4B 的循环块可分别循环 1、2、4 次，相关标题称循环 4 次时表现逼近 9B 模型水平。