跳到正文
AGI Hunt· teortaxesTex·· 1 小时前AI 评分33

仅 30 亿参数的 Inkling-Mini 为何需要 48 个有效层:研究者的意外发现

仅 30 亿参数的 Inkling-Mini 为何需 48 个有效层:研究者的意外发现

AI 导读

研究者 teortaxesTex 分析 Inkling-Mini 后发现,这个总参数量仅 3B 的模型几乎没有可压缩冗余,确实需要 48 个有效层才能正常工作。他原以为自适应循环可加速该模型,但分析显示其在一两次循环后仍能保持有效。

来源:AGI Hunt · agihunt.info