AGI Hunt· teortaxesTex·· 1 小时前AI 评分33
仅 30 亿参数的 Inkling-Mini 为何需要 48 个有效层:研究者的意外发现
仅 30 亿参数的 Inkling-Mini 为何需 48 个有效层:研究者的意外发现
AI 导读
研究者 teortaxesTex 分析 Inkling-Mini 后发现,这个总参数量仅 3B 的模型几乎没有可压缩冗余,确实需要 48 个有效层才能正常工作。他原以为自适应循环可加速该模型,但分析显示其在一两次循环后仍能保持有效。
来源:AGI Hunt · agihunt.info