跳到正文
AGI Hunt· gerardsans·· 1 小时前AI 评分36

AI 研究者吐槽:当前研究环境不奖励真正的科学进步

研究者吐槽:当前环境不奖励真正的科学进步

AI 导读

AI 研究者 gerardsans 表示,当前 AI 研究环境不奖励真正的科学进步,未来可能仍要忍受几十年的渐进式改进。他尝试将 dead neurons 与 Transformer 行为及信息容量联系起来,并质疑 FFN 普遍采用 2-4 倍特征扩展却缺乏充分理论解释。

来源:AGI Hunt · agihunt.info