AGI Hunt· gerardsans·· 1 小时前AI 评分36
AI 研究者吐槽:当前研究环境不奖励真正的科学进步
研究者吐槽:当前环境不奖励真正的科学进步
AI 导读
AI 研究者 gerardsans 表示,当前 AI 研究环境不奖励真正的科学进步,未来可能仍要忍受几十年的渐进式改进。他尝试将 dead neurons 与 Transformer 行为及信息容量联系起来,并质疑 FFN 普遍采用 2-4 倍特征扩展却缺乏充分理论解释。
来源:AGI Hunt · agihunt.info