AGI Hunt· teortaxesTex·· 3 小时前AI 评分33
teortaxes:模型自发涌现冯·诺依曼架构受信息论根本限制
teortaxes:让模型自发涌现冯·诺依曼架构受信息论根本限制
AI 导读
teortaxes认为,通过训练让模型内部自然形成模块化计算机结构,本质上受信息论根本限制,单靠堆叠 RL 任务或程序化生成数据无法促使模型在电路层面构建冯·诺依曼式架构。该观点回应 Yacine 以 pufferlib 进行秒级训练、扫描架构实验的设想,认为快速实验无法解决根本问题。
来源:AGI Hunt · agihunt.info