AGI Hunt· behrouz_ali·· 3 小时前AI 评分51
Google Research 提出睡眠框架,让 LLM 持续学习并保留 1000 万 token 知识
Google Research 提出睡眠框架:让 LLM 持续学习、知识保留达 1000 万 token
AI 导读
Google Research 提出受人类睡眠启发的持续学习框架,通过周期性的离线“睡眠阶段”巩固短期记忆。框架结合 Consolidation 与 Dreaming 机制,将易碎的短期上下文转化为参数化长期记忆,实验显示模型可持续吸收新事实,并将长上下文知识保留至 1000 万 token。
来源:AGI Hunt · agihunt.info