跳到正文
AGI Hunt· behrouz_ali·· 3 小时前AI 评分51

Google Research 提出睡眠框架,让 LLM 持续学习并保留 1000 万 token 知识

Google Research 提出睡眠框架:让 LLM 持续学习、知识保留达 1000 万 token

AI 导读

Google Research 提出受人类睡眠启发的持续学习框架,通过周期性的离线“睡眠阶段”巩固短期记忆。框架结合 Consolidation 与 Dreaming 机制,将易碎的短期上下文转化为参数化长期记忆,实验显示模型可持续吸收新事实,并将长上下文知识保留至 1000 万 token。

来源:AGI Hunt · agihunt.info