Platypus开源持续学习模型探索知识固化

一位非研究者以 Apache 2.0 许可证开源了字节级持续学习语言模型项目 Platypus，项目借鉴互补学习系统理论，用快速情景记忆与慢速权重学习分担知识，以减少连续训练中的灾难性遗忘。 Platypus 按10个 Pile 数据域依次学习；植入测试链上的双跳和三跳召回率均为1.00，自然文本双跳召回率约为0.77。作者称，把快速存储中的知识固化进模型权重仍是开放难题，目前正开展171M参数GPU实验，并试验模式级及关系模式回放。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。