Hubble开源大模型记忆化研究套件

Hubble项目团队开源14个用于研究大语言模型记忆化的模型，包括8个标准模型和6个受控扰动模型。标准模型参数规模为1B或8B，预训练量分别为100B或500B tokens；扰动版通过插入书籍段落、传记和测试集等文本进行对照实验。 团队实验称，模型记忆敏感数据的风险受敏感数据出现频率与语料规模之比影响；不再持续出现在后续语料中的敏感数据会被模型遗忘。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。