Hubble 开源 14 个模型套件用于研究 LLM 记忆化

Hubble 项目开源 14 个用于研究 LLM 记忆化的模型，包括 8 个标准模型和 6 个受控扰动模型。8 个标准模型参数规模为 1B/8B，预训练量分别为 100B/500B tokens；实验显示，记忆风险受敏感数据频率与语料规模之比影响，不再持续暴露的敏感数据会被遗忘。