英国 AISI 研究 ESM-2 预训练数据过滤的效果与可恢复性

英国 AISI 团队发现，预训练数据过滤可削弱 ESM-2 蛋白质模型的病毒蛋白能力，同时基本保留非病毒蛋白能力。实验覆盖 8M 至 3B 参数模型，使用被过滤的病毒蛋白数据继续微调即可恢复相关性能，最大模型仅需约 80 美元 H100 算力，因此过滤措施仍需配合数据访问控制。