AGI Hunt· NielsRogge·· 44 分钟前AI 评分50
Hugging Face 发布 FinePhrase 讲义:486B token 合成预训练数据集,网页改写 90 种
AI 导读
Hugging Face 发布 FinePhrase 讲义,公开一个 486B token 的开源合成预训练数据集。方法以小型语言模型将网页改写为 FAQ、数学应用题、表格或教程,并用 1.7B 模型开展 90 组实验、基于 1558 份文档累计改写超 1T token。数据集与讲义均已公开,为合成数据质量与预训练策略研究提供参考。
来源:AGI Hunt · agihunt.info