AGI Hunt· code_star·· 1 小时前AI 评分34
code_star 提议用 midtraining 与 RL 重新训练 2023-2024 开源基座模型
博主提议用现代训练法翻新 2023-24 旧基座模型,挖掘被埋没的潜力股
AI 导读
博主 code_star 提议为 2023-2024 年的开源基座模型加入现代 midtraining 和 RL 训练流程并重新评估能力,认为部分“遗珠”模型可能凭后训练与推理能力提升而表现突出。他还指出,预训练阶段过滤的互联网垃圾数据可用于训练垃圾及 SEO 内容分类器。
来源:AGI Hunt · agihunt.info