AGI Hunt· ChengleiSi·· 1 小时前AI 评分29
RSI 时代 scaling law 研究被重新定价:小模型可当大模型代理
AI 导读
一则观点转发在 RSI 时代重新审视 scaling law 研究,认为小模型可作为大模型代理,以逐渐可接受的验证成本探索架构、data recipe 与 infra。被引用的讨论指出,公开研究博客中的 scaling law 结论与叙事彼此矛盾且过度绑定具体数据;在预训练 token 数较低时,脱离数据难以建立统一 scaling law。
来源:AGI Hunt · agihunt.info