Cognition披露预训练数据消融方法
热点事件持续更新
Cognition披露预训练数据消融方法
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Cognition训练负责人Carles Gelada披露了在强化学习前加入mid-training的数据安排，并提出用token效率图评估预训练数据配比：在相同token预算下，不同数据混合的loss曲线几乎重叠时，仍可看出学习效率差异。 其训练数据包括数万亿token的代码、科学文章和博客，高质量但稀缺的数据被留到最后。Cognition称，在1B至30B token预算内，不同数据混合的token效率可相差0.8至1.15以上；该方法用于识别总体loss差异不明显的数据组合。
AI 根据报道生成 · 2 小时前更新
最新进展11月5日 04:41
Cognition 披露 mid-training 配方与 token 效率图方法报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- AGI HuntCognition 披露 mid-training 配方与 token 效率图方法
Cognition 训练负责人 Carles Gelada 首次披露在 RL 前加入 mid-training 的数据安排，并介绍用 token 效率图进行数据消融。其数据包括数万亿 token 的代码、科学文章和博客，高质量稀缺数据被留到最后；在相同 1B–30B token 预算下，不同数据混合的 loss 曲线几乎重叠，但 token 效率可相差 0.8–1.15+。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。