Cognition 披露 mid-training 配方与 token 效率图方法

Cognition 训练负责人 Carles Gelada 首次披露在 RL 前加入 mid-training 的数据安排，并介绍用 token 效率图进行数据消融。其数据包括数万亿 token 的代码、科学文章和博客，高质量稀缺数据被留到最后；在相同 1B–30B token 预算下，不同数据混合的 loss 曲线几乎重叠，但 token 效率可相差 0.8–1.15+。