Carbon-X 训练方法揭秘：midtraining 是突破随机基线的关键

Carbon-X 团队揭示了模型训练方法：对 Qwen3-14B 直接进行纯 RL 时，在 FrontierVEP 上始终无法突破 50% 随机基线。先在 300B tokens 的 DNA、英文及交错数据上进行 midtraining，再训练才能取得突破；模型采用混合分词器，英文使用 BPE，DNA 使用核苷酸级分词。