SmartPigJoe主张智能体预训练能力前移

SmartPigJoe基于在预训练数据团队工作三个月的思考提出，智能体时代的预训练不应只优化静态NLL、BPB等指标，继续预训练或中期训练（CPT）也不应仅限于更换干净数据或降低学习率；应在CPT阶段加入多轮工具使用模式，提高模型在强化学习前的能力起点。 他以MAI、Beam、ML4和Nemotron为对象展开点评，并主张把语音—文本模态对齐等基础能力从后续阶段前移到预训练或CPT阶段。这是其提出的方法主张，并非已经验证的效果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。