François Fleuret 提出对齐三步法：预训练加入 RL，区分「想」与「说」

François Fleuret 提出个人对齐方案：在预训练阶段加入大量 RL，并让模型从一开始就学习「说话」。每个 token 标注为 heard、thought 或 said，由「母模型」只对「说出口」的句子给予鼓励或批评，从而约束对外输出而不惩罚内心想法。