跳到正文
AGI Hunt· ying11231·· 3 小时前AI 评分48

srush 用 Lean 形式化验证 Rust 分词器,应对 RL 训练推理失配

srush 用 Lean 形式化验证 Rust 分词器,直击 RL 训练推理失配

AI 导读

srushnlp 发布「Lean Verified Tokenizers」,用 Lean 形式化验证 Rust 分词器与 Agent 管线,解决 RL 训练中的训练-推理消息失配。项目受 Miles「Token-In-Token-Out」启发,不只测试训练所见模型生成的确切 token,还验证分词器关键性质,为 agentic RL 提供更严谨的基础。

来源:AGI Hunt · agihunt.info