前沿 LLM 预分词器内幕：手工正则为何成为隐形重活

Mamba 作者 Albert Gu 指出，每个前沿 LLM 都依赖手工编写的正则表达式预分词器完成繁重工作。YouJiacheng 补充称，这通常是 tokenizer 流程中最耗时的部分；该讨论被指是在为即将到来的某个发布铺垫，具体正则示例见原推线程。