swift-transformers 1.4.0 改默认分词清理行为

Hugging Face 发布 swift-transformers 1.4.0，重点是分词正确性、性能以及与 Transformers 库对齐，其中包含一处破坏性变更：cleanuptokenizationspaces 缺省值改为 false，且 BPE 分词器即使显式设为 true 也跳过清理，因此“x != y”不再被错误转成“x!= y”。 编码结果与 token ID 保持不变，但解码出的文本可能变化，受影响的是此前启用了清理的配置，包括 Llama 3.x。需要保留旧行为的用户可在 tokenizerconfig.json 中显式设回 true。该版本由 15 位贡献者参与，其中 10 位为首次贡献者。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。