OmniTools 9月21日消息，9 月 21 日消息，Hugging Face 正式发布 tokenizers 库 v1 版本，重点优化编码（encode）、解码（decode）及多线程扩展性能。新版本在 Apple M4 Max 单线程下，对十种主流模型的文本编码速度较 v0.23 提升 3 至 30 倍，t5-base 提升最低（3 倍），gpt2 提升最高（30 倍）；八线程扩展效率达线性加速的 76%。
v1 保持与 v0.23 完全一致的输出结果、API 接口、词表及合并顺序，不改变模型行为。关键改进包括：以手写位流（bitstream）逻辑替代正则表达式进行预分词，引入线程局部词缓存减少重复合并，重写 BPE 合并循环避免内存分配，并支持原生多线程并发编码。
该版本已作为发布候选版上线 crates.io，可通过 cargo add tokenizers --pre 安装。训练功能默认启用（依赖 C++ 组件），仅需编码功能时可禁用以减小依赖。现有代码无需修改即可直接升级使用。
