Hugging Face 发布 tokenizers v1,编码性能提升 3 至 30 倍
9 月 21 日消息,Hugging Face 正式发布 tokenizers 库 v1 版本,重点优化编码(encode)、解码(decode)及多线程扩展性能。新版本在 Apple M4 Max 单线程下,对十种主流模型的文本编码速度较 v0.23 提升 3 至 30 倍,t5 base 提升最低(3 倍),gpt2 提升最高(30 倍);八线程扩展效率达线性加速的 76%。 v1 保持与 v0.23 完全一致的输出结果、API 接口、...