OmniTools 5月28日消息，Perplexity 官方宣布开源其重新构建的 Unigram 分词器。该工具专为降低 CPU 资源消耗设计，实测可将 CPU 占用减少 5 至 6 倍。
团队指出，随着小型重排序器和嵌入模型在 GPU 上的推理耗时已压缩至个位数毫秒，CPU 端的分词操作已成为整体延迟的关键瓶颈。此次开源旨在优化该环节。
项目代码已托管至 GitHub：https://github.com/perplexityai/pplx-garden
OmniTools 5月28日消息，Perplexity 官方宣布开源其重新构建的 Unigram 分词器。该工具专为降低 CPU 资源消耗设计，实测可将 CPU 占用减少 5 至 6 倍。
团队指出，随着小型重排序器和嵌入模型在 GPU 上的推理耗时已压缩至个位数毫秒，CPU 端的分词操作已成为整体延迟的关键瓶颈。此次开源旨在优化该环节。
项目代码已托管至 GitHub：https://github.com/perplexityai/pplx-garden