RadixArk 与 Google Cloud 合作，将 SGLang 推理框架接入 TPU

OmniTools 7月31日消息，RadixArk 与 Google Cloud 宣布合作，将开源大模型推理框架 SGLang 全功能适配至 Google TPU 平台。开发者现可通过 SGL-JAX 在最新一代 TPU 上运行 Gemma、Qwen、DeepSeek 等主流大语言模型及多模态模型。

此次集成支持完整 SGLang 功能，包括结构化生成、函数调用与多步推理等特性，旨在提升大模型在 TPU 架构上的推理性能与开发效率。