OmniTools 7月31日消息,RadixArk 与 Google Cloud 宣布合作,将开源大模型推理框架 SGLang 全功能适配至 Google TPU 平台。开发者现可通过 SGL JAX 在最新一代 TPU 上运行 Gemma、Qwen、DeepSeek 等主流大语言模型及多模态模型。 此次集成支持完整 SGLang 功能,包括结构化生成、函数调用与多步推理等特性,旨在提升大模型在 TPU 架构上的推理性能与开发效率。