OTRouterClaude、GPT 一个 Key 调用看价格 →
模型发布媒体报道 · aihot.virxact.com

腾讯混元开源 HPC-Ops 算子库集成至 SGLang 主分支,Hy3 模型 TPOT 最高降低 48.8%

OmniTools 8月8日消息,腾讯混元开源高性能算子库 HPC-Ops 已集成至 SGLang 主分支,包含 Dynamic Attention、Router GEMM 与 Fused MoE 等关键算子。

据公开信息,HPC-Ops 中的 Dynamic Attention 与 Fused MoE 算子在 Hy3 模型上实测最高可降低 TPOT(Time Per Output Token)达 48.8%。

此次集成旨在提升大模型推理效率,相关代码已面向开发者开放。

返回快讯