模型发布媒体报道 · aihot.virxact.com
腾讯混元开源 HPC-Ops 算子库集成至 SGLang 主分支,Hy3 模型 TPOT 最高降低 48.8%
OmniTools 8月8日消息,腾讯混元开源高性能算子库 HPC-Ops 已集成至 SGLang 主分支,包含 Dynamic Attention、Router GEMM 与 Fused MoE 等关键算子。
据公开信息,HPC-Ops 中的 Dynamic Attention 与 Fused MoE 算子在 Hy3 模型上实测最高可降低 TPOT(Time Per Output Token)达 48.8%。
此次集成旨在提升大模型推理效率,相关代码已面向开发者开放。