OmniTools 8月8日消息,腾讯混元开源高性能算子库 HPC-Ops 已集成至 SGLang 主分支,包含 Dynamic Attention、Router GEMM 与 Fused MoE 等关键算子。
据公开信息,HPC-Ops 中的 Dynamic Attention 与 Fused MoE 算子在 Hy3 模型上实测最高可降低 TPOT(Time Per Output Token)达 48.8%。
此次集成旨在提升大模型推理效率,相关代码已面向开发者开放。
OmniTools 8月8日消息,腾讯混元开源高性能算子库 HPC-Ops 已集成至 SGLang 主分支,包含 Dynamic Attention、Router GEMM 与 Fused MoE 等关键算子。
据公开信息,HPC-Ops 中的 Dynamic Attention 与 Fused MoE 算子在 Hy3 模型上实测最高可降低 TPOT(Time Per Output Token)达 48.8%。
此次集成旨在提升大模型推理效率,相关代码已面向开发者开放。
从这条动态出发,继续查看相关分析、产品详情和同主题更新。
刚收录的 AI 工具,适合顺手发现可用产品。