产品与应用官方发布 · blogs.nvidia.com
NVIDIA 发布 Dynamo 部署配方,面向韩国四大开源模型
OmniTools 11月9日消息,NVIDIA 发布 Dynamo 优化部署配方,面向韩国领先开源模型,覆盖 SK Telecom 的 A.X K2、LG AI Research 的 K-EXAONE 2.0、Upstage 的 Solar Open 2 以及 Motif Technologies 的 Motif-3。
NVIDIA 表示,随着模型规模超出单块 GPU 容量,模型需要拆分到多块 GPU 上运行,并对请求路由和通信进行协调以维持性能。Dynamo 是开源分布式推理服务框架,面向数据中心规模的多节点环境部署,负责处理上述路由与通信,以提升推理性能。
这些配方针对 NVIDIA B200 GPU 优化,开箱即可提供最高 2 倍性能,帮助开发者更快将韩国开源模型投入生产,并转化为可广泛访问的 AI for All 服务。