OmniTools 7月14日消息,NVIDIA Newsroom 7月14日消息,英伟达在最新技术博客中指出,电力已成为AI基础设施不可回避的硬性约束,AI工厂在固定功耗预算内能生成的token数量直接决定其营收与利润水平。因此,“每瓦性能”这一无法被人为操纵、仅能通过真实负载验证的指标,正成为AI基础设施设计与部署的基石。
文中提到,基于Blackwell架构的GB300 NVL72平台在DeepSeek V4 Pro、GLM5.1及Kimi K2.6等前沿模型上,相较Hopper架构分别实现最高25倍、20倍和10倍的每瓦性能提升。该性能优势源于芯片、互连(如第六代NVLink Switch)、软件栈(包括TensorRT LLM、SGLang、vLLM等)及电源管理(DSX MaxLPS)的全栈协同设计。
实际部署方面,Anthropic、OpenAI、CoreWeave、Perplexity及Fireworks AI等机构已将Blackwell平台用于生产环境,支撑Qwen3系列、GLM5.2及Kimi K2.6等大模型的高并发、低延迟推理服务。