OmniTools 8月25日消息,OpenAI在Hot Chips大会上公布了自研AI推理芯片Jalapeño的首批基准测试结果。该芯片在Semianalysis推出的InferenceX基准测试中,单位用户生成token数和每千瓦时吞吐量均高于当前可用的最先进推理处理器。
据OpenAI硬件负责人Richard Ho介绍,Jalapeño在单位功耗下可服务更多AI请求,同时响应延迟更低,兼顾高吞吐与低延迟。测试对比对象为Nvidia Blackwell系统,但Ho指出,待Jalapeño于2026年底小批量部署、2027年扩大部署时,竞争格局或已发生变化。
Jalapeño于2025年10月首次公布,由OpenAI与Broadcom联合开发,其设计聚焦推理流程中的关键瓶颈——prefill阶段与通信阶段。通过全栈协同优化,芯片支持KV缓存等模型状态的显式本地化存储,显著减少数据移动与通信延迟。