Modal 详解如何以万亿 token 规模服务 Kimi K2.6 编码 Agent 推理

OmniTools 9月24日消息，Modal 发布技术博客，详解其为月之暗面 Kimi K2.6 编码 Agent 提供大规模推理服务的工程实践。该方案面向万亿参数模型在编码场景下的高并发、低延迟需求，通过系统级优化实现单副本每用户性能提升 2.8 倍、副本整体吞吐提升 5.6 倍。

优化后，单个服务实例日均可处理数千亿 token，支撑编码 Agent 在真实生产环境中的稳定高效运行。文中未披露具体上线时间或客户部署细节，仅聚焦基础设施层的性能调优方法。