法国初创公司Kog推出GPU深度优化方案，宣称可提升大模型推理速度30倍

OmniTools 8月14日消息，法国初创公司Kog正通过底层GPU工程优化，提升大型语言模型（LLM）推理效率。该公司称其Kog推理引擎（KIE）可在现有数据中心级GPU（如AMD MI300X与NVIDIA H200）上实现更高吞吐，目标是达成“30倍更快的LLM推理”。

此前Kog在5月公开演示中，基于自研轻量模型Laneformer 2B（20亿参数）实现单请求3000 tokens/秒（TPS），但尚未在主流大模型上验证效果。创始人Gaël Delalleau表示，团队正全力适配首个主流大模型，预计9月完成10倍加速版本。

Kog强调其方法聚焦GPU物理特性与底层指令级优化，需针对每款新GPU投入数周至数月工程研究。目前团队仅11人，暂支持有限芯片型号。该公司已获法国Bpifrance及French Tech 2030计划支持，并与云服务商Scaleway合作。