小红书发布RedKnot推理引擎：按注意力头拆解KV Cache实现长文本加速

OmniTools 6月29日消息，小红书近日推出新型推理引擎RedKnot，其核心创新在于将KV Cache沿注意力头维度进行拆解。该引擎结合头分类稀疏（局部头占比83.4%–96.8%）、稀疏FFN及SegPagedAttention三项技术，实现了算法与存储粒度的统一。

实测数据显示，在8卡H800集群上，首词生成时间（TTFT）最高提升1.6–3.54倍，单卡并发能力提升4.7–7.8倍，预填充阶段FLOPs降低67%–79.5%；在DeepSeek-V4-Flash模型上支持128K上下文时，TTFT加速达5.16倍，KV传输开销最多减少6.3倍。

该方案在精度保持方面表现稳健，关键任务F1分数通常不低于对应稠密模型的95%。