蚂蚁百灵为 SGLang 推出权重缓存守护进程，权重加载提速约 780 倍

OmniTools 8月22日消息，蚂蚁百灵团队今日宣布为 SGLang 推理框架推出 Weight Cache Daemon（权重缓存守护进程）。该组件在 Ling-2.6-1T FP8 模型上，将权重加载时间缩短至约 0.63 秒，相较传统磁盘加载提速约 780 倍，引擎总启动时间亦由 8.8 分钟大幅压缩至约 0.53 分钟。