OmniTools 7月22日消息，小红书技术团队开源 BigMac，一种面向多模态大模型训练的依赖安全嵌套流水线新范式。该方案以大语言模型（LLM）流水线为主干，在不改变原有执行顺序的前提下，嵌入编码器与生成器计算。 相比基线方法，BigMac 实现了 1.08 倍至 1.9 倍的训练加速，同时确保激活显存占用有界。目前，BigMac 已作为 dots 多模态模型训练的核心组件投入实际生产应用。
