模型发布官方发布 · huggingface.co
NVIDIA 发布 Cosmos 3 系列四个开放权重模型,面向交互式世界模拟
OmniTools 11月6日消息,NVIDIA 在 Hugging Face 博客宣布,为 Cosmos 3 模型家族新增四个开放权重检查点,面向交互式世界模拟和多传感器、多视角驾驶场景生成。四个模型均为 Cosmos 3 Nano 的后训练示例,拥有 16B 可训练参数,采用 OpenMDW 1.1 许可,允许商业和非商业使用。
具体包括:Cosmos3-Nano-Transfer-Auto 可生成带天气、光照和时段变化的多视角驾驶数据,支持最多 11 个相机视角(含鱼眼)及 RGB-LiDAR 联合生成;Cosmos3-Nano-Sim-Auto 是面向驾驶控制的流式变体,以少步去噪生成同步相机视频和 LiDAR 观测;Cosmos3-Nano-Sim-Transfer 可将模拟器控制和文本提示转为逼真视频;Cosmos3-Nano-Sim-Bimanual 可根据双臂机器人动作预测视频,支持 YAM 和 AgiBot 本体。
文章介绍,Cosmos 3 采用四阶段训练配方:双向适应、教师强制、一致性蒸馏和自强制。开发者可基于 Cosmos3-Nano 或兼容基础权重,使用自有数据对四个检查点进行后训练,以适配不同传感器配置、驾驶域、模拟环境或机器人本体。