NVIDIA Cosmos 3 探索视频理解、生成与机器人动作学习统一

OmniTools 9月16日消息，NVIDIA 近期推出 Cosmos 3 模型，尝试将视频理解、视频生成与机器人动作学习能力进行整合。该模型利用人类日常视频数据缓解机器人动作训练数据稀缺问题，但目前尚无法准确判断跨模态迁移在何种情况下会产生负面影响。

Cosmos 3 的初步应用价值体现在策略验证环节：在保持模型 checkpoint 排名稳定的前提下，有望降低对实体机器人车队进行昂贵实测的依赖。

需要注意的是，当前模拟器环境仍存在被策略“钻空子”的风险，相关安全与验证机制仍在完善中。