OmniTools 7月8日消息,Mistral AI 正式推出其首个具身智能导航模型 Robostral Navigate(8B 参数)。该模型仅依赖单 RGB 摄像头输入,在 R2R-CE 验证集上取得 unseen 场景 76.6% 与 seen 场景 79.4% 的成功率,较最佳单摄像头方案提升 9.7 个百分点,并优于依赖深度传感器或多摄像头的现有系统 4.5 个百分点。
Robostral Navigate 通过 pointing 机制预测目标坐标,并结合强化学习持续优化策略。模型训练完全在模拟环境中进行(涵盖约 40 万条轨迹与 6000 个场景),并采用 prefix-caching 技术提升训练效率。该模型具备强泛化能力,可适配轮式、腿式及飞行机器人平台,并能有效应对真实环境中未见过的障碍物。