Ai2 发布 ToyBlocks：面向机器人学习与评测的可控仿真环境

OmniTools 11月6日消息，Ai2 推出 FoundationWorlds 框架，用于构建可控的机器人学习与评测环境。每个 FoundationWorld 将一个针对特定场景的受控仿真世界，与自动生成任务和训练演示的工具，以及衡量机器人长期行为表现的指标结合起来。首个 FoundationWorld 命名为 ToyBlocks，围绕桌面机械臂与积木搭建，场景刻意简化，但机器人仍需推、翻、堆叠积木，并推理积木之间的相互作用。

ToyBlocks 依托强化学习与运动规划自动生成技能，技能训练在英伟达开源仿真框架 Isaac Lab 中完成，并借助任务与运动规划器（TAMP）自动选择并排序技能，在单个 GPU 上并行执行数百个规划，最高可达 24 倍实时速度，从而无需耗时的人工遥操作即可产出带标注的演示数据。框架还通过域随机化改变积木尺寸、桌面高度等物理属性，以检验模型的泛化能力。

在一项实验中，Molmo 2 作为高层模型选择旋转、翻转等技能并通过指向界面指定积木，ManiFlow 作为低层模型控制机械臂执行。基于 ToyBlocks 的研究覆盖低层视觉—语言—动作模型的空间泛化、视觉语言模型与智能体系统的高层推理、作为模拟器的动作条件世界模型，以及高低层模型在真实机器人上的实验。研究显示，包括 ManiFlow、π0.5 和 MolmoAct 2 在内的主流动作模型在初始结果中泛化表现不佳。

该工作建立在 MolmoAct 2、MolmoBot 和 MolmoSpaces 等开放机器人学习研究之上，代码、数据、模型与文档均已开放，供后续研究使用。