机器之心报道
：杜伟
如今，机器人学习最大的瓶颈是缺乏数据。与图片和文字相比，机器人的学习数据非常稀少。目前机器人学科的主流方向是通过扩大真实世界中的数据收集来尝试实现通用具身智能，但是和其他的基础模型，比如初版的 StableDiffusion 相比，即使是 pi 的数据都会少七八个数量级。MIT 的这个团队希望用生成模型来作为机器人学习的新数据源，用工程手段来取代传统的数据收集，实现一条通过由生成模型加持的物理仿真来训练机器人视觉的技术路线。
随着机器人在训练过程中持续进化，进一步提升技能所需的数据也在增长。因此获取足够的数据对于提升机器人的性能至关重要，但在当前实践中，针对新场景和新任务获取数据是一个从头开始不断重复的手动过程。
另一种替代方法则是在模拟环境中训练，从中可以对更多样化的环境条件进行采样，并且机器人可以安全地探索故障案例并直接从它们自己的行为中学习。尽管业界已经在模拟物理和渲染方面投入了大量资金，但目前为实现真实性所做的最佳实践仍与现实存在差距。
一方面渲染真实的图像意味着要制作细致、逼真的场景内容，但大规模手动制作此类内容以获得机器人 sim-to-real（模拟到现实）迁移所需要的多样性，成本过高。另一方面，如果缺少多样化和高质量的场景内容，在模拟环境中训练的机器人在迁移到真实世界时表现得太脆弱。
因此，如何在无限的虚拟环境中匹配现实世界，并将色彩感知融入到 sim-to-real 学习中，这是一个关键挑战。
近日， MIT CSAIL 的研究者开发出了一套解决方案，他们将生成模型作为机器人学习的新数据源，并使用视觉跑酷（visual parkout）作为试验场景，让配备单色相机的机器狗快速攀爬障碍物。
研究者的愿景是完全在生成的虚拟世界中训练机器人，而核心在于找到精确控制语义组成和场景外观的方法，以对齐模拟物理世界，同时保持对于实现 sim-to-real 泛化至关重要的随机性。
下图 2 为本文 LucidSim 方法概览：采用了流行的物理引擎 MuJoCo，并在每一帧上渲染了深度图像和语义掩码，这些一起被用作深度条件 ControlNet 的输入。然后从已知的场景几何和相机姿态变化中计算真值密集光流，并在接下来的六个时间步中扭曲原始生成帧以生成时间一致的视频序列。
在学习方面，研究者训练的视觉策略分为两个阶段完成：首先优化策略以模拟从特权教师收集的 rollout 中获得的专家行为。在经过这一预训练步骤后，策略表现不佳。因此，后训练步骤包括从视觉策略本身收集 on-policy 数据，并与当前收集的所有数据的学习交错进行。重复这一步骤三次使得该视觉策略显著提升了自身性能。
研究者表示，该策略足够稳健，在他们的测试场景中可以将零样本转换为真实世界的色彩观察。
下面我们来看一段视频展示：
机器之心
，赞91
LucidSim：利用物理引导生成多样化视觉数据
研究者考虑了这样一种 sim-to-real 设置，机器人在模拟环境中接受训练，并无需进一步调整就能迁移到现实世界。他们对自己打算部署机器人的环境已经有部分了解，可能是粗略的描述或者参考图像。
由于信息不完整，研究者依赖生成模型内部的先验知识来填补空白。他们将这一引导过程称为先验辅助域生成（Prior -Assisted Domain Generation，PADG），并首先采用对合成不同域至关重要的自动提示技术。
LLM 成为多样化、结构化的提示来源。研究者很早就观察到，从同一提示中重复采样往往会重现类似的图像。因此，为了获得多样化的图像，他们首先使用了包含标题块、查询详情的「元」提示，以提示 ChatGPT 生成批量结构化的图像块，最后以一个要求 JSON 结构化输出的问题结束。具体如下图 4 所示。
研究者的要求包括特定天气、一天中的时间、光照条件和文化遗址。手动生成的图像提示是不切实际的，因而他们通过生成少量图像来调整元提示，并进行迭代直到它们始终可以生成合理的图像。下图 5 下面一行显示了相同元提示、不同图像提示的多样化样本示例。
在几何和物理引导下生成图像。研究者增强了一个原始文本到图像模型，在增加额外语义和几何控制的同时，使它与模拟物理保持一致。他们首先将图像的文本提示替换为提示和语义掩码对，其中每个对应一种资产类型。比如在爬楼梯场景中，研究者通过文本指定了粗略轮廓内台阶的材质和纹理。
为了使图像在几何上保持一致，研究者采用了现成的 ControlNet，该模型使用来自 MiDAS 的单目深度估计进行训练。条件深度图像则通过反转 z 缓冲区并在每一张图像内进行归一化处理来计算。此外，调整控制强度以避免丢失图像细节非常重要。他们采用的场景几何是以往工作中出现的简单地形，包括可选的侧墙。同时避免随机化几何地形以专注视觉多样性分析。
为了制作短视频，研究者开发了 Dreams In Motion（DIM）技术，它根据场景几何计算出的真值光流以及两帧之间机器人相机视角的变化，将生成图像扭曲成后续帧。生成的图像堆栈包含对跑酷至关重要的计时信息。生成速度也很重要，DIM 显著提高了渲染速度，这得益于计算流和应用扭曲要比生成图像快得多。具体如下图 6 所示。
通过 on-policy 闭环训练来学习稳健的真实世界视觉策略
训练过程分为两个阶段：一是预训练阶段，通过模拟有权直接访问高度图的特权专家来引导视觉策略，其中高度图通过 RL 进行训练。研究者从专家及其不完美的早期检查点收集 rollout，并向专家查询动作标签以监督视觉策略。该视觉策略在预训练后表现不佳，但在第二阶段即后训练阶段做出了足够合理的决策来收集 on-policy 数据。具体如下图 7 所示。
研究者遵循 DAgger，将 on-policy rollout 与上一步中的教师 rollout 相结合。他们从专家教师那里收集了动作标签，并用余弦学习率计划下使用 Adam 优化器运行 70 个梯度下降 epoch。研究者在实验中仅需重复迭代 DAgger 三次就可以实现接近专家表现程度的视觉控制器。实际上第二阶段中的闭环训练过程是机器人出色表现的主要原因。
一个简单的 transformer 控制模型架构。研究者提出了一个简单的 transformer 架构，与之前extreme parkour， 使用 transformer 大大减少了处理多模态输入时控制模型架构的复杂度，如下图 8 所示。以往四足跑酷的相关工作使用复合架构，首先使用 ConvNet 将深度图处理成紧凑的潜在向量，然后使用循环骨干网络。
研究者使用了带有多查询注意力的五层 transformer 骨干网络，输入的相机视频被切成小块，并由一个卷积层并行处理。然后，他们将这些 token 与同一时间步的本体感受观察的线性嵌入堆叠在一起。研究者对所有时间步重复此操作，并在 token 级添加了可学习的嵌入。他们发现，对于 RGB 图像，在卷积之前包含批归一化层也有帮助。
最后，研究者通过堆叠在输入序列末尾的额外类 token 来计算动作输出，然后是 ReLU 潜在层和线性映射。
实验结果
在实验环节，研究者考虑了以下任务：
他们分别在现实世界和一小部分使用 3D 高斯泼溅来模拟创建的真实世界场景中评估学习到的控制器性能。这些基准环境的示例如下图 9 所示。
此外，研究者进行了以下基线比较：
从生成图像中学习要优于域随机化
在模拟评估中，研究者观察到 LucidSim 在几乎所有评估中都优于经典域随机化方法，如下表 1 和表 6 所示。其中，域随机化基线方法能够在模拟中非常高效地爬楼梯，但在跨越障碍任务中表现不佳。这是因为深度学生网络在 3D 场景中遭遇了微妙且常见的 sim-to-real 差距。
比如由于受到栏杆的影响，Oracle 策略在其中一个爬楼梯场景（Marble）中表现不佳，因为它在训练环境中从未见过栏杆。相反，LucidSim 受到的影响较小。
从零样本迁移到现实世界
研究者在配备廉价 RGB 网络摄像头的 Unitree Go1 上部署了 LucidSim，在 Jetson AGX Orin 上运行了推理。每个任务都在多种场景中进行评估，并记录了机器人是否追到了目标物（追逐）或成功跨越障碍物。
下图 11 展示了 LucidSim 与域随机化方法的比较结果，其中 LucidSim 不仅能够识别经典的黑白足球，而且由于之前看到了具有丰富多样性的生成数据，因而可以泛化到不同颜色的足球。
对于跨越障碍（hurdle）和爬楼梯（stair）场景，Domain Rand. 无法始终如一地识别前方障碍物，并经常出现正面碰撞，而 LucidSim 能够始终如一地预测前方的障碍物并成功跨越。
学习 on-policy 要优于原始的专家数据 Scaling
研究者在下图 12 中，将基于 on-policy 的学习与原始的专家数据收集方法进行了比较。结果显示，通过额外专家专用数据训练获得的性能增益很快达到饱和。在跨越障碍和爬楼梯场景中，通过 DAgger 进行 on-policy 学习对于制定足够稳健的策略很有必要。
下图 10 展示了 LucidSim 和域随机化基线方法下 DAgger 产生的益处，其中前者的整体性能更高。
仅深度的策略过拟合训练几何
除了极限跑酷，研究者还考虑了两种深度策略，它们都接受了与 LucidSim 相同的训练，但输入深度不同。第一种（如上表 1 和表 6 第三行）接收远距剪切至五米的深度，并实现 120° FoV（视场角）。第二种（上表 1 和表 6 第四行）接收剪切至两米的深度。
在模拟评估中，研究者观察到，使用未剪切深度的策略会过拟合训练场景中的最小和简单几何，并被评估场景背景中的干扰因素所干扰。而视觉有限的深度策略不太会受到测试场景中多样性的影响，并且性能可以显著地提高。
理解 DIM 的速度和性能
图像生成是本文 pipeline 中的瓶颈。DIM 大大加速了每个策略的展开，同时通过权衡多样性提供动态一致的帧堆栈。研究者探究了独立生成每一帧如何影响学生网络的性能，他们认为跨越障碍场景最具挑战性。如下图 13 所示，在性能类似的情况下，DIM 可以在短时间内实现相同结果。
强大的条件降低多样性和图像细节
研究者需要权衡几何准确率与生成图像细节丰富度。当条件强度过低时，图像会偏离场景几何（如下图 14 左侧）。当条件强度过高时，图像会失去多样性和丰富细节（图 14 右侧），并且由于过约束而变得失真严重。
攀爬、跳跃、过窄缝，开源强化学习策略让机器狗能跑酷了
跑酷对机器人来说是一项艰巨的挑战，尤其是四足机器狗，需要在复杂环境中迅速克服各种障碍。 传统方法生成的跑酷技能多样但缺乏目的性，或基于视觉但局限于特定场景。 自主跑酷要求机器人学习多样化的通用技能，以感知多变环境并迅速应对。 近期，一款机器狗的跑酷视频走红网络，视频中，该机器狗在多种场景下，熟练地完成了从缝隙下爬过、攀上木箱并跳跃到另一木箱等一系列动作，流畅连贯，展示了其掌握的贴地爬行、攀爬和跳跃技能，以及倾斜挤过狭窄缝隙的特殊能力。 此机器狗所展示的跑酷技巧，得益于一个为低成本机器人设计的跑酷技能学习框架。 这一框架是由来自上海期智研究院、斯坦福大学、上海科技大学、CMU 和清华大学的研究者共同研发的，论文已被 CoRL 2023 接收，并已开源。 研究推出了一种基于视觉的端到端跑酷策略学习系统，仅利用简单奖励，不依赖参考动作数据，使机器人学习多种跑酷技能。 系统采用强化学习方法，目标是让机器人掌握攀高、跳跃、贴地爬行、挤过狭窄缝隙和奔跑技能，并将这些技能转化为基于视觉的跑酷策略，以第一人称视角的深度相机指导四足机器人的操作。 系统仅需机载计算（Nvidia Jetson）、机载深度摄像头（Intel Realsense）和机载电源，无需动作捕捉、激光雷达、多深度摄像头和大量计算资源。 系统训练分为三个阶段：软动态约束下的预训练，旨在让机器人学习穿越障碍物；硬动态约束下的微调，强化所有动态约束，并使用现实动态微调预训练阶段的行为；最后，使用 DAgger 进行技能蒸馏，将单一视觉跑酷策略转化为可在腿式机器人上部署的策略。 研究在大量模拟和现实实验中验证了系统的效果，结果显示，低成本四足机器人能够自主选择并执行适当的跑酷技能，仅依靠机载感知、计算和电源，穿越复杂环境，包括高 0.40m（1.53倍机器人高度）的障碍物、宽 0.60m（1.5倍机器人长度）的大间隙、低 0.2m（0.76倍机器人高度）的障碍物下爬行、通过倾斜挤过 0.28m（小于机器人宽度）的狭窄缝隙，以及持续奔跑。 系统与几种基线方法进行了比较，模拟环境中的消融实验显示了其优势。 感兴趣的读者可以查看论文原文，了解更多详细信息。
