当前模仿学习的挑战
当前的模仿学习方法主要依赖于基于状态和基于图像的方法。虽然看似简单，但两者都存在局限性，阻碍了它们的实际应用。基于状态的方法依赖于环境的精确数值表示，但由于无法捕捉现实世界场景的细微差别，常常会失效。相反，基于图像的方法虽然提供了更丰富的视觉视角，但难以准确表示物体的三维结构，并且通常对期望的目标表示模糊。
引入自然语言已成为增强模仿学习系统灵活性的潜在解决方案。然而，有效地结合语言仍然是一个障碍。像循环神经网络 (RNN) 这样的传统序列模型难以解决梯度消失问题，导致训练效率低下。虽然 Transformer 提供了改进的可扩展性，但它们仍然需要大量的计算资源。尽管状态空间模型 (SSM) 表现出卓越的效率，但它们在模仿学习中的潜力在很大程度上仍未得到开发。
此外，现有的模仿学习库通常落后于该领域的快速发展。它们经常缺乏对扩散模型等尖端技术的支持。像 CleanDiffuser 这样的工具虽然很有价值，但通常仅限于更简单的任务，限制了模仿学习研究的整体进展。
X-IL简介：现代模仿学习的模块化框架
为了解决现有方法的局限性，来自卡尔斯鲁厄理工学院、Meta 和利物浦大学的研究人员推出了 X-IL，这是一个专门为模仿学习设计的开源框架。该框架促进了使用现代技术进行灵活的实验。与难以集成新颖架构的传统方法不同，X-IL 采用了一种系统化的模块化方法。它将模仿学习过程分解为四个核心组件：
- 观测表示： 该模块处理输入数据，包括图像、点云和语言等各种模态。
- 主干网络： 该模块专注于序列建模，提供 Mamba 和 xLSTM 等选项，与传统的 Transformer 和 RNN 相比，它们提供了更高的效率。
- 架构： 该模块包含仅解码器和编码器-解码器模型，为策略设计提供了灵活性。
- 策略表示： 该模块利用基于扩散和基于流的模型等先进技术来增强策略学习和泛化能力。
这种精心构建的、基于模块的架构可以轻松地交换各个组件。研究人员和从业者可以轻松地尝试替代学习策略，而无需彻底改造整个系统。这是优于传统模仿学习框架的一个显著优势，传统框架通常仅依赖于基于状态或基于图像的策略。X-IL 采用多模态学习，利用 RGB 图像、点云和语言的组合力量，对学习环境进行更全面、更强大的表示。Mamba 和 xLSTM 等先进序列建模技术的集成标志着向前迈出了重要一步，克服了 Transformer 和 RNN 的效率限制。
深入了解 X-IL 的模块化组件
X-IL 的真正优势在于其组成模块的可互换性。这允许在模仿学习流程的每个阶段进行广泛的定制。让我们更深入地了解每个模块：
观测模块：拥抱多模态输入
观测模块构成了框架的基础，负责处理输入数据。与仅限于单一输入类型的系统不同，X-IL 的观测模块旨在处理多种模态。这包括：
- RGB 图像： 提供有关环境的丰富视觉信息。
- 点云： 提供场景的三维表示，捕捉空间关系和物体形状。
- 语言： 支持结合自然语言指令或描述，增加了一层灵活性和上下文理解。
通过支持这种多样化的输入，X-IL 允许对学习环境进行更全面和信息丰富的表示，为更强大和适应性更强的策略铺平了道路。
主干网络模块：驱动高效的序列建模
主干网络模块是 X-IL 序列处理能力的核心。它利用最先进的序列建模技术来有效地捕捉演示数据中的时间依赖性。该模块中的关键选项包括：
- Mamba： 最近推出的状态空间模型，以其效率和可扩展性而闻名。
- xLSTM： 长短期记忆 (LSTM) 网络的先进变体，旨在解决传统 LSTM 的局限性。
- Transformers： 为序列建模提供了一种成熟且强大的替代方案。
- RNN： 包括传统的循环神经网络，用于比较和基线目的。
Mamba 和 xLSTM 的加入尤其值得注意。与 Transformer 和 RNN 相比，这些模型在效率方面有了显著提高，从而实现了更快的训练并减少了计算需求。
架构模块：策略设计的灵活性
架构模块决定了模仿学习策略的整体结构。X-IL 提供了两种主要的架构选择：
- 仅解码器模型： 这些模型直接从处理后的输入序列生成动作。
- 编码器-解码器模型： 这些模型使用编码器处理输入序列，使用解码器生成相应的动作。
这种灵活性允许研究人员探索不同的方法，并根据任务的具体要求定制架构。
策略表示模块：优化策略学习
策略表示模块侧重于如何表示和优化学习到的策略。X-IL 结合了尖端技术，以增强策略的表现力和泛化能力：
- 基于扩散的模型： 利用扩散模型的力量，扩散模型以其生成高质量样本和捕捉复杂数据分布的能力而闻名。
- 基于流的模型： 采用基于流的模型，它提供高效且可逆的转换，从而促进改进的泛化。
通过采用这些先进技术，X-IL 旨在优化学习过程并生成不仅有效而且能够适应未见场景的策略。
评估 X-IL：在机器人基准测试中的性能
为了证明 X-IL 的有效性，研究人员在两个已建立的机器人基准测试中进行了广泛的评估：LIBERO 和 RoboCasa。
LIBERO：从有限的演示中学习
LIBERO 是一个基准测试，旨在评估模仿学习智能体从有限数量的演示中学习的能力。实验涉及在四个不同的任务套件上训练模型，使用 10 个和 50 个轨迹演示。结果令人信服：
- xLSTM 始终保持最高的成功率。 仅使用 20% 的数据（10 个轨迹），xLSTM 的成功率就达到了 74.5%。使用完整数据集（50 个轨迹），它实现了令人印象深刻的 92.3% 的成功率。这些结果清楚地表明了 xLSTM 从有限数据中学习的有效性，这是实际机器人应用中的一项关键能力。
RoboCasa：适应多样化的环境
RoboCasa 呈现了一个更具挑战性的场景，具有各种各样的环境和任务。该基准测试测试了模仿学习策略的适应性和泛化能力。同样，xLSTM 表现出卓越的性能：
- xLSTM 的性能优于 BC-Transformer（一种标准的基线方法），成功率为 53.6%。这突出了 xLSTM 适应 RoboCasa 环境中存在的复杂性和变化的能力。
揭示多模态学习的好处
进一步的分析揭示了组合多种输入模态的优势。通过集成 RGB 图像和点云，X-IL 取得了更好的结果：
- xLSTM 使用 RGB 和点云输入，成功率达到 60.9%。 这强调了利用多样化感官信息对于强大而有效的策略学习的重要性。
编码器-解码器与仅解码器架构
实验还比较了编码器-解码器和仅解码器架构的性能。结果表明：
- 编码器-解码器架构通常优于仅解码器模型。 这表明编码和解码过程的显式分离可以提高模仿学习的性能。
强大的特征提取的重要性
特征编码器的选择也起着至关重要的作用。实验比较了微调的 ResNet 编码器和冻结的 CLIP 模型：
- 微调的 ResNet 编码器的性能始终优于冻结的 CLIP 模型。 这突出了强大的特征提取的重要性，针对特定任务和环境进行定制，以实现最佳性能。
流匹配方法的效率
最后，评估探讨了不同流匹配方法的推理效率：
- 像 BESO 和 RF 这样的流匹配方法表现出与 DDPM（去噪扩散概率模型）相当的推理效率。 这表明基于流的模型可以为策略表示提供一种计算高效的替代方案。
X-IL 不仅仅是一个框架；它是一项重大进步，为设计和评估模仿学习策略提供了一种模块化和适应性强的方法。通过支持最先进的编码器、高效的序列模型和多模态输入，X-IL 在具有挑战性的机器人基准测试中实现了卓越的性能。该框架的模块化、轻松交换组件的能力以及 Mamba 和 xLSTM 等尖端技术的集成都有助于其有效性。基准测试结果表明，在有限数据和多样化环境场景中都具有卓越的性能，这突出了 X-IL 推动模仿学习未来研究并为更强大和适应性更强的机器人系统铺平道路的潜力。