當前模仿學習的挑戰
當代的模仿學習方法主要依賴基於狀態和基於圖像的方法。雖然看似簡單，但兩者都存在限制，阻礙了它們的實際應用。基於狀態的方法依賴於環境的精確數值表示，但由於無法捕捉現實世界場景的細微差別，常常效果不佳。相反，基於圖像的方法雖然提供了更豐富的視覺視角，但難以準確表示物體的三維結構，並且通常對期望的目標提供模糊的表示。
自然語言的引入已成為增強模仿學習系統靈活性的一種潛在解決方案。然而，有效地結合語言仍然是一個障礙。像循環神經網絡 (RNN) 這樣的傳統序列模型難以應對梯度消失問題，導致訓練效率低下。雖然 Transformer 提供了改進的可擴展性，但它們的計算量仍然很大。儘管狀態空間模型 (SSM) 表現出卓越的效率，但它們在模仿學習中的潛力在很大程度上仍未得到開發。
此外，現有的模仿學習庫通常落後於該領域的快速發展。它們經常缺乏對擴散模型等尖端技術的支持。像 CleanDiffuser 這樣的工具雖然很有價值，但通常僅限於更簡單的任務，限制了模仿學習研究的整體進展。
介紹 X-IL：現代模仿學習的模組化框架
為了解決現有方法的局限性，來自卡爾斯魯厄理工學院、Meta 和利物浦大學的研究人員推出了 X-IL，這是一個專為模仿學習設計的開源框架。該框架促進了對現代技術的靈活實驗。與難以整合新穎架構的傳統方法不同，X-IL 採用系統的、模組化的方法。它將模仿學習過程分解為四個核心組件：
- 觀察表示 (Observation Representations)： 此模組處理輸入數據，包含各種模態，如圖像、點雲和語言。
- 主幹 (Backbones)： 此模組專注於序列建模，提供 Mamba 和 xLSTM 等選項，與傳統的 Transformer 和 RNN 相比，它們提供了更高的效率。
- 架構 (Architectures)： 此模組包含僅解碼器和編碼器-解碼器模型，為策略設計提供了靈活性。
- 策略表示 (Policy Representations)： 此模組利用基於擴散和基於流的模型等先進技術來增強策略學習和泛化能力。
這種精心構建的、基於模組的架構可以輕鬆交換單個組件。研究人員和從業者可以輕鬆地嘗試替代學習策略，而無需徹底改造整個系統。與通常僅依賴基於狀態或基於圖像的策略的傳統模仿學習框架相比，這是一個顯著的優勢。X-IL 採用多模態學習，利用 RGB 圖像、點雲和語言的組合力量，對學習環境進行更全面、更穩健的表示。Mamba 和 xLSTM 等先進序列建模技術的整合標誌著向前邁出了重要一步，克服了 Transformer 和 RNN 的效率限制。
深入了解 X-IL 的模組化組件
X-IL 的真正優勢在於其組成模組的可互換性。這允許在模仿學習流程的每個階段進行廣泛的定制。讓我們更深入地了解每個模組：
觀察模組：擁抱多模態輸入
觀察模組構成了框架的基礎，負責處理輸入數據。與僅限於單一輸入類型的系統不同，X-IL 的觀察模組設計用於處理多種模態。這包括：
- RGB 圖像： 提供有關環境的豐富視覺信息。
- 點雲： 提供場景的三維表示，捕捉空間關係和物體形狀。
- 語言： 允許結合自然語言指令或描述，增加一層靈活性和上下文理解。
通過支持這種多樣化的輸入，X-IL 允許對學習環境進行更全面和信息更豐富的表示，為更穩健和適應性更強的策略鋪平道路。
主幹模組：驅動高效的序列建模
主幹模組是 X-IL 順序處理能力的引擎。它利用最先進的序列建模技術來有效地捕捉演示數據中的時間依賴性。此模組中的關鍵選項包括：
- Mamba： 最近推出的一種狀態空間模型，以其效率和可擴展性而聞名。
- xLSTM： 長短期記憶 (LSTM) 網絡的先進變體，旨在解決傳統 LSTM 的局限性。
- Transformers： 為序列建模提供了一種成熟且強大的替代方案。
- RNN： 包括傳統的循環神經網絡，用於比較和基準測試。
Mamba 和 xLSTM 的加入尤其值得注意。與 Transformer 和 RNN 相比，這些模型在效率方面有了顯著提高，可以加快訓練速度並降低計算需求。
架構模組：策略設計的靈活性
架構模組決定了模仿學習策略的整體結構。X-IL 提供了兩種主要的架構選擇：
- 僅解碼器模型 (Decoder-Only Models)： 這些模型直接從處理後的輸入序列生成動作。
- 編碼器-解碼器模型 (Encoder-Decoder Models)： 這些模型使用編碼器來處理輸入序列，使用解碼器來生成相應的動作。
這種靈活性允許研究人員探索不同的方法，並根據任務的特定要求定制架構。
策略表示模組：優化策略學習
策略表示模組側重於如何表示和優化學習到的策略。X-IL 結合了尖端技術來增強策略的表達能力和泛化能力：
- 基於擴散的模型 (Diffusion-Based Models)： 利用擴散模型的力量，擴散模型以其生成高質量樣本和捕捉複雜數據分佈的能力而聞名。
- 基於流的模型 (Flow-Based Models)： 採用基於流的模型，它提供高效且可逆的轉換，有助於提高泛化能力。
通過採用這些先進技術，X-IL 旨在優化學習過程並產生不僅有效而且能夠適應未見場景的策略。
評估 X-IL：機器人基準測試的性能
為了證明 X-IL 的有效性，研究人員在兩個已建立的機器人基準測試上進行了廣泛的評估：LIBERO 和 RoboCasa。
LIBERO：從有限的演示中學習
LIBERO 是一個基準測試，旨在評估模仿學習代理從有限數量的演示中學習的能力。實驗涉及在四個不同的任務套件上訓練模型，使用 10 個和 50 個軌跡演示。結果令人信服：
- xLSTM 始終取得最高的成功率。 僅使用 20% 的數據（10 個軌跡），xLSTM 的成功率就達到了 74.5%。使用完整數據集（50 個軌跡），它實現了令人印象深刻的 92.3% 的成功率。這些結果清楚地表明了 xLSTM 從有限數據中學習的有效性，這是現實世界機器人應用中的一項關鍵能力。
RoboCasa：適應多樣化環境
RoboCasa 呈現了一個更具挑戰性的場景，具有多樣化的環境和任務。該基準測試測試了模仿學習策略的適應性和泛化能力。同樣，xLSTM 表現出卓越的性能：
- xLSTM 優於 BC-Transformer，這是一種標準的基線方法，成功率為 53.6%。這突出了 xLSTM 適應 RoboCasa 環境中存在的複雜性和變化的能力。
揭示多模態學習的好處
進一步的分析揭示了組合多種輸入模態的優勢。通過整合 RGB 圖像和點雲，X-IL 取得了更好的結果：
- xLSTM 使用 RGB 和點雲輸入，成功率達到 60.9%。 這強調了利用多樣化感官信息對於穩健和有效的策略學習的重要性。
編碼器-解碼器與僅解碼器架構
實驗還比較了編碼器-解碼器和僅解碼器架構的性能。結果表明：
- 編碼器-解碼器架構通常優於僅解碼器模型。 這表明編碼和解碼過程的明確分離可以提高模仿學習的性能。
強特徵提取的重要性
特徵編碼器的選擇也起著至關重要的作用。實驗比較了微調的 ResNet 編碼器和凍結的 CLIP 模型：
- 微調的 ResNet 編碼器始終優於凍結的 CLIP 模型。 這突出了強特徵提取的重要性，針對特定任務和環境進行定制，以實現最佳性能。
流匹配方法的效率
最後，評估探討了不同流匹配方法的推理效率：
- 像 BESO 和 RF 這樣的流匹配方法表現出與 DDPM（去噪擴散概率模型）相當的推理效率。 這表明基於流的模型可以為策略表示提供一種計算高效的替代方案。
X-IL 不僅僅是一個框架；它是一項重大進步，為設計和評估模仿學習策略提供了一種模組化和適應性強的方法。通過支持最先進的編碼器、高效的順序模型和多模態輸入，X-IL 在具有挑戰性的機器人基準測試中實現了卓越的性能。框架的模組化、輕鬆交換組件的能力以及 Mamba 和 xLSTM 等尖端技術的整合都有助於其有效性。基準測試結果表明，在有限數據和多樣化環境場景中都具有卓越的性能，這突顯了 X-IL 推動模仿學習未來研究並為更穩健和適應性更強的機器人系統鋪平道路的潛力。