近年來，基于人類示范數據的機器人模仿學習技術取得了顯著進展，展現出了巨大的應用前景和發展潛力。然而，如何使這一過程更加高效，并得到更加通用的機器人操控策略，目前依然是一個挑戰。提高真實世界中人類示范數據收集的效率，對于實現高效的模仿學習至關重要。
為此，上海交通大學盧策吾教授團隊提出了大規模真實世界機器人操控數據集RH20T，包含超過11萬個接觸豐富的機器人操控軌跡，涵蓋多種技能、場景、機器人和攝像機視角。這些軌跡通過人類遙操作收集，為模仿學習算法提供了豐富多樣的資源。與RH20T相關的論文成果收錄于RSS 2023和 ICRA 2024。
為了降低規模化雙臂數據采集的成本，上交大盧策吾教授團隊聯合上海AI Lab引入了低成本的外骨骼系統AirExo。與AirExo相關的論文收錄于ICRA 2024，其中上海交通大學與上海AI Lab聯培博士生方泓杰為論文一作。
AirExo旨在采集野外環境中的雙臂操作數據，減少機器人操控策略對于遙操作數據的需求，使低成本規模化雙臂數據采集成為可能。該系統使機器人僅通過3分鐘的遙控演示和收集到的野外數據學習的效果，超越了從20多分鐘遙控演示中的學習效果。
在模仿學習方面，穹徹智能聯合上交大盧策吾教授團隊提出了基于3D感知的真實世界機器人操控策略RISE，顯著提升了機器人操控策略對物體位置以及相機視角變化的泛化能力。與RISE相關的論文收錄于IROS 2024。
RISE通過3D感知，能夠有效地提取空間信息，并在多個機器人操作任務中取得了優于2D和3D基線方法的性能。并且，在不同物體位置、新工作空間和新相機視角下都表現出良好的泛化能力，增強了其在真實世界部署中的魯棒性。
為進一步提高人類示范數據的利用效率，上交大盧策吾教授團隊聯合上海AI Lab又提出了具有極強泛化性的操控策略CAGE。該策略能利用僅50條單平臺單相機視角采集的數據，無需任何預訓練，即可將技能遷移至不同機械臂、不同相機視角和背景環境中。CAGE能夠使機器人實現更加高效且通用的模仿學習，為機器人操控策略在復雜多變的真實環境中的應用提供了有力支持。
11月26日晚7點，智猩猩邀請到上海交通大學與上海AI Lab聯培博士生方泓杰參與「智猩猩具身智能前沿講座」第16講，主講《基于人類示范數據的高效機器人模仿學習》。
講者
方泓杰，上海交通大學與上海 AI Lab聯培博士生
方泓杰，上海交通大學計算機科學與工程系與上海人工智能實驗室聯培博士生，師從盧策吾教授。他于2022年獲得上海交通大學計算機科學與工程學士學位，其研究興趣主要集中在機器人操控與抓取領域，尤其關注基于人類示范的模仿學習技術，致力于提升機器人在復雜環境中的通用操作能力，使機器人能夠更加精準和高效地完成多樣化任務。
曾參與通用抓取算法AnyGrasp以及Open X-Embodiment大型數據集等項目（ICRA 2024最佳論文）。在ICRA、IROS等機器人領域會議以及T-RO、RA-L等期刊上發表近10篇論文
第 16 講
?主 題
?《基于人類示范數據的高效機器人模仿學習》
?提 綱?
1、基于人類示范數據的機器人模仿學習面臨的挑戰
2、大規模真實世界機器人操控數據集RH20T
3、使用外骨骼系統實現低成本規模化的雙臂數據采集
4、基于3D感知的真實世界機器人操控策略RISE
5、利用CAGE實現機器人高效且通用的模仿學習
?直 播 信 息?
直播時間：11月26日19:00
成果
論文成果1
標題：《RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in One-Shot》
鏈接：//arxiv.org/abs/2307.00595
項目地址：//rh20t.github.io/
收錄情況：RSS 2023、ICRA 2024
論文成果2
標題：《AirExo: Low-Cost Exoskeletons for Learning Whole-Arm Manipulation in the Wild》
鏈接：//arxiv.org/abs/2309.14975
項目地址：//airexo.github.io/
收錄情況：ICRA 2024
論文成果3
標題：《RISE: 3D Perception Makes?Real-World Robot?Imitation?Simple and?Effective》
鏈接：//arxiv.org/abs/2404.12281
項目地址：//rise-policy.github.io/
收錄情況：IROS 2024
論文成果4
標題：《CAGE: Causal Attention Enables Data-Efficient Generalizable Robotic Manipulation》
鏈接：//arxiv.org/abs/2410.14974
項目地址：//cage-policy.github.io/
入群申請
有講座直播觀看需求的朋友，可以添加小助手“莓莓”進行報名。已添加過“莓莓”的老朋友，可以給“莓莓”私信，發送“具身智能16”進行報名。對于通過報名的朋友，之后將邀請入群進行觀看和交流。
