控制人形機器人執行復雜的全身動作是機器人學領域的一個重大挑戰。盡管，在人形機器人元年，一些研究推動人形機器人在全身控制方面取得了顯著進展，但在執行復雜任務和適應性方面仍然面臨諸多問題。
為此，意大利技術研究院(iit)博士生研究員王進等提出用于不同場景中基于任務學習、選擇和規劃行為的框架HYPERmotion。相關論文成果收錄于CoRL 2024。
該框架能夠結合強化學習與全身模型預測控制生成人形機器人全身動作，并將其開發為運動庫中的一種技能。此外，通過將LLMs的在線規劃和推理功能應用于復雜的移動操作任務，還形成了一個包含一系列基本行為的層次化任務圖，以橋接低級執行和高階自動化規劃。通過利用提煉的空間幾何和2D觀測與VLM的交互，將知識嵌入構建的機器人形態選擇器中，從而選擇單臂或雙臂、腿式或輪式運動的適當動作。
通過在仿真和現實環境中進行大規模實驗，HYPERmotion展示了機器人所學的全身技能可以高效適應新任務，表現出從自由文本指令中獲得的高自主性，并在非結構化場景中進行規劃。
此外，王進博士等研究人員又提出基于LLM的人形機器人自主行為規劃框架，機器人能夠根據文本指令自主規劃行為和低級執行，并觀察和糾正任務執行中的失敗。該框架提高了機器人在非結構化環境中的行動規劃能力。王進博士等研究人員還設計了包含動作行為和感知行為的機器人行為庫，將復雜任務分解為可執行的子任務，提高了任務執行的可靠性和可解釋性。相關論文成果收錄于IROS 2024。
10月24日晚7點，智猩猩邀請到意大利技術研究院(iit)博士生研究員王進參與「智猩猩具身智能前沿講座」第14講，主講《HYPERmotion：結合語言模型實現人形機器人自主行為規劃》。
講者
王進
意大利技術研究院(iit)博士生研究員
師從Nikos Tsagarakis,是HHCM實驗室的一員。其主要研究興趣為機器人學習、具身智能以及仿人機器，具體為人形機器人的自主移動操作，在機器人任務中融合基礎模型并通過學習的方式提高機器人的自主性。部分研究發表在IROS、ICRA、CoRL等機器人相關會議。
第 14 講?
主 題?
《HYPERmotion：結合語言模型實現人形機器人自主行為規劃》
提 綱?
1、利用RL與全身模型預測控制生成人形機器人全身動作
2、基于LLM分解復雜操作任務構建層次化任務圖
3、結合VLM選擇機器人形態和相應動作
4、在仿真和真實環境的實驗中效果展示及分析
?直 播 信 息?
直播時間：10月24日19:00
成果
論文標題
《HYPERmotion: Learning Hybrid Behavior Planning for Autonomous Loco-manipulation》
《Autonomous Behavior Planning For Humanoid Loco-manipulation Through Grounded Language Model》
論文鏈接
//arxiv.org/abs/2406.14655
//arxiv.org/abs/2408.08282v1
項目地址
//hy-motion.github.io/
如何報名
有講座直播觀看需求的朋友，可以添加小助手“莓莓”進行報名。已添加過“莓莓”的老朋友，可以給“莓莓”私信，發送“具身智能14”進行報名。對于通過報名的朋友，之后將邀請入群進行觀看和交流。
