在具身智能和機器人操作實驗室中，往往會選擇固定的setting進行實驗。但在現實環境中，實現機器人的空間泛化，以應對多樣化的物體位置和復雜的場景布置，一直是個艱難的挑戰。
近日，來自清華和NUS的團隊，發現了具身智能空間泛化Scaling Law。在此基礎上，提出了一個創新的機器人操作算法框架ManiBox。其中，清華大學計算機系TSAIL實驗室博士生譚恒楷為論文一作。
ManiBox深入探索了具身智能的空間泛化性 Scaling Law，并通過大量模擬器數據和Bounding Box這樣的視覺低維特征引導，成功實現了空間泛化、背景泛化和物體泛化的抓取任務，能夠從固定點到34440cm3最大操作空間范圍的高效覆蓋，抓取成功率高達90%。
此外，ManiBox 不僅能夠完成常規抓取，還擴展到更復雜的任務，如倒水，抓取杯子把手，雜亂桌面抓取等等精細操作場景，展現了出色的 Sim2Real 能力。更為引人注目的是，用戶只需輸入一個物體的prompt，ManiBox 即可自動執行對應物體的抓取、傾倒等操作，顯著提升了機器人操作任務的魯棒性與靈活性。
1月16日晚7點，智猩猩邀請到論文一作、清華大學計算機系TSAIL實驗室譚恒楷參與「智猩猩新青年講座具身智能專題」第19講，以《探索具身智能空間泛化性的Scaling Law》為主題帶來直播講解。
講者
譚恒楷，清華大學計算機系TSAIL實驗室博士生
清華大學計算機系TSAIL實驗室的二年級博士生譚恒楷（Hengkai Tan），本科畢業于清華計算機系，師從朱軍教授。主要研究方向是具身智能和強化學習，此前一作論文FCNet發表在ICML 2024，ManiBox一作，也是清華 RDT 大模型的作者之一。還曾是全國青少年信息學奧林匹克競賽（NOI）的銀牌，全國84名。
第 19 講?
主 題
《探索具身智能空間泛化性的Scaling Law》
提 綱
1、什么是空間泛化性
2、利用模擬器從視覺泛化轉移到策略泛化
3、機器人操作算法框架ManiBox
4、sim2real經驗分享
5、具身智能的空間泛化性Scaling Law
-空間泛化性、成功率和數據量的冪律
-Michaelis-Menten 動力學曲線
?直 播 信 息
直播時間：1月16日19點
成果
論文成果1
標題：《ManiBox: Enhancing Spatial Grasping Generalization via Scalable Simulation Data Generation》
鏈接：//arxiv.org/abs/2411.01850
項目地址：//thkkk.github.io/manibox
收錄情況：ICLR 2025在投
論文成果2
標題：《Fourier Controller Networks for Real-Time Decision-Making in Embodied Learning》
鏈接：//arxiv.org/abs/2405.19885
項目地址：//thkkk.github.io/fcnet
收錄情況：ICML 2024
論文成果3
標題：《RDT-1B: A DIFFUSION FOUNDATION MODEL FOR BIMANUAL MANIPULATION》
鏈接：//arxiv.org/abs/2410.07864
項目地址：//rdt-robotics.github.io/rdt-robotics/
收錄情況：ICLR 2025在投
如何報名
有講座直播觀看需求的朋友，可以添加小助手“莓莓”進行報名。已添加過“莓莓”的老朋友，可以給“莓莓”私信，發送“具身智能19”進行報名。對于通過報名的朋友，之后將邀請入群進行觀看和交流。
