EI-Beginner 具身智能入门练习

中文版本 | English Version

有意报考/参与OpenMOSS实验室具身智能/人形机器人智能团队的同学，均需先完成下列入门练习（任务一至三必做，任务四至六选做）。 我们共享出来这个入门练习供广大具身智能/人形机器人智能爱好者作入门参考。

作者：李鹏，王思尹
指导老师：邱锡鹏教授
转载请注明出处。

入门基础

• 会用Google, ChatGPT/DeepSeek和Claude Code/Cursor
• 会用Linux
• 会用Git和GitHub
  • https://learngitbranching.js.org/

任务一：基于传统运动学的机械臂物体抓取

1. 学习传统机器人学中的基础知识，比如基础坐标变换、正逆运动学、动力学、控制理论等;
2. 在PyBullet/Mujoco仿真实现基于传统机器人运动控制的机械臂物体抓取；
3. 可选：在机械臂真机实现基于传统运动控制的机械臂物体抓取，同时学习机器人操作系统ROS；

备注：

• 参考书目
  • Introduction to Robotics: Mechanics and Control, Stanford
  • Robotic Manipulation, MIT
• PyBullet仿真链接：https://github.com/bulletphysics/bullet3
• Mujoco仿真链接：https://mujoco.org/
• 闯关游戏：https://rcfs.ch/

任务二：基于强化学习的机械臂物体抓取

1. 学习强化学习基础知识，并在OpenAI Gym环境中选择几个感兴趣的tasks使用强化学习方法训练并测试成功率；
2. 在PyBullet/Mujoco中训练机械臂的物体抓取强化学习策略;
3. 可选：尝试在真机部署强化学习策略，体会Sim2Real的过程；

备注：

• 参考书目
  • 《神经网络与深度学习》相关章节
  • Introduction to Reinforcement Learning, 2nd & David Silver's UCL Course
  • UCB 285 Deep Reinforcement Learning
• OpenAI Gym链接：https://gymnasium.farama.org/index.html

任务三：基于模仿学习的机械臂物体抓取

1. 复现模仿学习经典baseline方法Diffusion Policy
   • https://diffusion-policy.cs.columbia.edu
2. 同时学习Huggingface机器人学习框架LeRobot
   • https://github.com/huggingface/lerobot

任务四：基于VLA大模型的机械臂物体抓取

1. 学习并利用现有的VLA大模型如Pi/GR00T等, 基于StarVLA框架探索利用现有的仿真数据集训练VLA机械臂模型；
2. 可选：采集真机数据集微调VLA模型并真机部署；
3. 了解：WAM相关内容，https://openmoss.github.io/Awesome-WAM

备注:

• Large Models: https://stanford-cs336.github.io
• Pi: https://github.com/Physical-Intelligence/openpi
• GR00T: https://github.com/NVIDIA/Isaac-GR00T
• StarVLA: https://github.com/starVLA/starVLA

任务五：基于LLM/VLM大模型的任务规划

• 桌面级任务规划
  • 参考ICRA 2023 Outstanding Paper “Code as Policies: Language Model Programs for Embodied Control” 在PyBullet仿真实现基于视觉模块和大语言模型的机械臂物体抓取；
  • 可选：在机械臂真机实现基于LLM/VLM的任务规划；
  • 了解：Agentic VLA相关内容，CaP-X: A Framework for Benchmarking and Improving Coding Agents for Robot Manipulation;

• 场景级任务规划
  • 配置任意一个仿真环境, EAI或者EmbodiedBench，选择一个模型跑通baseline；
  • 备注
    • EAI: https://github.com/embodied-agent-interface/embodied-agent-interface
    • EmbodiedBench: https://github.com/EmbodiedBench/EmbodiedBench

任务六：基于强化学习的人形机器人运动控制

复现OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learning (https://omni.human2humanoid.com/) 的人形机器人运动控制方法, 学习人形机器人基础知识, 仿真训练+Sim2Real的过程

1. 全身运动控制
2. 全身遥操作
3. 全身模仿学习

参考:

• Unitree Robotics GitHub: https://github.com/unitreerobotics
• Hover: https://github.com/NVlabs/HOVER
• Underactuated Robotics from MIT

前沿研究

• 如何做研究
  • An Opinionated Guide to ML Research, John Schulman
  • GAMES003-图形视觉科研基本素养
• 会议期刊
  • 机器人：Science Robotics, RSS, CoRL, ICRA, IROS, RLC
  • 机器学习：ICLR, NeurIPS, ICML
  • 计算机视觉：CVPR, ICCV, ECCV
  • 自然语言处理：ACL, EMNLP, COLM
• 在线研讨班
  • CMU Robotics Institute Seminar: https://www.youtube.com/@cmurobotics
  • MIT Robotics Seminar: https://www.youtube.com/@MITRoboticsSeminar
  • MIT Embodied Intelligence Seminar: https://www.youtube.com/@mitembodiedintelligence8675
  • Stanford Seminar: https://www.youtube.com/@stanfordonline

感谢上述相关work开源其代码！