加速機器人開發・學習筆記

Accelerated Robotics Workshop|NVIDIA Isaac(NVIDIA,2026.04)

先在模擬裡組好機器人、驗證程式,再用模擬產生它需要的訓練資料。

1. 組成機器人

連桿和關節一節節組起來,存成可重複用的 USD。

為什麼:存成 USD 後,同一台機器人可以放進別的場景再用。

  • Articulation root:標記一組用關節連起來的剛體;PhysX 以根部加上關節角度來模擬整台機器人。
  • 剛體:會受重力和碰撞影響的物體,機器人的每個連桿都是一個。
  • 碰撞外形:決定物體在物理上的形狀;碰撞以它為準,而不是看得到的外型。
  • 關節驅動:用 stiffness 和 damping 設定:追位置用高 stiffness,追速度只留 damping。
  • 關節限制:關節能轉或移動的範圍,匯入時從 URDF 一起帶進來。

來源:Isaac Sim URDF Importer、Learn OpenUSD、OpenUSD UsdPhysics

2. 軟體在環

同一份 ROS 2 程式,接的是模擬裡的雷達和底盤。

為什麼:程式不用改就能測,撞壞的只是模擬。

  • OmniGraph:ROS 2 Bridge 由 OmniGraph 節點組成:發布、訂閱、服務各是一個節點。
  • 播放才運作:ROS 2 的收發只在模擬播放時運作,按下 Play 才開始。
  • use_sim_time:模擬發布 /clock,ROS 2 節點設 use_sim_time 後改看模擬時間。
  • 佔據地圖:從模擬場景產生 2D 地圖,給 Nav2 規劃路徑。

來源:Isaac Sim ROS 2 Tutorials、Nav2、MoveIt 2

3. 加速 ROS 2

影像進來,找到物體、估出姿態,交給手臂。

為什麼:偵測、姿態估計、軌跡規劃都留在 GPU,省掉資料來回複製的時間。

  • Type adaptation:NITROS 讓節點用 GPU 友善的格式交換資料,不必先轉成標準 ROS 訊息。
  • Type negotiation:相連的節點協商出彼此都支援的資料格式。
  • rosidl::Buffer:ROS 2 的新做法:訊息欄位可以放在 CUDA 等記憶體,NITROS 正逐步改用它。
  • TensorRT:把 AI 模型最佳化後在 GPU 上推論,偵測等節點用它跑模型。

來源:Isaac ROS、Isaac ROS Manipulation、FoundationPose、From NITROS to rosidl::Buffer、Isaac ROS DNN Inference

4. 合成資料

一條示範,換位置重做很多次,成功的才留下。

為什麼:真人示範很貴,用模擬擴增才有足夠的資料訓練。

  • 遙控裝置:用鍵盤、SpaceMouse 或 XR 頭戴裝置操作機器人,錄下示範。
  • 子任務訊號:每個子任務用一個訊號標記是否進行中,可以手動標,也能用規則自動判斷。
  • 成功條件:每條生成的示範用是/否條件判斷成功,通過的才收進資料集。
  • BC-RNN:Robomimic 的行為克隆模型,用 RNN 記住前後的動作。
  • 多次試驗評估:訓練後跑很多次算成功率;最後一個 checkpoint 不一定最好。

來源:Isaac Lab Mimic、NVIDIA GR00T、NVIDIA Cosmos

回到 Mika Chiu 作品集