Google ICRA 2021:Google機器臂能抓手帕 軟的硬的都能抓

目前機器人相關研究主要是設計機械臂來抓住特定形狀的物體 , 但是很少有抓住可變形狀物體(deformable objects)的相關研究 。在變形物體操作中的一個難點是無法知道這個物體內部的參數 , 例如 , 對于一個剛性立方體 , 知道一個固定點相對于其中心的位置足以描述它在三維空間中的形狀 , 但是對一個柔軟的物體如絲綢來說 , 布面上的一個點可以在其他部分移動時保持固定 。
Google ICRA 2021:Google機器臂能抓手帕 軟的硬的都能抓
文章圖片

【Google|ICRA 2021:Google機器臂能抓手帕 軟的硬的都能抓】這使得感知算法難以描述織物的完整“狀態” , 特別是在遮擋的情況下 。
此外 , 即使有一個被充分描述的可變形物體 , 其動力學也是復雜的 。這使得在對可變形物體進行某種操作之后 , 很難預測其未來的狀態 , 通常需要多步(multi-step)規劃來達到目標狀態 。
在 ICRA 2021會議上 , Google 發布了一個名為 deformaleravens 的開源模擬基準 , 對可變形物體操作的研究有極大促進作用 。
Google ICRA 2021:Google機器臂能抓手帕 軟的硬的都能抓
文章圖片

論文中共設計了12個任務 , 包括操作電纜、織物和包 , 還包括一系列模型架構 , 用于操縱可變形物體 , 使其達到預期的目標狀態 。
這些模型架構也能夠讓機器人重新排列電線來達到目標狀態 , 平滑地使非鋼體如織物達到指定形狀 , 或是將物品放入袋子中 。
這是第一個包含特定任務的模擬器 , 在這個任務中機器人必須使用一個袋子來容納其他物品 , 這對機器人學習更復雜的相對空間關系提出了關鍵的挑戰 。
DeformableRavens 基準數據集
Deformaleravens 擴展了之前Google對重排列對象(rearranging objects)的工作 , 包括一套12個模擬任務 , 覆蓋一維、二維和三維可變形結構 。每個任務都包含一個模擬的 UR5手臂和一個用于捏握的模擬夾鉗 , 并與腳本演示器捆綁在一起 , 自動收集用于模仿學習的數據 。任務隨機化分布中項的起始狀態 , 以測試不同對象配置的一般性 。
Google ICRA 2021:Google機器臂能抓手帕 軟的硬的都能抓
文章圖片

UR5 是一款輕量級、可適應的協作式工業機器人 , 具有極高的靈活性 , 可處理中型應用程序 。UR5e 的設計是為了無縫集成到廣泛的應用程序 。UR5e 也提供 OEM 機器人系統 , 并帶有三向示教器(3-position teach pendant) 。
Google ICRA 2021:Google機器臂能抓手帕 軟的硬的都能抓
文章圖片

為操作任務指定目標對于可變形物體尤其具有挑戰性 。考慮到它們復雜的動力學和高維配置空間 , 目標不能像一組剛性物體姿勢那樣容易確定 , 并且可能涉及復雜的相對空間關系 , 比如“將物品放入袋子” 。
因此 , 除了通過分發腳本示范定義的任務之外 , 我們的基準還包含由目標映像指定的目標條件化任務 。對于受目標限制的任務 , 給定的對象起始配置必須與一個單獨的image配對 , 該映像顯示相同對象的所需配置 。這種特殊情況的成功取決于機器人是否能夠使當前的配置足夠接近目標圖像中傳達的配置 。
Goal-Conditioned Transporter Networks 是一個為了補充模擬基準測試中的目標條件化任務 , 而將目標條件化集成到Google之前發布過的 Transporter Network 架構中 , 這是一個以行動為中心的模型架構 , 它通過重新排列深層特征來從視覺輸入推斷空間位移 , 很好地適用于剛性對象操作 。
該體系結構以當前環境的圖像和目標圖像作為輸入 , 計算這兩個圖像的深度視覺特征 , 然后利用元素乘法結合特征 , 對場景中的剛性和可變形物體進行相關處理 。Transporter 網絡結構的一個優點是它保留了視覺圖像的空間結構 , 提供了歸納偏差 , 將基于圖像的目標條件化為一個更簡單的特征匹配問題 , 并利用卷積網絡提高了學習效率 。
一個涉及目標條件的實例任務如 , 為了將綠色塊放入黃色袋子中 , 機器人需要學習空間特性 , 使其能夠執行一系列多步驟的動作 , 以打開黃色袋子的頂部開口 , 然后將塊放入其中 。在它把方塊放入黃色袋子之后 , 則成功結束 。如果在目標圖像中塊被放在藍色袋子中 , 則需要把塊放在藍色袋子中 。

推薦閱讀