優傲機械臂——機械臂智能抓取都涉及了哪些技術？

機械臂抓取需求確認每段機械臂的位姿

　　首先，機械臂需求視覺伺服體系，來確認物體的方位，依據結尾履行器（手）和視覺傳感器（眼）的相對方位，可分為Eye-to-Hand和Eye-in-Hand兩種體系。

　　Eye-to-Hand的分離式分布，視界固定不變，如果相機的標定精度高的話，那么視覺定位于抓取的精度也越高。

　　Eye-in-Hand則將機械臂與視覺傳感器固定在一起，視界隨機械臂的移動而改動，傳感器越近時精度越高，但過于靠近時則或許使方針超出視界規模。

　　精細的視覺體系與靈活機械臂的配合，才能完成一次完美的抓取，而這正是當時機器人操作中的中心難題，歸納起來就是這么一件事：找到合適的抓取點（或吸附點），抓住它。之后的轉運履行，則歸于運動規劃的分支。

　　現在幾種干流的解決方案

　　Model-based（根據模型的辦法）

　　這種辦法很好了解，即知道要抓什么，事先選用實物掃描的辦法，提前將模型的數據給到機器人體系，機器在實際抓取中就只需求進行較少的運算：

　　1. 離線核算：依據搭載的結尾類型，對每一個物體模型核算部分抓取點；

　　2. 在線感知：通過RGB或點云圖，核算出每個物體的三維位姿；

　　3. 核算抓取點：在實在國際的坐標系下，依據防磕碰等要求，選取每個物體的最佳抓取點。

　　RGB色彩空間由紅綠藍三種基本性組成，疊加成恣意色彩，同樣地，恣意一種色彩也可以拆解為三種基本性的組合，機器人通過色彩坐標值來了解“色彩”。這種辦法與人眼辨認色彩的方向類似，在顯示屏上廣泛選用。

　　Half-Model-based（半模型的辦法）

　　在這種練習辦法中，不需求徹底預知抓取的物體，但是需求很多類似的物體來練習算法，讓算法得以在物品堆中有用對圖畫進行“切割”，辨認出物體的邊緣。這種練習辦法，需求這些流程：

　　1.離線練習圖畫切割算法，即把圖片里的像素按物體區分出來，此類工作一般由專門的數據標示員來處理，按工程師的需求，標示出海量圖片中的不同細節；

　　2.在線處理圖畫切割，在人工標示出的物體上，尋找合適的抓取點。

　　這是一種現在應用較為廣泛的辦法，也是機械臂抓取得以推動的主要推力。機械臂技能開展緩慢，但核算機視覺的圖畫切割則進展敏捷，也從旁邊面撬動了機器人、無人駕駛等職業的開展。

　　Model-free（自由模型）

　　這種練習辦法不涉及到“物體”的概念，機器直接從RGB圖畫或點云圖上核算出合適的抓取點，基本思路就是在圖畫上找到Antipodal（對映點），即有或許“抓的起來”的點，逐漸練習出抓取戰略。這種練習辦法往往讓機器手很多嘗試不同種類的物品，進行self-supervisedlearning，Google的Arm Farm，即為其間的代表之一。

　　從抓取辦法上分類可以分紅兩種：根據剖析辦法（Analytical），根據數據驅動（Data-driven）。

　　剖析辦法：主要是根據動力學及幾何學的剖析，一般要求知道物體的模型（known object），集大成之作為李澤湘教授的《機器人操作的數學導論》。書中根據旋量理論，介紹了很多機器人manipulation的基礎。剖析辦法有助于我們了解整個抓取過程，了解哪些物理量會影響抓取的穩定性。

　　數據驅動：主要是根據深度學習、強化學習辦法。允許機械臂抓取不知道模型的物體（Unknown object）和了解的物體（familiar object）。由所以根據深度學習的鼓起而開展的，還歸于比較新的研討領域，現在還沒有發現相關的著作（如果有期望可以引薦一下）。比較經典的入門系列是：的研討領域，現在還沒有發現相關的著作（如果有期望可以引薦一下）。比較經典的入門系列是：Dex-net系列。供給了代碼、數據集、工程視頻，論文也講的比較清楚。（Dex-Net by BerkeleyAutomation) 數據驅動又可以分為三種辦法：learning from human demonstration、learning from labeled training data、trail and error. 別離涉及到的技能為：imitation learning、deep learning、reinforcement learning.

　　同時依據抓取物體的特色分類，我們可以分紅三類: know object、familiar object、unknown object。

　　關于known object一般的pipeline為：