拾取器機器人 - 即拾取和放置物品的電動(dòng)鉗子 - 可能具有對它們有利的可重復性，但復雜的姿勢和不熟悉的物體對它們中的大多數構成了挑戰。難怪為什么：他們不僅需要定位物體并理解如何抓住它們，這需要大量的訓練數據，但是他們必須將它們放下，以免它們受到損害或擾亂周?chē)h(huán)境。

不過(guò)，請留給麻省理工學(xué)院計算機科學(xué)與人工智能實(shí)驗室(CSAIL)的人們，開(kāi)創(chuàng )一種克服這些障礙的方法。在一篇新發(fā)表的研究論文(“ K-PAM的類(lèi)別級機器人操作：關(guān)鍵點(diǎn)負擔操作 ”)中，他們描述了一個(gè)系統 - Keypoint Affordance Manipulation，或簡(jiǎn)稱(chēng)為“kPAM” - 檢測一組目標坐標，稱(chēng)為關(guān)鍵點(diǎn)，啟用機器人硬件，在其上部署處理一系列精巧的對象。

麻省理工學(xué)院教授兼資深作家拉斯泰德拉克在一份聲明中說(shuō)：“每當你在YouTube上看到一個(gè)機器人視頻時(shí)，你應該仔細觀(guān)察機器人沒(méi)有 做什么。” “機器人幾乎可以選擇任何東西，但如果它是他們以前從未見(jiàn)過(guò)的物體，他們實(shí)際上無(wú)法以任何有意義的方式放下它。”

大多數拾取和放置感知和抓取算法估計位置，方向和幾何形狀而不是點(diǎn)，這很難轉化為涉及形狀奇特的物體的任務(wù)。相比之下，kPAM的三維關(guān)鍵點(diǎn)管道可以“自然地”適應對象類(lèi)型之間的變化。Tedrake - 以及博士生Lucas Manuelli，Pete Florence和Wei Gao--說(shuō)相對統一的目標只需要三個(gè)坐標，比如咖啡杯(重要的是，一個(gè)在底部中心和頂部中心)，并且拖鞋，靴子和高跟鞋等物品足夠六件。

“只需了解一下這個(gè)對象 - 一些關(guān)鍵點(diǎn)的位置 - 足以實(shí)現各種有用的操作任務(wù)，”Tedrake說(shuō)。

研究人員利用“最先進(jìn)的”積分AI模型進(jìn)行關(guān)鍵點(diǎn)檢測，該模型將單個(gè)RGB和深度圖像作為輸入，并輸出每個(gè)坐標的概率熱圖和深度預測圖。(在后續步驟中恢復2D圖像坐標，深度值和最終3D關(guān)鍵點(diǎn)。)它們通過(guò)將關(guān)鍵點(diǎn)網(wǎng)格投影到圖像空間中來(lái)收集來(lái)自包含感興趣對象的場(chǎng)景的訓練數據，給定來(lái)自3D重建算法的估計相機姿勢。

在涉及安裝有Schunk WSG 50夾持系統(和深度感應Primesense傳感器)的Kuka IIWA LBR機器人的實(shí)驗中，經(jīng)過(guò)全面訓練的系統成功引導機器人手臂將鞋子放在鞋架上，將馬克杯直立放在架子上，并用手柄將杯子掛在架子上。

機器人在測試20件鞋子方面沒(méi)有任何問(wèn)題; 在100次試驗中，只有兩次未能將鞋子放在架子上。當抓手抓住鞋跟后，產(chǎn)生錯誤，導致其從原始位置移開(kāi)。

在杯架任務(wù)中，包括40個(gè)不同形狀，大小和視覺(jué)外觀(guān)的杯子的測試裝置，機器人設法在垂直躺著(zhù)時(shí)抓住所有杯子，但由于夾子的行程有限而僅水平躺著(zhù)。令人印象深刻的是，除了兩次試驗之外(當杯子倒置時(shí))，它將杯子放在距目標位置5厘米的架子上。

杯子手柄測試有一個(gè)較小的設置--30個(gè)杯子 - 和五個(gè)非常小的杯子，手柄的高度和寬度不到兩厘米。夾具在100%的時(shí)間內將較大的杯子掛在架子上，但是對于較小的杯子，它只能達到50%的成功率。研究人員將失敗案例歸結為不準確的關(guān)鍵點(diǎn)檢測。

其他領(lǐng)域也有改進(jìn)的空間。Tedrake和共同作者指出，人類(lèi)必須注釋他們的系統所需的訓練數據，他們打算通過(guò)用合成數據補充現實(shí)樣本來(lái)逐步淘汰未來(lái)的工作。并且他們承認，即使對象類(lèi)別沒(méi)有改變，關(guān)鍵點(diǎn)也必須重新標記并且模型會(huì )重新訓練。

盡管如此，他們認為它比大多數現有方法提供更大的靈活性，并且他們相信有一天，它可能有助于機器人承擔諸如卸下洗碗機，擦拭廚房柜臺以及在工廠(chǎng)和其他工業(yè)環(huán)境中執行拾取和放置工作等任務(wù)。 。