華南理工大學(xué)羅晶博士和楊辰光教授團(tuán)隊(duì)發(fā)文提出遙操作機(jī)器人交互感知與學(xué)習(xí)算法

1、論文背景 

目前遙操作機(jī)器人在醫(yī)療臨床、康復(fù)、深海探測(cè)、救援救災(zāi)等諸多領(lǐng)域得到了廣泛的應(yīng)用（圖1）。但是在操作過(guò)程中，由于人機(jī)交互性能不足、感知能力不佳，機(jī)器人只能完成一些簡(jiǎn)單、重復(fù)的任務(wù)。例如，操作人員控制機(jī)器人執(zhí)行pickup任務(wù)[1]和維護(hù)任務(wù)[2]。為了解決上述問(wèn)題，我們提出了一種新型的人機(jī)交互感知機(jī)制和學(xué)習(xí)算法來(lái)提高遙操作機(jī)器人的操控性能。首先，為了增強(qiáng)遙操作系統(tǒng)的感知能力，我們?cè)O(shè)計(jì)了一個(gè)基于肌肉活性的人機(jī)交互界面，提取操作者的肌電信號(hào)，用于對(duì)外界環(huán)境做出反應(yīng)。通過(guò)遙操作系統(tǒng)的觸覺(jué)反饋和視覺(jué)反饋，人類(lèi)操作者可以自然地作出反應(yīng)，發(fā)出正確的控制命令。肌電信號(hào)的強(qiáng)弱隨著操作任務(wù)的不同而不同，同時(shí)人機(jī)協(xié)作過(guò)程中的肌肉活性變化、機(jī)器人末端執(zhí)行器的軌跡、操作者的運(yùn)動(dòng)，都可以用來(lái)表征人機(jī)協(xié)作任務(wù)和意圖。機(jī)器人可以通過(guò)學(xué)習(xí)人類(lèi)的操作行為來(lái)提升智能化程度，學(xué)習(xí)的內(nèi)容不僅包括運(yùn)動(dòng)軌跡，還有人類(lèi)執(zhí)行任務(wù)時(shí)的剛度。通過(guò)學(xué)習(xí)人類(lèi)的操作行為，遙操作機(jī)器人可以獨(dú)立完成重復(fù)性任務(wù)或者不確定性任務(wù)。

圖1機(jī)器人遙操作示意圖

2、系統(tǒng)概述

如圖2所示，我們利用從端機(jī)器人的末端執(zhí)行器來(lái)完成執(zhí)行人機(jī)協(xié)作任務(wù)，采用隱半馬爾科夫模型獲取人機(jī)協(xié)作任務(wù)模型。在示教過(guò)程中，操作者可以通過(guò)生物信號(hào)感知界面感知操作過(guò)程中外力的變化，實(shí)時(shí)調(diào)整所需的增益/剛度，并將其映射到從端機(jī)器人的控制器中。示教過(guò)程中主要考慮了任務(wù)軌跡、剛度和力等數(shù)據(jù)，通過(guò)任務(wù)學(xué)習(xí)與復(fù)現(xiàn)階段，形成了人在閉環(huán)系統(tǒng)中的技能建模方案。如圖3所示，如圖該框架中將人機(jī)協(xié)作任務(wù)分為兩個(gè)階段：學(xué)習(xí)階段和復(fù)現(xiàn)階段。在學(xué)習(xí)階段，基于隱半馬爾科夫和混合高斯模型方法可以對(duì)人機(jī)協(xié)作任務(wù)進(jìn)行學(xué)習(xí)，建立基于運(yùn)動(dòng)軌跡的生成任務(wù)模型。在復(fù)現(xiàn)階段，基于隱半馬爾科夫和混合高斯回歸方法可以對(duì)生成模型的任務(wù)軌跡進(jìn)行修正，從學(xué)習(xí)的任務(wù)中復(fù)現(xiàn)結(jié)果[3]。

3、實(shí)驗(yàn)分析

操作者通過(guò)Touch X控制Baxter機(jī)器人執(zhí)行繪圖任務(wù)，整個(gè)任務(wù)過(guò)程進(jìn)行3次人機(jī)協(xié)作示教，繪圖任務(wù)在一張大小為210mm297mm (A4)的二維空間內(nèi)進(jìn)行。圖4(a)所示為繪畫(huà)任務(wù)的運(yùn)動(dòng)軌跡和剛度軌跡�；疑�曲線(xiàn)為人機(jī)協(xié)作繪畫(huà)的軌跡，紅色曲線(xiàn)為任務(wù)生成階段的結(jié)果。生成階段可以劃分為6個(gè)步驟(I-VI)和三個(gè)子任務(wù)。在步驟I和II中，Baxter機(jī)器人開(kāi)始繪圖子任務(wù)1。步驟II和步驟III，Baxter機(jī)器人右臂末端離開(kāi)紙張進(jìn)行下一次繪圖操作。類(lèi)似地，子任務(wù)2和子任務(wù)3分別由步驟III到IV和步驟V到VI完成。在任務(wù)學(xué)習(xí)階段，操作者的手臂剛度是隨著繪畫(huà)任務(wù)過(guò)程的變化而變化。如圖4(b)所示，Baxter機(jī)器人采用生成的剛度執(zhí)行繪畫(huà)任務(wù)。從圖4(b)中的(a)-(f)可以得出，Baxter機(jī)器人利用生成的模型成功的完成了繪圖任務(wù)。

4、分析與結(jié)論

本文提出了一種新型的觸覺(jué)肌電感知機(jī)制和基于隱半馬爾科夫模型-高斯混合理論的機(jī)器人學(xué)習(xí)框架。操作者通過(guò)調(diào)節(jié)自身的肌肉活性來(lái)應(yīng)對(duì)外界環(huán)境的變化，同時(shí)觀察和記錄人機(jī)協(xié)作過(guò)程中的肌肉活動(dòng)情況。利用采集的肌電信號(hào)和提出的任務(wù)學(xué)習(xí)框架，遙操作機(jī)器人系統(tǒng)可以自然地與外界環(huán)境進(jìn)行交互、編碼人機(jī)協(xié)作任務(wù)和生成任務(wù)模型，從而提升系統(tǒng)的類(lèi)人化操作行為和智能化程度。

參考文獻(xiàn)：
[1] Penco L, Scianca N, Modugno V, et al. A MultimodeTeleoperation Framework for Humanoid Loco-Manipulation: An Application for the iCub Robot. IEEE Robotics & Automation Magazine, 2019, 26(4): 73-82.
[2] MaddahiY, Zareinia K, Sepehri N. An augmented virtual fixture to improve task performance in robot-assisted live-line maintenance. Computers & Electrical Engineering, 2015, 43: 292-305.
[3] Yang C, Luo J, Liu C, et al. Haptics electromyography perception and learning enhanced intelligence for teleoperated robot. IEEE Transactions on Automation Science and Engineering, 2018, 16(4): 1512-1521.