日本開發用「表情」就可以控制的機械手臂,網友問:如果它被 PornHub 買下會怎樣?

FaceDrive 操作畫面。圖片截至 Sugitoto Lab YouTube 頻道

【為什麼我們要挑選這篇文章】人類只有兩隻手臂,如果有三頭六臂的話,真的會方便不少。近期日本東京大學和慶應大學合作,研發一款名為 FaceDrive 的機械手臂;更酷的是,人們可以透過臉部表情操作這個機械手臂,達到「念力」的效果。

有網友問了,「如果它被 PornHub 買下會怎樣?」呃…… 這裡不討論這種畫面,大家自己想像!(責任編輯:郭家宏)

蜘蛛人系列中,如果要選一個最讓人印象深刻的反派角色你會選誰?

或許不少人會選擇八爪博士,作為蜘蛛人的死對頭,擁有四隻機械臂的八爪博士從各種意義上說都十分「難纏」。當然,作為反派,他也足夠讓觀眾留下深刻的印象。

雖然是一個可愛又迷人的反派角色,不得不說,八爪博士的這四隻機械手臂還是很拉風的,畢竟它們不僅動作流暢,意念控制看上去也酷勁十足。

但是,機械手臂在現實中能實現嗎?

東京大學和慶應大學的答案是:可以!雖然做到意念控制還有難度,但利用「FaceDrive」,只需要臉部表情,就可以控制機械手臂運動了。

這項研究的一個作者,是在慶應大學理工學部情報工學科杉本研究室,正在念博二的福岡君,相關論文最近剛在 ICAT-EGVE2019 上發表,也在 Siggraph Asia 2019 上進行展示。

論文 傳送門

實際運作大概就是這個樣子:

機器手臂能夠根據伸縮指令和操作員的頭部方向,使得左臂或右臂靠近頭部方向的臂得以聯接。操作員可以使用多種表情進行控制,例如張嘴表示伸出手臂,閉嘴表示收縮手臂,閉上一隻眼睛表示抓取,皺眉表示表示鬆手等。

目前研究人員正在驗證使用經濟高效、安全且能夠進行高速原型製作的 VR 環境,進一步地控制機械手臂運動。對於後續研究,他們表示希望能建立一個透過無意識的臉部表情就能進行操作的系統。

透過表情控制機械手臂,進行抓取、釋放等動作

這個透過臉部表情控制機器人手臂,它有一個酷炫的名字:超級機械手臂(Supernumerary Robotic Limbs,SRLs)。超級機械手臂可以讓身體運動更加輕鬆便捷,但這也需要操作員的配合。

為了使得超級機械手臂和操作員之間的合作更加順暢,超級機械手臂甚至會預測操作員的意圖,而預測操作者意圖的一種方法,就是識別操作員的臉部表情。

為此,研究人員研究了臉部表情和超級機械手臂命令(例如抓取和釋放)之間的映射,為了更好地捕捉並測量臉部表情,在操作前,操作員需要佩戴 VR HMD(頭戴式顯示器)。

可別小看這個頭戴式顯示器,這個顯示器內置 16 個反射式光電感測器,用以精確識別臉部表情,這樣就可以透過機器學習,用表情對系統下達相關指令,使得機械手臂做出包括伸展,收縮,抓握和釋放相對應的動作。

隨後,超級機械手臂可以通過預測操作員的臉部表情,也就是操作員的意圖來執行命令了。

研究人員進行了一項數據收集研究(N=10),以瞭解虛擬現實環境(Virtual reality Environment,VE)中,哪些表情分配超級機械手臂對應的命令。

他們用了以下方法研究來映射關係:
1. 使用「任意」臉部表情完成「到達-抓住-釋放」的指定任務。
2. 分析感測器數據和自我報告的表情調查表,查詢用於給定命令的最常見的表情。
3. 將臉部表情分組,然後透過記錄任務完成時間,來找到臉部表情命令和超級機械手臂執行的最佳組合。

結果表明,最佳組合是:
1. 眼睛+嘴用於表示抓取/釋放
2. 嘴用於表示延伸/收縮超級機械手臂

福岡君所在的杉本實驗室為了超級機械手臂,可說是下足了工夫。 (杉本研究室 官網

在杉本實驗室的 YouTube 首頁上,除了超級機械手臂的影片,都是一些交互式研究項目,包括表情捕捉、頭戴顯示設備的光電感測器對嘴型的識別等等。

機械手臂 Fusion 支援遠端操作,讓人擁有三頭六臂的能力

超級機械手臂可以說是東大和慶大聯合研究的代表作了。但其實,這遠不是兩所學校的第一次合作,早在超級機械手臂之前,他們就已經合作進行不少研究,包括一個名叫「Fusion」的機械手臂。

機械手臂 Fusion 的主要開發者是 yamen saraiji,現在他已經是慶大媒體設計研究生院的高級助教。他就是研究機械尾巴的那個人,這麼來說,好像 Fusion 和機械尾巴在冥冥之中存在著某些關聯。(個人首頁 網址

機械手臂 Fusion 雖然不能用臉部表情控制,但是它卻支援遠距離操作,聽上去不相上下嘛!

論文 傳送門

換句話說,遠端操作者可以控制機械手臂的運動,使得 Fusion 除了簡單的協同工作之外,還能提供運動指導和支持。

由此,Fusion 不僅擴展了佩戴者四肢活動的靈活性和可能性,還能夠連接遠端操作者和佩戴者。它既可以獨立於協作場景單獨使用,也可以連結到操作者用於遠端協助。

遠端操作者使用 HMD(Oculus CV1)能夠訪問代理實體。佩戴者背後安裝了一個背包,背包由具有立體視覺和雙耳音頻的三軸機器人頭部,和具有可移動手的兩個擬人機器人手臂組成。

不僅如此,機器臂還能換成腕帶,將 Fusion 連接到實驗者的手臂上,這允許遠端操作員直接指導佩戴者進行相關的行為。

由此,機械手臂變成了完全由遠端操作者控制的機器人,這與 MIT 的 HERMES 項目就存在許多相似,但當中有一個很大的不同:Fusion 需要安裝在佩戴者背部,這使得 Fusion 具有一定的「侵入性」(invasiveness),包括以下三個方面:
1. 定向(Directed):機械手臂能幫助或者代理實驗者進行相關操作。
2. 強制執行(Enforced):機械手臂被替換成為腕帶之後,遠端操作者能夠直接對實驗者進行行動的控制。
3. 誘發(Induced): 遠端操作者可以透過控制機械手臂,來強行控制實驗者的行動。

而且,Fusion 的一大優勢在於,遠端操作者與實驗者的視角幾乎是相同的,這樣就能更為準確及時地提供回饋。

當和朋友一起協同做某事時,好一點的情況是,整個感覺就像是朋友站在身後親身提供指導,壞一點的情況是,朋友會站在身後賞你耳光。

相信不管是哪種情況,都是一次絶妙的體驗。

在 Fusion 的 YouTube 首頁,不少人對這個項目大加讚賞,yamen saraiji 在留言區也表示歡迎大家去實驗室嘗試,但是也總有那麼幾個要歪樓的:

額……PornHub 會不會買還不好說,但不管是 Fusion 還是超級機械手臂,它們都加強人們的日常行為和溝通,希望可以早日商業化阿!

(本文經合作夥伴 大數據文摘 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈张嘴伸手,闭嘴收手,东大和庆大联合开发 FaceDrive,超级机械臂只用表情就能控制 〉。首圖來源:Sugimoto Lab YouTube 頻道

更多厲害的機器人

4 分鐘就能「單手」解開魔術方塊,機器人完敗人類的時刻又要來臨了嗎?
耶魯大學研發黏土變形機器人,可以自動變形穿越各種障礙!
「發那科」產全球半數 CNC 機台,揭秘富士山腳下的神祕機器人王國

點關鍵字看更多相關文章: