Facebook AR 感測器讓使用者能隔空打字

圖片來源:[email protected]

【我們為什麼挑選這篇文章】緋紅女巫隔空操縱的能力有可能實現? FB 近期揭露旗下 AR 眼鏡相關消息,指出將搭配「手腕」穿戴裝置提升使用者體驗,不僅能隔空打字,還能預測使用者的下一步動作。

然而如果以「便利性」作為穿戴裝置的出發點,為何 FB 還會選擇搭配「手腕穿戴裝置」呢?手部行為有什麼不可取代性?(責任編輯:何泰霖)

本文經 AI 新媒體量子位(公眾號 ID:QbitAI)授權轉載,轉載請連繫出處
作者:量子位

只需動動手,就能「掌」控一切?

Facebook 最近公佈的腕帶式的 AR 感測器,讓你在虛擬世界 get 緋紅女巫同款技能。

這一設備由 Facebook 的 AR/VR 研究部門——Facebook Reality Labs(FRL)研發,佩戴者可以透過手腕上的運動神經訊號,以手指動作控制 AR 眼鏡。

圖片來源:[email protected]

就連被稱為卷積神經網路之父的圖靈獎獲得者、Facebook 首席 AI 科學家 Yann LeCun 也為之點讚。

AR 眼鏡功能再升級!FB 透過「手腕感知」提升使用者體驗

那麼,它能用來做什麼呢?

據官方介紹,無論是走在路上還是坐著,把手放在身前、兩側或是口袋裡,都可以透過腕帶實現操控。

最初,腕帶只能透過拇指與食指的捏、放手勢,實現簡單的單擊操作。而後,又添加了更為豐富的控制功能,比如可以觸摸和移動虛擬項目。

圖片來源:[email protected]

除此之外,研究團隊還在進一步探索,力圖開發在桌子或膝蓋上高速打字的功能,甚至實現比使用鍵盤更快的打字速度。

與物理鍵盤相比,虛擬鍵盤不僅可以隨時使用,而且能夠隨著時間推移,學習和適應每個人不同的打字風格,並產生適應性的變化,實現更快的打字速度。

FRL 團隊在個性化模型方面取得了重要進展,使適應個人風格的鍵盤模型的訓練時間得以減少。

圖片來源:[email protected]

不僅如此, FRL 研究科學主管 Hrvoje Benk o表示:「我們相信,可穿戴的腕帶設備可以為 AR 眼鏡,提供超低摩擦、隨時可用的輸入,但它們本身並不是一個完整的解決方案。就像游標是用戶界面的一部分一樣,需要在意圖預測和用戶建模方面為他們提供幫助,以實時適應用戶以及特定的環境。」

因此, FRL 團隊近期正致力於,探索適應特定環境的調適界面,實現「智慧點擊」。

也就是,無需用戶移動視線、瀏覽菜單,系統透過在不同環境中預測用戶意圖,主動提供調適界面,而用戶只需輕量級的反饋,就可以進行控制。

FRL 研究科學經理 Tanya Jonker 也補充:「系統會學習有關用戶位置和關鍵對象的訊息,例如跑鞋或活動識別,根據用戶過去的行為預測意圖。」

比如,以往你穿著某一雙鞋出門時,通常會啟動音樂 App。那麼當你再次穿上它出門,系統認為你最有可能想要收聽音樂,於是螢幕上會出現「是否播放音樂?」選項,用戶使用簡單的手勢確認或更改建議即可。

利用這些微手勢,用戶無需停止正在做的事,或是為其分心,從而節省了時間。

圖片來源:[email protected]

Facebook 官方介紹中也提到,實現這一功能,需要應用機器學習、人機交互、用戶界面設計等技術,目前仍存在許多技術挑戰。

雖然利用超低摩擦的輸入方式,能夠實現操作調適界面的功能,但是要想對虛擬物體有所感知,還需要觸覺技術。

對此, FRL 研究科學總監 Sean Keller 表示:「人們從出生時的第一次抓握,直到靈巧地操作物體和在鍵盤上打字,手和手指會擁有非常豐富的反饋。我們利用觸覺訊號來了解世界,觸覺使我們能夠使用工具和精細控制。從使用手術刀的外科醫生到感覺到琴鍵邊緣的鋼琴演奏家,這一切都取決於觸覺。」

利用腕帶,用戶無需進行查看,就能夠透過觸覺作出識別,並進行決策。比如:

虛擬弓箭就利用腕部的觸覺,讓佩戴者有近似拉弓的感覺,從而知道自己是否做對了動作。

圖片來源:[email protected]

根據用戶的設定,當收到緊急 Email 時,手環能發出比收到普通 Email 更為強烈的震動。

當有電話播入時,透過不同的觸覺反饋,用戶即可得知對方的身份。甚至,研究人員還補充說:「觸覺還能夠傳達不同的情感,這可能是改善社交溝通的一種新的方式。」

目前, Facebook 團隊正在構建研究原型,包括擁有 8 個氣動波紋管的 Bellowband ,以及使用了 6 個震動觸動器和新穎的手腕擠壓機制的 Tasbi,以進一步探索觸覺反饋的類型。

手腕感測背後的技術:利用 EMG 實現控制

這些功能,都是依賴 EMG(肌電圖)技術實現的。

EMG 技術,就是使用感測器,將手腕傳到手部的運動神經訊號,轉化為數位指令。用戶可以用這些指令來控制設備的功能,這種控製程度是高度客製化的,可以用於多種情況。

據 Facebook 介紹,透過手腕發出的訊號非常清晰,哪怕是一毫米的手指運動, EMG 也可以感知,因此可以毫不費力地輸入。甚至在未來,連移動手指的意圖也可能感知到。

圖片來源:[email protected]

現任神經運動界面主管的 Thomas Reardon 表示:「我們要做的神經界面,就是讓用戶利用周圍神經系統的輸出,特別是腦外神經,激發手和手指肌肉的動作,來直接控制機器。」

AR 眼鏡控制為何不選語音,而選擇手腕?

手是人們接觸世界的重要身體部分,戴在手腕上能夠利用手部豐富的控制功能,實現更好的交互功能。

與語音控制相比,穿戴設備在公共場合使用更方便,類似手錶的設計使其能夠用於日常生活和社交環境。並且,手腕位置也適合舒適地佩戴一整天,而設計成一款單獨的設備,能夠更便捷的應用,無需透過手機或是其他設備控制。

置於手腕的可穿戴設備還可以輕鬆地作為計算、電池和連線的平台,同時支持多種感測器。

網友關注:可以讓失去雙手的人,再次發揮手的功能

這項獲得 LeCun 點讚的技術,自然也引起了網友的廣泛關注。

不少網友為此感到驚喜:「這是實際的延遲效果嗎?看起來很棒。」

還有一些網友,對這項技術的應用提出了設想:「這可以讓失去雙手的人,仍然能依靠神經來模擬手勢,不是嗎?」

「毫無疑問,這可以用於連接義肢,並且加快恢復和學習的過程。」

不過,有人提出了質疑:「什麼?這不是很多年以前的 MYO 手環嗎?」

事實上,這款基於 EMG 技術的腕帶其雛形確實為 MYO, MYO 最初由 AR 眼鏡公司 North 的前身 Thalmic Labs 所開發,而後其專利被新創公司 CTRL-labs 收購。

2019 年, Facebook 斥資數億美元收購了 CTRL-labs ,原研究團隊也隨之加入 FRL 。

與此同時,也有網友對此感到欣喜:「早在幾年前,當我第一次閱讀有關 MYO 的文章時,我就想知道它對於 VR 的潛力。很高興它取得現在的成果。」

這款手環主要用於配合 Facebook 正在研發的 AR 眼鏡使用,上市時間尚未公佈。

參考資料:[email protected]

(本文經 AI 新媒體量子位 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈袖口裡的“超能力”:Facebook腕帶式AR傳感器,可隔空打字、操控界面,LeCun點贊〉。)

你可能有興趣

美國新創發明「AR 隱形眼鏡」!用一個小螢幕,把你的「視界」變成百科全書
美國科學家研發「體溫發電」元件,手錶不用裝電池啦!