用想的就能打字!腦機介面結合 RNN 再升級,人體實驗一分鐘可寫 90 個字元

【為什麼我們要挑選這篇文章】今年四月特斯拉 CEO 馬斯克帶著猴子打電動的影片向世人揭曉「腦機介面」將如何實現用大腦意念控制行動的黑科技。如今 BrainGate 公司已成功在人體實驗上達成用「意念寫字」的創舉並登上 Nature 雜誌,然而目前單就英文字母 ” Z “ 和數字「2」就容易混淆,未來還有可能開發中文版嗎?(責任編輯:何泰霖)

本文經 AI 新媒體量子位(公眾號 ID:QbitAI)授權轉載,轉載請連繫出處
作者:量子位

萬萬沒想到,腦機介面這麼快就有了重大突破!甚至還登上了 Nature 封面。

一位四肢癱瘓的患者,正在用「意念」打出一段話, 0.5 秒左右就能輸出一個字元。準確率也十分驚人,高達 99.1 %。

他所需要做的,只是在腦中將字元「手寫」出來,然後系統就會自動辨別並生成字元,一分鐘可寫 90 個字元。

圖片來源:HHMI

這雖然寫的不怎麼樣,但起碼受到了 Nature 的青睞。

圖片來源:Nature

值得一提的是,在這之前,這位患者在另一個測試項目中,嘗試過「意念」移動游標來打字,在一分鐘內只不過打出 47.5 個正確字元。

此研究一出,就引發學界、網友的巨大關注。祝賀之餘,一位華盛頓大學教授甚至直呼:我打的都比它慢!

讓腦機介面實現打字功能的幕後功臣:RNN

這位代號為 T5 的老爺爺腦中所植入的,是兩個來自 BrainGate 的電極陣列,各含有 96 個電極。

實驗剛開始就遇到第一個困難:如何辨識用戶什麼時候開始嘗試寫字元。最後發現原本用於語音辨識的模型可以完成這個任務。

解決這個問題之後,研究人員觀察到書寫每個字元時腦部的活動相對固定,且總是集中在一起。

並且書寫形狀類似的字母比如” b “ 和” p “ 時所用到的區域是接近的。

看來即使癱瘓多年,運動皮層中筆跡的神經表徵也沒有消退。經過人工註記後,這些數據就可以作為原始數據集了。

接下來是算法,研究人員選擇了循環神經網路(Recurrent Neural Network,以下簡稱 RNN)。

與常見的前饋神經網路相比, RNN 對數據序列中的每個元素執行相同的任務,計算結果取決於之前的所有結果,所以用循環命名。

同時,RNN 更擅長預測連續數據,正適合這次研究的連續書寫一個句子。不過, RNN 雖強大但有一個缺點,就是需要大量的數據,否則容易出現過適的問題。

目前參與研究的受試者只有老爺爺一人,他也不願意每天花好幾個小時進行大量的重複書寫提供數據。

不過沒關係,還有資料擴增(Data Augmentation)。就是對每個圖像的數據進行一些微小的改變,旋轉一下、縮放一點、或者鏡像翻轉之類的操作,增加數據資料的多樣性。

除了 26 個字母以外,輸入英文還得有一些必要的標點符號。比如空格,研究人員就要求老爺爺用” > “ 代替,英文句號只有一個點也不好分辨,所以用” ~ “ 代替。此外還有逗號、頓號和問號。

不過這次研究沒加入數字,可能是研究人員覺得區分 z 和 2 有點難,就留待下次解決。

開始訓練時使用的數據資料只有 242 個句子,隨後每天都增加一些,最終共有 572 個句子, 31,472 個字元。

最後,為了解決有的英文字母之間過於相似,研究人員還設計了一套專用於腦機介面的字母表進行測試,準確率提高不少,但有學習成本。

不僅提升打字速度,字元準確率最高達 99.1%

接著,就到了自願者測試的階段。

根據螢幕上的提示,自願者在大腦中一個字母一個字母地複製書寫,字元經過辨識生成在螢幕上。

結果測試顯示,從大腦「手寫」字元,到字元在螢幕中出現,中間會有一個延遲,大概在 0.4-0.7 秒之間。

整體來看,自願者平均每分鐘可以打出 18 個單詞、 90 個字元,字元錯誤率僅為 5.9%。

經過類似手機自動糾正的預測語言模型之後,他們進一步將字元的準確率提高到 99.1% 。單詞的錯誤率也從 25.1% 降低到 3.4% 。

此外,自願者還進行了一番自我創作——不用複制、自己「書寫」句子,結果每分鐘也可以打出 73.8  個字元,再經過預測語言模型糾正後,準確率超過了 97% 。

最後,為了挑戰極限,研究人員還訓練了一個新的 RNN ,用戶寫完整個句子之後再集中處理,這種方法的正確率高達 99.83% ,不過用戶就得不到實時的反饋了。

實際上,這其實是 BrainGate 公司研究專案的一部分。這是一個多機構聯合研究的專案,包括布朗大學、美國生物技術公司 Cyber​​kinetics,專注於腦機介面技術,致力於恢復神經系統疾病、損傷或喪失肢體的人,也能進行交流、行動。

不久前,這個專案實現了腦機介面訊號的無線傳輸,讓患者可以離開實驗室環境,在家輕鬆上網看影片。

史丹佛大學霍華德・休斯醫學研究所(HHMI)研究員、論文作者之一 Krishna Shenoy 表示,此次研究最大的創新在於,破譯了與手寫筆記相關的大腦訊號,讓四肢癱瘓的患者可以快速準確的打字。

論文一出,同樣是來自史丹佛大學的 Frank Willett 博士,表示會將整個研究的程式碼和神經數據開源。

目前,它還不是一個完整的、臨床的商業系統,畢竟也只在一個人身上進行了測試。

接下來將進行更多群體的測試、打字功能的拓展(編輯、刪除)、擴展字元集(比如大寫字母,以及其他語言)等方面進行提升。

是不是也可以來一個中文版?

除此之外,還有一些因素值得討論,比如成本和風險。

華盛頓大學生物工程系學者 Pavithra Rajeswaran 、電機工程系學者 Amy Orsborn 表示,這項研究仍需要經過試驗論證,將電極植入大腦的費用和風險是否合理。

腦機介面打字設計不止幫助癱瘓者

除了癱瘓患者外,也有因其他傷病導致打字困難的人表示很激動!

比如閉鎖症候群,因部分神經的損壞導致身體部分機能退化或消失,雖然意識清醒,但無法透過語言交流。

還有重複性勞損(RSI),包括因使用滑鼠或打字不當所產生的滑鼠手、腱鞘炎等。

有一位 RSI 患者說,我還需要一個能夠模仿滑鼠滾輪的功能,不過網友回覆他說你用一個腳踩的踏板或者眼球追蹤要比侵入型腦機介面簡單多了。

看到這個消息,網友也腦洞大開。有人發現,想像自己用手寫字和直接想像腦海中的軌跡是不一樣的感覺,不知道哪個更容易識別。

要不, 你也試試在腦中寫字?

參考資料:NatureWILDMLHHMI

(本文經 AI 新媒體量子位 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈意念打字登 Nature 封面!每分鐘寫 90 個字符,準確率超 99% 〉。首圖來源:HHMI

你可能有興趣

【黑科技真的來了】首款「腦機接口」耳機即將量產,動動腦就能切歌、接電話
馬斯克發表最新腦機介面成果並宣布人體實驗在即,網友躍躍欲試:腦洞已經開好了!
用縫紉機把晶片植入大腦,馬斯克新創 Neuralink 正在打造超科幻「腦機帝國」


訂閱《TechOrange》每日電子報!

每天一早,需要來根知識能量棒? TechOrange 與你一起,吸收世界新知識、消化科技新局勢。點我訂閱電子報 ,取得最新深度報導。

點關鍵字看更多相關文章: