李飛飛最新研究:透過臉部、語音辨識,「AI 醫生」也能診斷憂鬱症

【為什麼我們要選這篇文章】根據數據顯示,台灣有 200 萬人曾經受到憂鬱症的困擾,其中有 125 萬人是重度憂鬱症患者,但礙於社會對於憂鬱症的成見,許多患者不敢主動去看心理醫生。

面對這樣的議題,AI 女神李飛飛有了新的發想,透過臉部辨識、聲音語調等關鍵來判別是否為憂鬱症患者,AI 的力量不僅僅用在科技業,同時也能在醫療服務上造福人群。(責任編輯:鄭惟馨)

本文經 AI 新媒體量子位(公眾號 ID:QbitAI)授權轉載,轉載請聯繫出處

作者:量子位/郭一璞

在全世界範圍內,有超過 3 億人有憂鬱症,其中 60% 的人都沒有接受任何治療。我們時有聽到名人罹患憂鬱症甚至嚴重到自殺的消息,卻不知周圍一些普通人身在病中不知病。

面對這一病癥,AI 能做些什麼?

AI 福祉無邊界:李飛飛團隊用表情和語音,辨識憂鬱症患者

曾經說過「AI 沒有國界,AI 的福祉亦無邊界」的李飛飛老師這次要為那些懷疑自己得憂鬱症的人創造福祉了,她和團隊瞄準了 AI 診斷憂鬱症這個方向:

結合語音識別、電腦視覺和自然語言處理技術,通過表情和語言診斷一個人是否患了憂鬱症。

目前,這項研究初見成效,診斷憂鬱症的機器學習模型目前 precision(精密度)達到 83.3%,recall 達到 82.6%。並且,這個模型可以部署到手機上,讓更多人能方便的診斷憂鬱症,不再受困於「沒錢」、「沒時間」、「別人知道我去看憂鬱症會怎麼議論我」的阻撓之中。另外,這項研究成果還入選了 NeurIPS 2018 醫療健康機器學習(ML4H)Workshop。

下面,為大家詳細介紹李飛飛這篇新作品的具體內容。

AI 如何診斷病徵?靠 3D 臉部辨識、患者語音和訪談文字檔

為什麼用表情和語音能診斷憂鬱症?因為醫生就是這麼做的。

在目前的憂鬱症診斷過程中,醫生需要和患者面對面聊天,來判斷對方是否患病。需要醫生來觀察的要素包括:對方是否語調單一,完全不抑揚頓挫;說話音量是否比較低;講話時手勢是不是比正常人少;是不是總愛低頭向下看;……

另外,還需要通過患者健康問卷(PHQ, Patient Health Questionnaire)來調查來瞭解更詳細的信息。

用 AI 來診斷憂鬱症,就相當於用機器學習模型來代替那個和患者對話的醫生 ,把患者在醫生面前的表現變成數據,輸入機器學習模型中。

因此,李飛飛團隊採用的方案是先在模型中輸入 3D 臉部關鍵點影片、患者說話的音頻和轉成文字的訪談錄音 三種數據,分別對應下圖中的 abc 三行。

之後,輸出 PHQ 評分或憂鬱症分類標簽,就能得出此人是否患了抑鬱症。

訓練模型:透過語音句子嵌入、因果卷積神經網路,找出蛛絲馬跡

訓練這個模型用到的是 DAIC-WOZ 數據集,包括 142 名患者的 PHQ 評分和 189 次臨床訪談、總共 50 小時的數據。整個模型由兩個部分組成。

第一個部分叫句子級嵌入(Sentence-Level Embeddings)。以往的嵌入方式都是嵌入一個音節或單詞,只能捕捉幾百毫秒的時間。李飛飛團隊用的是整個句子多模態嵌入,可以實現捕捉更長時間的聲音、視覺和語言元素。下圖就是多模態句子級嵌入的示例:

第二個部分叫因果卷積神經網路(C-CNN, Causal Convolutional Networks)。之所以用因果卷積神經網路,是因為憂鬱症患者說話慢。相比普通人,憂鬱症患者說話的時候會在不同的字詞之間停頓更長時間,因此整個句子的音視頻也就比較長。處理這種長句子的時候,因果卷積神經網路要比 RNN(遞歸神經網絡)強。

一起來看看實驗成效如何!

我們來看一下實驗結果。

其中,A 是指輸入數據為音頻,V 是指輸入數據為視頻,L 是指輸入數據為文本。

對比前人的實驗結果,李飛飛的這項新研究數據上相對較高。不過,與前人不同的是,這項新研究並不依賴一些預先做好的訪談記錄,所以來的背景資料更少。並且,這項新研究無需特徵工程,可以直接用輸入原始數據。

這張實驗結果表格對比了使用不同嵌入方式的結果。其中,前兩行是手工嵌入,第 3~6 行是預訓練嵌入,最後兩行是我們用到的句子級嵌入,輸入的是 log-mel 光譜圖、3D 臉部關鍵點影片和 Word2Vecs 的序列。

完整論文:
Measuring Depression Symptom Severity from Spoken Language and 3D Facial Expressions
Albert Haque, Michelle Guo, Adam S Miner, Li Fei-Fei
https://arxiv.org/abs/1811.08592

(本文經原作者 量子位 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈李飛飛新論文「AI 醫生」診斷抑鬱症,準確率超過 80%,可移植到手機端 〉。)

延伸閱讀

Google 首席 AI 科學家李飛飛宣布離職!就是她讓 Google 人工智慧登上神壇
Google AI 大神李飛飛新論文:只要說出需求,AI 自動把圖畫出來
哈佛大學最新研究成果:從 Instagram 上的濾鏡、相片內容,來判斷你有沒有憂鬱症!


點關鍵字看更多相關文章: