殺死深度學習的真正兇手!「組合爆炸」為什麼會讓神經網絡寸步難行?

【為什麼我們要挑選這篇文章】深度學習有救了?約翰霍普金斯大學教授,電腦視覺技術的奠基者 Alan Yuille 也點出深度學習正面臨的「組合爆炸」的瓶頸。深度學習需要靠大量數據學習,不如人類能自如適應視覺環境的變化,加上真實世界的數據複雜度已超出實驗室的數據集,荒謬得讓電腦把吉他判斷成鳥。

因此,文內提出解決方式,雖然組合爆炸可能會讓判斷出錯,但可以在有限的數據裡,設計出組合模型,繼而推敲出最壞情況,更讓電腦視覺導入學術界,產生文學與工業的對話。(責任編輯:黃穗懷)

1. 需要大量的註釋數據
2. 難以在標準測試集外取得良好表現
3. 對於數據的微小變化尤為敏感。

這都是近年來深度學習被詬病的缺陷。

即便深度學習已經在諸多領域得到廣泛應用,但這 三大缺陷也成為了深度學習仍舊無法完全勝任自動駕駛、醫療診斷等「敏感」任務的致命弱點。

畢竟,如果一台自動駕駛系統因為訓練數據集中不包含「坐在路上的嬰兒」這一情境,就無法作出正確的避讓判斷,想必不會有人會放心讓這一系統完全接管方向盤。

那麼,這些問題的背後,究竟體現了深度神經網絡怎樣的致命缺陷呢?

近期,奠基人之一、約翰霍普金斯大學教授 Alan Yuille 和他的學生劉晨曦撰寫了一篇博文,詳述了深度網絡侷限性的本質所在。

他們認為, 難以處理「 組合爆炸問題」 正是深度神經網絡的致命弱點。

那麼,什麼是組合爆炸問題呢?

讓我們先來看下面這個例子。


圖 1 : 添加遮擋體 (Occluders) 會導致深層網絡失敗。左:添加遮擋體摩托車將猴子變成了人類。中心:添加遮擋體自行車將猴子變成人,叢林將自行車把手變成鳥。右:添加遮擋體吉他將猴子變成了人類,叢林將吉他變成了一隻鳥。

這張圖顯示了將吉他照片添加到叢林中的猴子照片中的效果。Deep Net 錯誤地將猴子識別為人類並將吉他誤解為鳥類,大概是因為 Deep Net 認為猴子不可能攜帶吉他,並且鳥類比吉他更可能在猴子附近的叢林中出現。

這種對背景的過度敏感可以歸因於有限的數據集大小。對於任何對象,數據集中僅出現有限數量的背景,因此神經網絡就會發生判斷偏差。

例如,在早期數據集中,長頸鹿僅在樹木邊出現,因此,如果長頸鹿附近如果沒有樹,那神經網絡就無法正確識別,即使它們是圖片中最主要的對象主體。

捕捉各種各樣背景的困難,以及探索大範圍的滋擾因素的需要,造成了 Deep Nets 這類方法的缺陷。

深度學習的桎梏:只能在有限數據中表現良好

上面這一問題就是「組合爆炸」很好的例子。

真實世界圖象集是組合的。因此,任何數據集(無論多大)都很難代表現實世界的複雜性。

組合能產生出多大的集合呢?

想像一下,我們可以在一個場景中隨意添加各種物體,這顯然可以用很多方式完成。即使對於單個對象的圖象,我們也可以獲得類似的複雜度,因為它可以以指數增加的方式添加被部分遮擋的情況。我們還可以通過無數種方式更改對象的背景。

儘管人類能夠自然地適應視覺環境的變化,但是深度神經網絡卻更敏感,然而更容易出錯,就如圖 1 所示。

在某些視覺任務中,這種組合爆炸基本不會發生。深度神經網絡在醫學圖象的應用中可謂是非常成功,因為其背景的變化相對較小(例如胰腺總是非常接近十二指腸)。

但是,對於許多日常使用的應用程序來說,如果沒有指數級別的數據集,我們就無法捕捉到現實世界的複雜性。

這就帶來了巨大的挑戰—— 在數量有限、隨機抽取的樣本上訓練和測試模型的標準範式變得不切實際。

所以這迫使我們解決兩個新的問題:

1. 我們怎樣在有限大小的數據集上訓練算法,從而使它們能夠在需要龐大數據集才能捕獲現實世界的組合複雜性的任務中表現良好?

2. 如果我們只能在有限的子集上測試這些算法,那麼我們如何有效地測試並確保它們在龐大的數據集中表現優秀?

「組合模型」能拯救深度學習

像深度神經網絡這樣的方法,以目前的形式來看,似乎不太可能具有處理組合爆炸的能力,因為數據集的數量可能永遠都不足以訓練或測試它們。

我們認為, 組合模型 或許是解決問題的關鍵。

組合性

組合性是一個基本原則,可以感性的稱它為「一種信仰的體現,即世界是可知的,人們可以將事物拆開並理解它們,然後在精神上隨意地重新組合它們」。

但其中關鍵的假設是,結構是由更基本的子結構按照一組語法規則組成的。這就表明子結構和語法可以從有限的數據中學習,然後拓展到組合的場景中。

與深度神經網絡不同,組合模型需要結構化的表徵,從而明確其結構和子結構。組合模型能夠對可見的數據進行外推,對系統進行推理、干預、診斷以及使用相同的基礎知識結構回答許多不同問題。

我們注意到,儘管深度神經網絡捕獲了一種組合性形式,例如,高層特徵是由來自下層特徵的響應組成的,但與本文中我們所指的組合性顯然還是不一樣的。

圖 2:從(a)到(c),可變性增加同時出現了遮擋情況。尤其(c)是一個龐大組合數據集的例子,它本質上與驗證碼相同。有趣的是,關於驗證碼的研究表明,組合模型的性能很好,而深度神經網絡的性能則較差。

組合模型的優勢已經在很多視覺問題上得到了證明,例如使用相同的底層模型執行多個任務和識別驗證碼(圖 2)。其他非視覺的例子也說明了同樣的觀點,比如智商測試。

在這項任務中,我們的目標是預測 3×3 網格中丟失的圖象,其中 8 個網格的圖象已經給出,同時任務的基本規則是組合型的(並且可以存在干擾)。在這一任務上,組合模型相比深度神經網絡也有相當的優勢。

組合模型具有許多理想的理論性質,例如可解釋性和可生成樣本性。這使得錯誤更容易診斷,因此它們比像 DeepNets 這樣的黑盒方法更難被欺騙。

但是,學習組合模型也是十分困難的,因為它涉及到學習構件和語法(甚至語法的本質也是有爭議的)。此外,為了通過合成進行分析,它們需要有一個模型來生成對象和場景結構。

更為根本的是,處理組合爆炸需要學習三維世界的因果模型以及這些模型如何生成圖象。對人類嬰兒的研究表明,他們通過預測環境結構的因果模型來學習。這種因果理解能夠讓他們從有限的數據中學習,並拓展到新的環境中。

這與牛頓定律與托勒密模型的對比類似,牛頓定律用最小的自由參數來解釋因果關係,而太陽系的托勒密模型給出了非常精確的預測,但它需要大量的數據來確定其細節。

解方:把問題變成解決「最壞情況」

在現實世界中測試視覺算法的組合複雜度的一個潛在挑戰是,我們只能測試有限的數據。我們可以 通過關注最壞情況,而不是一般情況來解決這一問題。

正如我們前面所說,如果數據集沒體現出問題的組合複雜性,那麼算法在有限大小數據集中的結果可能沒有意義。顯然,如果目標是為自動駕駛汽車開發視覺算法,或者在醫學圖象中診斷癌症,那麼關注最壞的情況也是有意義的,因為算法的失敗可能會產生嚴重的後果。

如果能在低維空間中捕捉到故障模式,例如立體匹配算法的危險因素,那麼我們可以利用電腦圖形學和網格搜索對其進行研究。但對於大多數視覺任務,特別是涉及組合數據的任務,我們很難識別出少數可以被隔離和測試的危險因素。

另一種策略是將標準對抗攻擊的概念擴展到包括非局部結構,並允許複雜的操作,這些操作會導致圖象或場景發生變化,例如通過遮擋或更改正在查看的對象的物理屬性,儘管這不會對人的感知造成太大的影響。

將此策略擴展到處理組合數據的視覺算法仍然是非常具有挑戰性的。但是,如果在設計算法時考慮到了組合性,那麼它們的顯式結構可能使診斷和確定它們的故障模式成為可能。

深度學習的盛世危局:縱然好用,卻發展受限

幾年前,Aude Oliva 和 Alan Yuille(本文第一作者)共同組織了一個由 NSF 贊助的電腦視覺前沿研討會(MIT CSAIL 2011)。這次會議鼓勵參會者坦誠交換意見,參會者對電腦視覺的深度神經網絡的潛力產生了巨大分歧。

Yann LeCun 大膽地預言,每個人都將很快地使用深度神經網絡。他的預測是正確的。深度神經網絡的成功非同尋常,它帶領電腦視覺走向了熱門,極大地增加了學術界和工業界之間的互動,將電腦視覺應用到了許多不同的學科,併產生了很多有意義的成果。

但是,儘管深度神經網絡取得了成功,但在我們達到通用人工智能和理解生物視覺系統的目標之前,仍然存在著巨大的挑戰。我們的一些擔憂與最近對深層網絡的批評中提到的類似。

其中,我們今天討論的「組合爆炸」就是最大的挑戰之一。

雖然深度神經網絡肯定是解決方案的一部分,但我們相信,我們還需要一些額外的方法用來捕獲數據基礎結構的復合原理和因果模型。此外,面對組合爆炸,我們需要重新思考如何訓練和評估視覺算法。

(本文經 大數據文摘 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈Alan Yuille:在计算机视觉领域,谁是杀死神经网络的真凶? 〉 。)

關於深度學習,還可以看看

深度學習的發展遇到了 3 個瓶頸!霍金的學生:原因是「組合爆炸」
深度學習將要終結?美國教授從 1.6 萬篇論文中看到的 AI 趨勢
破千顆星的 GitHub 超強資源包,所有好用的「深度學習」資源都在這裡啦!


把傳統 BI 升級成超智慧 AI

一鍵產出 AI 視覺化洞察報表,強化你的商業決策力 >>>> 了解詳情  

點關鍵字看更多相關文章: