【沒人信我時,還有你】「AI 教父」Hinton 與深度學習 40 年的奇幻旅程

AI 教父 人工智慧 Geoff Hinton

【為什麼我們要挑選這篇文章】沒人知道的 AI 教父 Geoff Hinton,用了他的一生,堅持他的信仰。如此的他,竟默默地改變了人工智慧的進程。他與深度學習的故事即將開始。(責任編輯:陳伯安)

堅持你所相信的,直到世界追上你的腳步。

因為傷了背,Geoff Hinton 已經站著工作了 12 年,似乎巧合地迎合了現在「站立工作」的這股風潮。

「我領先於潮流,」Hinton 說。

不僅僅是這一點,Hinton 更廣為人知的「領先於潮流」,是在深度學習領域。在所有人都不看好神經網絡的年頭,是他,將這一技術帶進了主流學術界。

Bloomberg 近日為這位「深度學習教父」拍攝了一段特寫紀錄片,用短短 分鐘,講述了這位「有點皮」的教授關於神經網絡的 40 年傳奇經歷。

影片來源:Youtube

AI 圈沒人聽過的 AI 教父,全靠一篇「深度網絡」的論文

今天,混 AI 圈的人鮮有人沒聽過 Geoff Hinton。他是谷歌大腦研究小組的負責人,多倫多大學的榮譽教授。而奠定了他在今天人工智慧圈「教父」地位的,是他在多層神經網絡技術的貢獻。

Hinton 對 AI 的貢獻有多大呢?

學術點說,Hinton 在 1986 年提出的通過反向傳播來訓練深度網絡理論,標誌著深度學習發展的一大轉機,為近年來人工智慧的發展奠定了基礎。

更實際點說,今天谷歌中通過語音識別進行圖片檢索、在手機上把語音轉化為文字的技術的實現,大部分功勞要歸於 Hinton 博士的研究。

他的研究,徹底改變了人工智慧,乃至整個人類發展的軌跡。

想了解大腦,就做一個出來,咦?

Geoff Hinton 出生在英國一家「書香門第」,家人多是數學家和經濟學家,這樣的「學霸爸媽」顯然讓 Hinton 的童年不太好過,正如他自己所說:「我大概在 歲的時候就意識到,不讀博士不行了(微笑臉)。」

而最初把 Hinton 引上人工智慧這條路的,是他對人腦的好奇。

Hinton 很早就沈迷於大腦如何工作的問題。於是,他開始進入生理學,解剖大腦以瞭解其工作方式。

不滿足於此,他又開始學習心理學。最後,他決定更多地使用計算機科學的方法來模擬大腦,並進入人工智慧領域,開始了他近 40 年的研究生涯。

「我認為,如果你真的想瞭解一個非常複雜的裝置,比如大腦,那你就製作一個。

大家都不認可時,為什麼不放棄?因為堅信「其他人都錯了」

儘管現在已經成為了人工智慧的主流研究方法,神經網絡在最初問世時,命途多舛。

1956 年,美國認知心理學家弗蘭克羅森布拉特(Frank Rosenblatt)基於神經元的理論發明瞭一種模擬神經元的方法。它的基本點是一個被稱為神經元的小單位的集合。 這些集合都是小的計算單元,但可以模擬人腦計算的方式。和我們從感官中獲取數據一樣,這些神經元可以獲取傳入數據並進行學習,所以神經網絡可以隨著時間的推移做出決定。

但是,Rosenblatt 的學習算法當時對於多層結構的神經網絡不起作用。人工智慧學者們也因此放棄了學習式軟件的想法。他們轉而使用邏輯來產生智能 —— 比如下棋的能力。

幾乎沒人再相信神經網絡的前景,也沒人再研究神經網絡。

除了 Hinton

「大腦是一個巨大的神經網絡,因此,神經網絡必須也是可以工作的,因為它在我們的大腦中起作用。」Hinton 說。

「那是什麼支持著你不放棄?」

「其他人都錯了(everyone else is wrong)。」

不滿意自己的研究用在「非善意」的東西上,毅然決然搬到加拿大

為了找到一個支持他研究神經網絡的棲身之處,Hinton 在美國輾轉多地。但是,當時大部分的學術研究都是受到國防部支持。

而 Hinton 對於這樣拿到自己的研究經費並不滿意:「我不希望我的研究成果被用在一些不善意的目標上。」

的確,深度學習從誕生之日起,就與國防部的一些軍事目的有著不可分割的淵源。

甚至直至今天依然如此 —— 今年 月谷歌被曝光正參與 Maven 項目,向美國軍方提供 TensorFlow APIs 和無人機圖像識別技術,引起巨大爭議和眾多抗議,月谷歌不得不承諾不將 AI 用於武器。這場聲勢浩大的爭論甚至將戰火燃到了李飛飛身上

而關於 AI 倫理和技術人員責任的爭論也從來沒有停止過。

近兩年,將算法用來自動識別一起犯罪是否屬於團伙犯罪,或識別一個人是否是同性戀的研究屢見不鮮,算法的締造者是否應該在研究之外分出心力,瞭解自己研究背後更深的影響呢?

在 40 年前,Hinton 的選擇或許已經給出了他的答案。

為了避免為五角大樓服務,Hinton 最終落腳在加拿大的多倫多大學。這個國家歡迎他,也支持他的神經網絡研究。「去這個文明的小鎮繼續研究對我來說非常有吸引力。」

而 HIinton 也沒有讓加拿大失望。

正因為 Hinton 和他的學生的研究,加拿大現在已經成為人工智慧研究的重要力量之一,多家人工智慧巨頭都將他們的研究中心開在了多倫多,各種前沿人才為了追隨 Hinton 的腳步,絡繹不絕地來到這座北方國度:「Hinton 將加拿大拉入了 AI 超級大國的版圖。」

當你的理想被質疑時,請溫柔的給世界一點時間趕上

在多倫多,Hinton 和他的團隊研究出了更深度的神經網絡,以解決更複雜的問題。他們共同開發了一個多層神經網絡,這個深度神經網絡也被應用於多個方面。

比如有人用它在 80 年代就打造了一輛無人車並且開上了路。

而現在已經是深度學習的另一位領袖人物、Facebook 的 AI 實驗室負責人 Yann LeCun 則利用深度神經網絡建立了一個可以識別手寫數字的系統。這一系統最終實現了商用。

在當時,深度神經網絡的前景似乎一片大好,但是,現實中的故事往往沒有這麼簡單。

Hinton 的研究再次遇到了瓶頸。

「我們當時並沒有足夠的數據,也沒有足夠的計算機運行能力,AI 和計算機科學的從業者認為神經網絡是一廂情願的想法。」

但 Hinton 始終堅持著,儘管完全不被重視。

他坐在房間的最角落里參加學術會議,在大牛雲集的人工智慧會議上完全不被重視。甚至他自己也開始產生了懷疑:「有很多次我都覺得我不會繼續這項工作了」。

直到這個世界開始慢慢追上他的腳步。

2006 年,計算機的運行速度有了巨大的提高,超快速芯片的到來以及互聯網上產生的大量數據使得 Hinton 的算法變得非常神奇。突然之間,計算機開始可以識別圖像中的內容,可以識別語音,可以將一種語言翻譯成另一種語言。

2012 年,Geoffry Hinton 和他的團隊帶著 AlexNet 參加了那一年的 ImageNet ILSVRC 挑戰賽,以驚人的優勢獲勝(錯誤率比第二名低了足足 10%)。這篇被 NIPS 2012 收錄的論文被認為是深度學習熱的開啓。

同年,「神經網絡」和「機器學習」等詞彙也開始在紐約時報的頭版出現。

「人們終於理解了這個概念,我感到很欣慰。」Hinton 這樣說。

2017 年用膠囊網絡,自己推翻自己

儘管已經成為了深度學習的領袖人物,Hinton 的腳步卻從沒有停歇。2017 年 10 月 26 日,Hinton 發表了一篇在 AI 圈掀起軒然大波的論文——Capsule Networks(膠囊網絡)

Hinton 高喊,「卷積神經網絡(CNN)的時代已經過去了!」,將他過去幾十年的研究翻了過去。

感興趣的讀者可以查看論文

儘管膠囊網絡現在仍然處在嬰兒期,在訓練龐大的數據集時,仍可能會遇到問題,但在未來,Hinton 相信它還有發展的巨大潛力。

也許,這位深度學習教父還將再次改寫深度學習的發展歷程。

(本文經合作夥伴 大數據文摘 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈AI 教父 Geoff Hinton 和深度学习的 40 年 〉,首圖來源:Youtube。)

延伸閱讀

年僅 25 歲!這個打敗 AlphaGo 的男人,是怎麼 CONNECT with AI?
一場世足賽,讓經濟學者找出 AI 與商業創新模式的關聯
台灣中學教育別歪樓,說要設立「AI 專班」的官員真的知道自己在講啥嗎?

AD