DeepMind 給 AI 做了個 IQ 測試,結果看來 AI 可能會是「腦殘」等級啊

AI 人工智慧 智商 IQ 抽象能力

【我們為什麼挑選這篇文章】你會不會好奇,曾經打敗過世界圍棋冠軍的 AlphaGo 的智商是多少?說不會是騙人的吧。運算能力遠超人類的 AI 怎麼可能智商低呢?這樣數學不好的學生應該只能回家哀傷落淚以洗心中悲憤。但大家別忘了,智商側的不只有邏輯能力,還有空間能力,推理能力。而這些項目 AI 做得好嗎?(責任編輯:陳伯安)

生活在一個 AI「泛濫」的時代,我們幾乎每天都能看到 AI 研究上的最新進展。昨天,AI 打 DoTA 戰勝人類了;今天,AI 能自己找路了;明天,AI 能假冒人類打電話了。在擔心 AI 會滅掉人類的人們眼中,AI 正像一隻怪物一樣野蠻生長,像一隻侵略軍一樣從遠方大跨步逼近。 

AI 進展

然而實際上,你所看到的這些進展,只是不同的 AI 在特定方向的進步。雖然當前基於深度學習的 AI 熱潮已經有五六年了,還是沒有一個獨立的 AI,像一個獨立的人一樣,能夠優秀地執行多種任務。

人們在形容 AI 時,通常會用這樣一種說法:這個 AI 的智商,跟三歲小孩差不多。 智商(Intelligence quotient)簡稱 IQ,是評價人類智商一個普遍接受的標準 。你有智商,我也有智商,就連三歲小孩也有智商。接下來問題來了:既然說 AI 跟三歲小孩差不多,那麼它的智商到底有多少呢

得給 AI 測測智商了。

AI 推理能力很強沒錯,但還是不敵人類用生活打煉出的「抽象理解能力」

自 AlphaGo 橫空出世以來,AI 在解決一些複雜的、策略性的問題上,能力已經得到了證明。但如果想要更像「人」,AI 必須也擁有像人類一樣的抽象理解能力。

現在的 AI 計算能力不用說了,推理能力也很強,所以只剩抽象理解能力了。Google 旗下的 AI 科研機構 DeepMind 認為,「基於神經網絡的機器學習模型取得了驚人的成績,但想要衡量其推理抽象概念的能力,卻非常困難。」  

為了搞清楚現在的 AI 在抽象理解能力上究竟實力如何,DeepMind 還真給 AI 設計了一套測試題:

論文
論文地址:http://t.cn/Rdd9eDZ

這套測試題,借鑒了人類的 IQ 測試里著名的瑞文推理測驗:給定一組圖片,找到符合其「演進」規律的圖片。

AI 測試智力測驗
圖片來源:DeepMind 論文

在這種測試中,題目里並不會告訴你要找到符合什麼標準的圖形,而是需要我們根據日常生活中學習或掌握到的一些基本原則,來理解和分析測試中出現的簡單圖案。

要找到正確的答案,往往要借鑒我們從生活中明白的「演進」規律。比如小樹苗長成大樹,比如從 0 到 1、2、3、4、5 的加法,再比如加減乘除。以上這些,就是我們生活中所提煉出的抽象的「演進」(progression)的意義,就是人類的抽象理解能力。

「但是,我們現在還沒有找到辦法,能讓 AI 也可以從『日常經驗』中學到類似的能力。」DeepMind 在論文中說。

「不過,我們依然可以很好地利用人類的這種視覺抽象邏輯測試,來設計一個實驗。在這個測試中,我們並不是像人類測試那樣,考察從日常生活到視覺推理問題的知識轉移。而是研究 AI 在將知識從一組受控的視覺推理問題,轉移到另一組問題的能力。」 

簡單翻譯一下這段話就是:DeepMind 先給 AI 餵一組由三角形構成的圖像的視覺推理題庫,等訓練的差不多了,再出一組由方塊構成的視覺推理題,讓 AI 去回答,看它是能隨機應變舉一反三,還是學會了三角,換成方塊就不靈了。

DeepMind 測試結果:AI 的智商實在不怎麼樣,題目變個樣就頭暈眼花

對於擔心 AI 取代人類的朋友來說,DeepMind 的一部分實驗結果確實是個好消息:一些最棒的 AI 模型,在這個 IQ 測試中的表現得並不怎樣。

正如預期的那樣,當訓練集和測試集所採用的抽象元素相同時,多個 AI 模型都表現出超過 75% 的準確率。 

然而,當測試集和訓練集出現變化,甚至有時候只是把黑點換成較暗的淺色圓點,AI 的表現就會像無頭蒼蠅一樣,失去了准星。 

AI 模型
一些知名 AI 模型的表現,圖片來源:DeepMind 論文

上面這些都是深度神經網絡領域的當紅炸子雞,測起智商來卻沒那麼靈光了。

ResNet  (Deep Residual Network),即深度殘差網絡在其中一組測試中僅僅得到 22.4% 的低分。 要知道,它的提出曾被形容為 CNN(卷積神經網絡)的一個里程碑式事件,它在網絡深度上比其他模型提升了 n 個量級,更重要的是它的殘差學習方式,改良了模型的架構,因此一出現就秒殺眾前輩。 

測試中表現最好的 WReN 模型,則是 DeepMind 在關係網絡(Relation Networks)模型基礎上改良的版本。它增加了對不同圖像組合之間關係的分析,並可以對這類 IQ 測試的各種可能性結果進行評估。

不過,DeepMind 針對這個測試的邏輯,對一些模型進行改良,改良後的模型表現出明顯的提升。

比如,在一些模型中,DeepMind 加入了元標記(meta-targets)的輔助訓練方法,讓模型對數據集背後體現出的形狀、屬性(形狀的數量、大小、顏色深淺等)以及關係(同時出現、遞減、遞增等等)進行預測,當這部分預測準確時,最終回答的準確率就明顯出現提升,預測錯誤時,回答準確率明顯下降。一些極端情況下,模型回答的準確率更是從預測錯誤時的 32% 提升至了 87%。 

關係圖 元標記
元標記預測準確度與最終答案準確率的關係圖

未來的 AI 需要能夠像人一樣,在「多領域」表現出眾

DeepMind 表示,他們設計的這個實驗,最終目的並不是為了讓 AI 能夠通過這種 IQ 測試。他們關注的是 AI 泛化能力的問題。

泛化是指模型很好地擬合以前未見過的新數據的能力,這是機器學習界的術語,你也可以粗暴的理解成一個 AI 模型能否在各類場景中「通吃」。AI 的泛化能力越強,離啥都能幹的所謂「通用人工智能」就越近。

DeepMind 在博客最後這樣說道:

研究表明,尋找關於泛化問題的普遍結論可能沒有任何意義。我們測試的神經網絡在某些泛化方案中表現優秀,但是其他方案下卻很糟糕。

諸如所使用模型的架構、模型是否被訓練從而能解釋答案背後的邏輯等一系列因素,都會對泛化效果帶來影響。而在大多數情況下,當需要處理過往經驗從未涉及的、或完全陌生的情景時,這些 AI 的表現很糟糕。

至少現在看來,AI 還有很長的路要走啊。

(本文經合作夥伴 品玩 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈DeepMind 给最厉害的 AI 测了 IQ,结果让人轻松了不少!〉。)

延伸閱讀

世界首位 AI 公民蘇菲亞與 PTT 之父杜奕深度對談:「AI 無法取代所有『人性』」
趨勢科技鍛鍊菁英工程師妙招:辦一場只由「AI」參加的德州撲克賽
2018 世足賽最大輸家:高盛, 賠上名聲害慘無數賭徒的 AI 冥燈


Azure 真的比 AWS 好用嗎?

微軟代表親上陣,快問快答各種辛辣轉型問題!

馬上收看

點關鍵字看更多相關文章: