【我們為什麼挑選這篇文章】不知道你有沒有看過 TO 一篇機器人自創「AI 語言」的文章,它在談 FB 之前做了一項 AI實驗,希望開發出能夠「談判、溝通」的機器人,但它卻自己創造了語言。這表示機器人沒有完全理解人類為它設定的目標,導致了失控。隨著人工智慧失控的例子越來越多,我們可以認知這已經不是電影情節,也不禁讓人想到「聰明反被聰明誤」這句話,人類是否會讓科技威脅到自己?怎麼預防 AI失控叛變成為關鍵。〈責任編輯:陳思寧〉

在剛過去的周末,OpenAI 的人工智慧花了 10 分鐘就打敗了人類的Dota世界冠軍。正如許多讀者所知,遊戲是許多研發人員用來訓練人工智慧的工具。

在 OpenAI 位於舊金山的辦公室裡,研究人員 Dario Amodei 正在通過賽船冠軍賽(Coast Runners)來訓練人工智慧。不過,這個人工智慧好像有點失控了。

賽船冠軍賽的遊戲規則很簡單,如果想贏,選手必須收集到最多的分數,然後跨過終點線。

但 Amodei 的人工智慧玩著玩著有點過火了,它在不斷地追求高分,非但毫無跨過終點線的意思,反倒為了要多轉幾個圈拿高分,它開始和其它賽船碰撞,或是在過程中自己撞牆爆炸了。

為了應對,Amodei 和 OpenAI 的同事 Paul Christiano 正在研發一套不僅可以自我學習,同時也願意接受人工監控的算法。

(Amodei 在告知人工智慧,怎樣的操作模式才更好,圖自《紐約時報》

在賽船遊戲的訓練中, Amodei 和同事將不時通過按鍵來指出人工智慧的不當之處,告知人工智慧,不僅要贏分數,同時也要跨過終點線。他們認為,這種包含了人工干預成分的算法可以確保系統安全性。

而在 Google 旗下 DeepMind 的研究人員也同意 Amodei 和同事的想法。兩個團隊,分別代表了 OpenAI 和 DeepMind,最近罕見地合作發表了部分人工智慧安全方面的研究論文。

除此以外,Google 旗下的 Google Brain,以及來自伯克萊大學和史丹佛大學的研究團隊,都設有該方向研究課題,從不同方面考慮人工智慧安全問題。

除了這種在自我學習過程中「搞錯重點」的潛在危險,另一個可預想的人工智慧危險在於「為了完成任務,拒絕被開發者關機」。

一般在設計人工智慧時,研發人員都會給它設定「目標」,就像賽艇遊戲中的「得分」一樣。一旦人工智慧將獲得「分數」為終極目標,它可能會產生一個方法論——想要獲得更加多的分數,其中一個方法就是不關閉自己,這樣就能無止境地獲取分數了。

伯克萊大學的研究人員 Dylan Hadfield-Menell 和團隊最近發布了討論這個問題的論文。他們認為,如果在設計算法的時候,讓人工智慧對目標保持一定不確定性,它們才有可能願意保留自己的「關機鍵」。他們採用了數字方式來嘗試實現這個設置,目前還處於理論階段。

除了人工智慧自我「失控」,研究人員還在考慮駭客對人工智慧的干預影響。

現代計算機視覺基於深度神經網路(deep neural networks),它通過學習分析大批量數據來形成對模式的了解。也就是說,如果要讓計算機學會什麼是「狗」,那就讓它分析大批量狗的圖片,並從中尋找規律。

但 Google 的 Ian Goodfellow 則認為,這種模式可能會為駭客提供「矇騙」人工智慧的機會。Goodfellow 和其它研究人員曾展示,只要修改圖片中的幾個特定像素,他們就能讓神經網路相信圖片中的大像是一輛汽車。

如果這個神經網絡是應用在安保鏡頭的話,這樣就問題大了。

「即便你用了數百萬張標誌了『人』的照片來訓練一個物件識別系統,你還是可以輕易拿出系統和人工識別 100% 不同意的圖片。我們需要認清這種現象。」

Goodfellow 說道。雖然這些研究大多仍處於理論階段,但這群致力於將意外扼制於搖籃的研究人員堅信,越早開始考慮這個問題越好。DeepMind人工智慧安全方面的負責人 Shane Legg 說道:

「雖然我們還不能確定,人工智慧將以多塊地速度發展。但我們的責任是嘗試理解並猜測,這種技術將有可能以哪種方式被誤用,並嘗試找出不同的應對方式。」

(本文經合作夥伴 愛範兒 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈 OpenAI 和 Google 是如何預防人工智能失控的?〉。首圖來源:《紐約時報》))

延伸閱讀

【人言可畏比 AI 失控還可怕】不好意思我們都搞錯了,臉書的 AI 並沒有「失控」
真的是「秒寫完」!機器人只用 25 秒寫完五百多字九寨溝強震新聞
【最潮喪禮】日本「數位靈媒」讓亡者附身在 Pepper 機器人上,陪家人度過最後日子
我這不是來抄了嗎?「記者快抄」:PTT 創世神的 AI Labs 推出最新自動寫稿機器人