【為什麼我們要挑選這篇文章】為了提升將衛星圖像轉換為 Google 地圖的效率，Google 團隊使用 CycleGAN 神經網絡系統，希望透過大量的訓練提升 AI 的轉換速度與準確度。然而工程師意外發現， AI 在地圖中藏小抄，讓它不用「學習」，就可以有效率地完成轉換圖像的任務，還騙過了工程師。雖然任務還是可以完成，但過程和工程師設想的完全不一樣。這個作弊事件凸顯人工智慧離真正的「智慧」還有一段距離，但它可以用人類不善於檢測的弱點欺騙人類。（責任編輯：郭家宏）
作者：文摘菌
一篇來自 Google 和史丹佛 2017 年的研究，近期在 twitter 和 reddit 上被熱議。
在這個讓人啼笑皆非的研究裡，為了完成圖像轉換的任務，CycleGAN 在訓練過程中透過人類無法察覺的某種「隱寫術」，騙過了它的創造者，給自己留下了隱秘的「小抄」，然後順利完成了任務。
這個小插曲催生的論文也因此被命名為「CycleGAN, a Master of Steganography」（CycleGAN，一個隱寫術大師），被當年的 NeurIPs 收錄。
聽到「騙過人類」覺得有點可怕是嗎？先別慌，一起來看看這個「小把戲」。
Google 訓練 AI ，做衛星圖像和街道地圖的轉換
為了加快將衛星圖像轉換為 Google 精確的街道地圖，Google 團隊使用 CycleGAN 神經網絡系統，希望透過大量的訓練，從而使得這個模型能夠儘可能精確、高效的轉換 X、Y 類型圖片獲得相應結果。
簡單來說，研究者希望透過訓練這個 CycleGAN 模型，可以實現兩類圖片的轉換：把空拍照變成街道地圖，再把街道地圖變回空拍照。
早期的實驗結果中，這個模型做的還不錯。
雖然很難深入瞭解神經網絡流程的內部工作原理，但團隊可以輕鬆審核其生成的數據。透過一些實驗，他們發現 CycleGAN 確實大幅提升了轉換速度。
直到有一天，研究者發現了奇怪的事情：這個模型自作主張的根據空拍衛星圖片重建了街道地圖。
例如，在創建街道地圖時，屋頂上的天窗被研究者透過某種設置被抹掉了，但透過街道圖轉化為空拍照後，這些天窗又神奇地出現了。
心存疑惑的研究者開始著手檢查這個 CycleGAN 學到的 mapping 到底是什麼，接著發現了更多「憑空」出現、根本不可能產生的空拍照。
AI 在地圖置入「小抄」，輕鬆完成任務
經過一系列檢查，研究者發現原來是 CycleGAN 在把空拍照變成地圖的時候，加入了一些人類肉眼不可見的噪音（或者其實可以說是訊息），然後從地圖重建空拍照的時候，就透過這些噪音來讀取訊息。
就好比，為了應付人類任務，AI 在地圖照上面偷偷寫了一點小抄/水印，而為了躲過人類的檢查，只有它自己訓練出來的模型才讀得懂這些小抄/水印。
這和人類研究者想像的任務完成途徑完全不一樣。
可能有人會覺得，只要工作能完成，那麼這個辦法也非常聰明。
但值得一提的是，如果一些細節被巧妙插入視覺數據中，人眼不會注意到的數千個微小顏色變化，但電腦卻可以輕鬆檢測到。
也就是說，這種方法儘管可以實現目的，但是非常容易被攻擊。一旦有「攻擊者」在一張地圖照裡面加一些肉眼不可見的「小抄」，就會「重建」出一張牛頭不對馬嘴的照片。
透過這種方式，可以將空拍地圖編碼成任何街道地圖！電腦在編碼的過程機中不需要關注真實的街道地圖，所有重建的空拍照片所需的數據都可以「人畜無害」地疊加在完全不同的街道地圖上。
研究人員也透過實驗證實了這一點：
上圖（c）中的彩色地圖是電腦系統引入具有細微差別的可視化圖片。 圖片形成了和空拍地圖差不多的形狀。如果你不把他放大，並且仔細的觀察，你可能很難發現這些差別。
AI 做小抄，起源於 Cycle GAN 採取的學習方法
這種將數據編碼成圖像的做法並不新鮮，這是一門被稱為「隱寫術」的技術，值得一提的是，它已經非常成熟、現在被廣泛應用。
現在，似乎電腦也學會了這種隱寫方法，運用此方法機器可以「偷懶」，從而逃避學習，逃避手頭的任務。
瞭解一下 Cycle GANs 所採用的學習方法，出現這一「偷懶」結果似乎也不意外。
Cycle GANs 從 X 到 Y 的 G 映射的過程中，生成器不是選取一些隱向量來映射，而是使用圖像的直接轉換量。使用普通的對抗損失函數來構建一個映射 G 。利用 G ，可以從生成的圖像 X 映射到真實圖像 Y。
類似地，我們也有一個反向的映射，但這有一定的可能會使我們丟失原始圖像的一些特性。
所以約束性在 Cycle GAN 的使用中非常重要。
一旦約束條件不完備，模型很容易出現鑽漏洞的偷懶情況。
AI 還不夠智慧，但可以用人類不善於檢測的弱點欺騙人類
今天的熱議中，很多人就此得出了「人工智慧越來越聰明」論斷，從而心生恐懼。
大可不必慌張，這一結果正說明機器還不夠聰明，到目前為止，它還不能完成複雜的圖像類型相互轉換等工作。但是，它可以利用人類不善於檢測的弱點欺騙人類。
對運算結果的更嚴格評估可以避免這種情況。
電腦所做的事情，全部來自程式命令，所以你的要求也必須明確具體。不過這個案例給了我們關於解決神經網絡的弱點的新的思路，對於電腦來說，如果沒有明確禁止它做什麼事，它可以自行找到一個從細節出發，回饋自我到的一個高效解決既定問題的方式。
這也為提高 CycleGAN 生成圖像的品質提供了有一種可能的途徑，儘管循環一致性損失能夠讓神經網絡將原圖像的訊息編碼映射到生成的圖像中，但是模型也可以偷偷的透過對抗性學習提高欺騙能力。如果能夠找到阻止電腦「做小抄」的方式，這會使圖圖轉換工作得到突破。
這一研究論文《CycleGAN, a Master of Steganography》已經被 2017 年 NeurIPs 收錄，感興趣的同學可以看看。 論文連結
關注公眾號：大數據文摘
ID：BigDataDigest
（本文經 大數據文摘 授權轉載，並同意 TechOrange 編寫導讀與修訂標題，原文標題為 〈 谷歌的这只AI学会了“打小抄”，还骗过了它的创造者〉。首圖來源：Youtube）
更多 AI 發展現況
榮總將推出全台首家「AI 門診」！600 倍高速診斷，準確率高達 80%
【血汗 AI】負責訓練 AI 的作業員，薪水只有 9 到 18K 是怎麼回事？
【戴季全社長專訪簡立峰】AI 時代，台灣不可被取代的關鍵優勢是什麼？
