【為什麼我們要挑選這篇文章】AI 很像個「黑箱」，它很多時候可以精確預測，人們卻未必知道背後的演算方式。科學家開發深度學習模型時，也遇到可解釋性與準確性的兩難：要知道結果如何產生的，還是只要產出高準確度的數據就好？
近期 Google 的研究團隊發表論文，提出了 CAV 與 TCAV 技術，可望解決這個「深度學習的兩難」問題。（責任編輯：郭家宏）
「《科技報橘》徵才中！跟我們一起定位台灣產業創新力 >> 詳細職缺訊息
快將你的履歷自傳寄至 [email protected]」
可解釋性仍然是現代深度學習應用的最大挑戰之一。計算模型和深度學習研究的最新進展使我們能夠建立極度複雜的模型，包括數千隱藏層和數千萬神經元。效果驚人的前沿深度神經網路模型建構相對簡單，但了解這些模型如何創造和使用知識仍然是一個挑戰。
最近，Google Brain 團隊的研究人員發表了一篇論文，提出了一種名為概念激發向量（Concept Activation Vectors, CAV）的新方法，它為深度學習模型的可解釋性提供了一個新的視角。
深度學習模型的兩難：可解釋性 vs. 準確性
要理解 CAV 技術，需要了解深度學習模型中可解釋性難題的本質。在當今一代深度學習技術中，模型的準確性與可解釋性之間存在著永恆的矛盾。可解釋性–準確性矛盾存在於完成複雜知識任務的能力和理解這些任務是如何完成能力之間。知識與控制，績效表現與可核查性，效率與簡便性等等，任意一項抉擇其實都是準確性和可解釋性之間的權衡。
當人工智慧進入關鍵十年發展、強勢改變世界，台灣無法置身事外。
2030 年，台灣的 AI 國力會在哪裡？又要如何建立？
8/10（六）【TechOrange 科技報橘 2019 年度論壇】CONNECT to the Future，帶你看見 2030 年最重要科技趨勢 ↓↓
雙人早鳥 6 折優惠票只剩 2 天！
你是關心獲得最佳結果，還是關心結果是如何產生的？這是數據科學家在每個深度學習場景中都需要回答的問題。許多深度學習技術本質上非常複雜，儘管它們在許多場景中都很準確，解釋起來卻非常困難。如果我們在一個準確性–可解釋性圖表中繪製一些最著名的深度學習模型，我們將得到以下結果：
深度學習模型中的可解釋性不是一個單一的概念。我們可以從多個層次理解它：
要得到上圖每層定義的可解釋性，需要幾個基本的建構模組。在最近的一篇論文中，谷歌的研究人員概述了他們看來的一些可解釋性的基本建構模組。
Google 總結了以下三項可解釋性原則：
1. 了解隱藏層的作用：深層學習模型中的大部分知識都是在隱藏層中形成的。在宏觀層面理解不同隱藏層的功能對於解釋深度學習模型至關重要。
2. 了解節點的啟動方式：可解釋性的關鍵不在於理解網路中各個神經元的功能，而在於理解同一空間位置被一起激發的互連神經元群。透過互連神經元群對神經網路進行分割，能讓我們從一個更簡單的抽象層面來理解其功能。
3. 理解概念的形成過程：理解深度神經網路如何形成組成最終輸出的單個概念，這是可解釋性的另一個關鍵建構模組。
這些原則是 Google 新 CAV 技術背後的理論基礎。
Google 提出 TCAV，量化預測 CAV 的敏感度
遵循前面討論的想法，通常所認為的可解釋性，就是透過深度學習模型的輸入特徵來描述其預測。邏輯回歸分類器就是一個典型的例子，其係數權重通常被解釋為每個特徵的重要性。然而，大多數深度學習模型對例如像素值之類的特徵進行操作，這些特徵與人類容易理解的高級概念並不對應。此外，模型的內部值（例如神經元激勵）也很晦澀難懂。雖然諸如顯著圖之類的技術可以有效測量特定像素區域的重要性，但是它們無法與更高層級的概念相關聯。
CAV 背後的核心思想，是衡量一個概念在模型輸出中的相關性。概念的 CAV 就是一組該概念的實例，在不同方向的值（例如激發）構成的向量。論文中，Google 研究團隊概述了一種名為 Testing with CAV（TCAV）的線性可解釋方法，該方法使用偏導數來量化預測 CAV 表示的潛在高級概念的敏感度。他們構想 TCAV 定義有四個目標：
易懂：使用者幾乎不需要機器學習專業知識。
個性化：適應任何概念（例如性別），並且不限於訓練中涉及的概念。
插入即用：無需重新訓練或修改機器學習模型即可運作。
全局量化：可以使用單一定量測度來解釋所有類或所有實例，而非僅僅解釋單個數據輸入。
為實現上述目標，TCAV 方法分為三個基本步驟：
1. 為模型定義相關概念。
2. 理解預測對這些概念的敏感度。
3. 推斷每個概念對每個模型預測類的相對重要性的全局定量解釋。
