機器學習跟統計學差在哪?哈佛博士:機器學習重視預測結果,統計學在乎因果推理

【為什麼我們要挑選這篇文章】機器學習跟統計學習有很多相似處,例如兩者都是藉由大量的數據分析,建構模型並給出預測,因此很多人無法區分兩者的差異,認為機器學習是統計學的加強版。然而哈佛的博士生從「統計與機器學習的不同」、「統計模型與機器學習的不同」這兩個角度出發,說明了機器學習與統計學的本質差異。下文是他的論點。(責任編輯:郭家宏)

「《科技報橘》徵才中!跟我們一起定位台灣產業創新力 >> 詳細職缺訊息
快將你的履歷自傳寄至 [email protected]

統計學和機器學習之間的界定一直很模糊。無論是業界還是學界,一直認為機器學習只是統計學批了一層光鮮的外衣。而支撐機器學習的人工智慧,也被稱為「統計學的外延」。例如,諾獎得主托馬斯.薩金特曾經說過,人工智慧其實就是統計學,只不過用了一個很華麗的辭藻。

當然也有一些不同的聲音。但是這一觀點的正反雙方在爭吵中充斥著一堆看似高深實則含糊的論述,讓人摸不著頭緒。

一位名叫 Matthew Stewart 的哈佛大學博士生從「統計與機器學習的不同」、「統計模型與機器學習的不同」這兩個角度,論證了機器學習和統計學並不是互為代名詞。

機器學習和統計的主要差別在「目的」

與大部分人所想的相反,機器學習其實已經存在幾十年了。當初只是因為那時的計算能力無法滿足它對大量計算的需求,而漸漸被人遺棄。然而,近年由於資訊爆炸所帶來的數據和運算能力優勢,機器學習正快速復甦。

言歸正傳,如果說機器學習和統計學是互為代名詞,那為什麼我們沒有看到每所大學的統計學系都關門大吉而轉投「機器學習」系呢?因為它們是不一樣的!

我經常聽到一些關於這個話題的含糊論述,最常見的是這樣的說法:

機器學習和統計的主要區別在於它們的目的。機器學習模型旨在使最準確的預測成為可能。統計模型是為推斷變數之間的關係而設計的。

雖然技術上來說這是正確的,但這樣的論述並沒有給出特別清晰和令人滿意的答案。機器學習和統計之間的一個主要區別確實是它們的目的。

然而,說機器學習是關於準確的預測,而統計模型是為推理而設計,幾乎是毫無意義的說法,除非你真的精通這些概念。

首先,我們必須明白,統計和統計建模是不一樣的。 統計是對數據的數學研究 。除非有數據,否則無法進行統計。 統計模型是數據的模型,主要用於推斷數據中不同內容的關係,或建立能夠預測未來值的模型 。通常情況下,這兩者是相輔相成的。

因此,實際上我們需要從兩方面來論述:

第一,統計與機器學習有何不同
第二,統計模型與機器學習有何不同?

說的更直白些就是,有很多統計模型可以做出預測,但預測效果比較差強人意。

而機器學習通常會犧牲可解釋性以獲得強大的預測能力 。例如,從線性迴歸到神經網絡,儘管解釋性變差,但是預測能力卻大幅提高。

從宏觀角度來看,這是一個很好的答案。至少對大多數人來說已經足夠好。然而,在有些情況下,這種說法容易讓我們對機器學習和統計建模之間的差異產生誤解。讓我們看一下線性迴歸的例子。

統計模型與機器學習在線性迴歸上的差異

或許是因為統計建模和機器學習中使用方法的相似性,使人們認為它們是同一個東西。對這我可以理解,但事實上不是這樣。

最明顯的例子是線性迴歸,這可能是造成這種誤解的主要原因。線性迴歸是一種統計方法,透過這種方法我們既可以訓練一個線性迴歸器,又可以透過最小二乘法擬合一個統計迴歸模型。

可以看到,在這個案例中,前者做的事叫「訓練」模型,它只用到了數據的一個子集;而訓練得到的模型究竟表現如何,需要透過數據的另一個子集測試集測試之後才能知道。在這個例子中,機器學習的最終目的是在測試集上獲得最佳性能。

對於後者,我們則事先假設數據是一個具有高斯雜訊的線性迴歸量,然後試圖找到一條線,將所有數據的均方誤差(mean-square error,MSE)降到最低。不需要訓練或測試集,在許多情況下,特別是在研究中(如下面的感測器範例), 建模的目的是描述數據與輸出變數之間的關係,而不是對未來數據進行預測 。我們稱此過程為統計推斷,而不是預測。儘管我們可以使用此模型進行預測,這也可能是你所想的,但評估模型的方法不再是測試集,而是評估模型參數的顯著性和強健性。

機器學習(這裡特指有監督學習)的目的是獲得一個可反覆預測的模型。我們通常不關心模型是否可以解釋。 機器學習只在乎結果 。就好比對公司而言,你的價值只用你的表現來衡量。而統計建模更多的是為了尋找變數之間的關係和確定關係的顯著性,恰巧迎合了預測。

下面我舉一個自己的例子,來說明兩者的區別。我是一名環境科學家。工作的主要內容是和感測器數據打交道。如果我試圖證明感測器能夠對某種刺激(如氣體濃度)做出反應,那麼我將使用統計模型來確定信號響應是否具有統計顯著性。我會嘗試理解這種關係,並測試其可重複性,以便能夠準確地描述感測器的響應,並根據這些數據做出推斷。我還可能測試,響應是否是線性的?響應是否歸因於氣體濃度而不是感測器中的隨機雜訊?等等。

而同時,我也可以拿著從 20 個不同感測器得到的數據,去嘗試預測一個可由他們表徵的感測器的響應。如果你對感測器瞭解不多,這可能會顯得有些奇怪,但目前這確實是環境科學的一個重要研究領域。

用一個包含 20 個不同變數的模型來代表感測器的輸出顯然是一種預測,而且我也沒期待模型是可解釋的。要知道,由於化學動力學產生的非線性以及物理變數與氣體濃度之間的關係等等因素,可能會使這個模型非常深奧,就像神經網絡那樣難以解釋。儘管我希望這個模型能讓人看懂,但其實只要它能做出準確的預測,我就相當高興了。

如果我試圖證明數據變數之間的關係在某種程度上具有統計顯著性,以便我可以在科學論文中發表,我將使用統計模型而不是機器學習。這是因為我更關心變數之間的關係,而不是做出預測。做出預測可能仍然很重要,但是 大多數機器學習演算法缺乏可解釋性 ,這使得很難證明數據中存在的關係。

很明顯,這兩種方法在目標上是不同的,儘管使用了相似的方法來達到目標。機器學習演算法的評估使用測試集來驗證其準確性。然而,對於統計模型,透過信賴區間、顯著性檢驗和其他檢驗對迴歸參數進行分析,可以用來評估模型的合法性。因為這些方法產生相同的結果,所以很容易理解為什麼人們會假設它們是相同的。

統計與機器學習在線性迴歸上的差異

有一個誤解存在了 10 年:僅基於它們都利用相同的基本機率概念這一事實,來混淆這兩個術語是不合理的。

然而,僅僅基於這兩個術語都利用了機率裡相同的基本概念,而將他們混為一談是不合理的。就好比,如果我們僅僅把機器學習當作穿了一層光鮮外衣的統計,我們也可以這樣說:

物理只是數學的一種更好聽的說法。
動物學只是郵票收藏的一種更好聽的說法。
建築學只是沙堡建築的一種更好聽的說法。

這些說法(尤其是最後一個)非常荒謬,完全混淆了兩個類似想法的術語。

實際上,物理是建立在數學基礎上的,理解現實中的物理現象是數學的應用。物理學還包括統計學的各個方面,而現代統計學通常是建立在 Zermelo-Frankel 集合論與測量理論相結合的框架中,以產生機率空間。它們有很多共同點,因為它們來自相似的起源,並運用相似的思想得出一個邏輯結論。同樣,建築學和沙堡建築可能有很多共同點,但即使我不是一個建築師,也不能給出一個清晰的解釋,但也看得出它們顯然不一樣。

在我們進一步討論之前,需要簡要澄清另外兩個與機器學習和統計有關的常見誤解。這就是人工智慧不同於機器學習,數據科學不同於統計學。這些都是沒有爭議的問題,所以很快就能說清楚。

數據科學本質上是應用於數據的計算和統計方法,包括小數據集或大數據集。它也包括諸如探索性數據分析之類的東西,例如對數據進行檢查和可視化,以幫助科學家更好地理解數據,並從中做出推論。數據科學還包括諸如數據包裝和預處理之類的東西,因此涉及到一定程度的電腦科學,因為它涉及編碼和建立數據庫、Web 伺服器之間的連接和流水線等等。

要進行統計,你並不一定得依靠電腦,但如果是數據科學缺了電腦就沒辦法操作了。這就再次說明了雖然數據科學借助統計學,這兩者不是一個概念。

同理,機器學習也並非人工智慧;事實上,機器學習是人工智慧的一個分支。這一點挺明顯的,因為我們基於以往的數據「教(訓練)」機器對特定類型的數據進行概括性的預測。

機器學習是基於統計學

在我們討論統計學和機器學習之間的區別前,我們先來說說其相似性,其實文章的前半段已經對此有過一些探討了。

機器學習基於統計的框架 ,因為機器學習涉及數據,而數據必須基於統計學框架來進行描述,所以這點十分明顯。然而,擴展至針對大量粒子的熱力學的統計機制,同樣也建立在統計學框架之下。

壓力的概念其實是統計數據,溫度也是一種統計數據。你可能覺得這聽起來不合理,但這是真的。這就是為什麼你不能描述一個分子的溫度或壓力,這不合理。溫度是分子相撞產生的平均能量的顯示。而例如房屋或室外這種擁有大量分子的,我們能用溫度來描述也就合理了。

你會認為熱力學和統計學是一個東西嗎?當然不會,熱力學借助統計學來幫助我們理解運動的相互作用以及轉移現象中產生的熱。

事實上,熱力學基於多種學科而非僅僅統計學。類似地,機器學習基於許多其他領域的內容,比如數學和電腦科學。舉例來說:

機器學習的理論來源於數學和統計學
機器學習演算法基於優化理論、矩陣代數和微積分
機器學習的實現來源於電腦科學和工程學概念,比如核映射、特徵散列等。

當一個人開始用 Python 寫程式,突然從 Sklearn 程式庫裡找出並使用這些演算法,許多上述的概念都比較抽象,因此很難看出其中的區別。這樣的情況下,這種抽象定義也就致使了對機器學習真正包含的內容一定程度上的無知。

統計學習理論—機器學習的統計學基礎

統計學和機器學習之間最主要的區別在於 統計學完全基於機率空間 。你可以從集合論中推導出全部的統計學內容,集合論討論了我們如何將數據歸類(這些類被稱為「集」),然後對這個集進行某種測量保證其總和為 1,我們將這種方法成為機率空間。

統計學除了對這些集合和測量有所定義之外沒有其他假設。這就是為什麼我們對機率空間的定義非常嚴謹的原因。一個機率空間,其數學符號寫作 (Ω,F,P),包含三部分:

一個樣本空間,Ω,也就是所有可能結果的集合。
一個事件集合,F,每個事件都包含 0 或者其它值。
對每個事件發生的可能性賦予機率,P,這是一個從事件到機率的函數。

機器學習基於統計學習理論,統計學習理論也依舊基於對機率空間的公理化語言。這個理論基於傳統的統計學理論,並發展於 19 世紀 60 年代。

機器學習分為多個類別,這篇文章我僅著眼於監督學習理論,因為它最容易解釋(雖然因其充斥數學概念依然顯得晦澀難懂)。

統計學習理論中的監督學習,給了我們一個數據集,我們將其標為 S= {(xᵢ,yᵢ)},也就是說我們有一個包含 N 個數據點的數據集,每個數據點由被稱為「特徵」的其它值描述,這些特徵用 x 描述,這些特徵透過特定函數來描繪以返回我們想要的 y 值。

已知這個數據集,問如何找到將 x 值映射到 y 值的函數。我們將所有可能的描述映射過程的函數集合稱為假設空間。

為了找到這個函數,我們需要給演算法一些方法來「學習」如何最好地著手處理這個問題,而這由一個被稱為「損失函數」的概念來提供。因此,對我們所有的每個假設(也即提議的函數),我們要透過比較所有數據下其預期風險的值來衡量這個函數的表現。

預期風險本質上就是損失函數之和乘以數據的機率分佈。如果我們知道這個映射的聯合機率分佈,找到最優函數就很簡單了。但是這個聯合機率分佈通常是未知的,因此我們最好的方式就是猜測一個最優函數,再實證驗證損失函數是否得到優化。我們將這種稱為實證風險。

之後,我們就可以比較不同函數,找出最小預期風險的那個假設,也就是所有函數中得出最小下確界值的那個假設。

然而,為了最小化損失函數,演算法有透過過度擬合來作弊的傾向。這也是為什麼要透過訓練集「學習」函數,之後在訓練集之外的數據集,測試集裡對函數進行驗證。

我們如何定義機器學習的本質引出了過度擬合的問題,也對需要區分訓練集和測試集作出瞭解釋 。而我們在統計學中無需試圖最小化實證風險,過度擬合不是統計學的固有特徵。最小化統計學中無需視圖程向於一個從函數中選取最小化實證風險的學習演算法被稱為實證風險最小化

例證

以線性迴歸做一個簡單例子。在傳統概念中,我們試圖最小化數據中的誤差找到能夠描述數據的函數,這種情況下,我們通常使用變異數。使用變異數是為了不讓正值和負值互相抵消。然後我們可以使用閉合表達式來求出迴歸係數。

如果我們將損失函數計為變異數,並基於統計學習理論進行最小化實證風險,碰巧就能得到傳統線性迴歸分析同樣的結果。

這個巧合是因為兩個情況是相同的,對同樣的數據以相同的方式求解最大機率自然會得出相同的結果。最大化機率有不同的方法來實現同樣的目標,但沒人會去爭論說最大化機率與線性迴歸是一個東西。這個最簡單的例子顯然沒能區分開這些方法。

這裡要指出的第二點在於,傳統的統計方法中沒有訓練集和測試集的概念,但我們會使用不同的指標來幫助驗證模型。驗證過程雖然不同,但兩種方法都能夠給我們統計穩健的結果。

另外要指出的一點在於,傳統統計方法給了我們一個閉合形式下的最優解,它沒有對其它可能的函數進行測試來收斂出一個結果。相對的,機器學習方法嘗試了一批不同的模型,最後結合迴歸演算法的結果,收斂出一個最終的假設。

如果我們用一個不同的損失函數,結果可能並不收斂。例如,如果我們用了鉸鏈損失(使用標準梯度下降時不太好區分,因此需要使用類似近梯度下降等其它方法),那麼結果就不會相同了。

最後可以對模型偏差進行區分。你可以用機器學習演算法來測試線性模型以及多項式模型,指數模型等,來檢驗這些假設是否相對我們的先驗損失函數對數據集給出更好的擬合度。在傳統統計學概念中,我們選擇一個模型,評估其準確性,但無法自動從 100 個不同的模型中摘出最優的那個。顯然,由於最開始選擇的演算法不同,找出的模型總會存在一些偏誤。選擇演算法是非常必要的,因為為數據集找出最優的方程是一個 NP-hard 問題。

那麼哪個方法更優呢?

這個問題其實很蠢。 沒有統計學,機器學習根本沒法存在 ,但由於當代資訊爆炸人類能接觸到的大量數據,機器學習是非常有用的。

對比機器學習和統計模型還要更難一些,你需要視乎你的目標而定。如果你只是想要創建一個高度準確的預測房價的演算法,或者從數據中找出哪類人更容易得某種疾病,機器學習可能是更好的選擇。如果你希望找出變數之間的關係或從數據中得出推論,選擇統計模型會更好。

上圖對話:
A:這是你的機器學習系統?
B:是的!你把數據都倒進這堆線性代數裡,然後就可以得到答案了。
A:答案錯了怎麼辦?
B:那就攪攪,攪到看起來對了為止。

如果你統計學基礎不夠紮實,你依然可以學習機器學習並使用它——機器學習程序庫裡的抽象概念能夠讓你以業餘者的身份來輕鬆使用它們,但 你還是得對統計概念有所瞭解,從而避免模型過度擬合或得出些貌似合理的推論。

原文 出處

(本文經 大數據文摘 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈 统计学和机器学习到底有什么区别?〉 。首圖來源:Flickr CC Licensed)

更多統計學與機器學習相關教學

統計學基礎遭質疑!p 值、信賴區間為何被 800 名科學家連署反對?
機器學習成效開到最大!介紹 4 個超好用的 Shell 程式技巧
來自科學促進會的嚴正警告!為什麼機器學習正在對「科學」造成毀滅性危機?


掌握 2019 年行銷思維:TechOrange 數位行銷論壇

2018 年台灣數位廣告量全年達新台幣 389.66 億, 廣告價格與成效 之間平衡如何拿捏? 找出成效型廣告操作的最精華關鍵,打造數位品牌勝利第一步! 6/19 TechOrange 數位行銷論壇, 6 折早鳥價只到 5/30 >>>> 手刀購買

點關鍵字看更多相關文章: