研究機構 Open AI:AI 計算能力成長超過摩爾定律,6 年提升 30 萬倍!

【我們為什麼挑選這篇文章】過去二十年,摩爾定律幾乎是推著這個世界科技、經濟和生活前進的動力;現在定律將盡,換 AI 上陣。而且這股新動力,造成的衝擊很可能會遠高於這二十年的發展。(責任編輯:康陳剛)

眾所皆知,人工智慧近年來發展快速,計算能力的提升功不可沒。

為了感受這個速度,OpenAI 發佈了一份 分析報告 ,說的是 2012 年開始,AI 訓練所用的計算量呈現指數增長, 平均每 3.43 個月便會翻倍

TO 編按:OpenAI 是一個 AI 非營利研究組織,由馬斯克和 Sam Altman 共同創辦。

對比一下,摩爾定律的翻倍時間是 18 個月。從 2012 年到現在,計算量擴大了 300,000 倍。 如果是週期是 18 個月,那只會擴大 12 倍。

看著計算力對 AI 發展的影響,如果按這個趨勢發展下去,未來系統的能力可能會遠遠超過我們今天的想像。

對數表示
對數表示

圖表顯示的是每個 AI 的計算量,以 petaFLOPS-day(pfs-day)為單位。一個 pfs-day,是一天中每秒進行 10^15 次神經網絡運算,或者說每天 10^20 次運算。

計算速度乘以時間,可以給人類一種比較直觀的感受,就像千瓦小時一樣。

線性表示
線性表示

注意一下, 這些數據並不是硬體的理論峰值,而是估算實際進行了的運算次數

每個加法,每個乘法,都看作一次運算,不論數值精度如何(這樣看來,說是 FLOP 可能有些用詞不當)。另外,這份報告並沒有考慮到集成模型。

單個模型的計算量

AI 的發展中有三個因素至關重要:演算法革新,數據(可以是監督數據,也可以是交互式環境),以及訓練可用的計算量。

演算法革新和數據這兩項上的進展,都比較難追蹤。相比之下,計算能力還是可以量化的,給了人們評估 AI 發展進程的一個方式。

系統完成大量計算的時候,常常會讓算法中的一些短板暴露出來。不過,至少在許多現有領域,更大的計算量表現為更好的性能,也與算法的發展相輔相成。

報告認為,單個 GPU 的速度不是最有用的數字,最大數據中心的容量也沒那麼重要。相比, 訓練單個模型所需要的計算量,才是更好衡量標準,可以反映模型到底有多強大

單個模型的計算量,和總計算量有很大的不同。因為並行性的限制,會影響模型的大小,以及它能夠接受怎樣的訓練。

當然,即便沒有那麼大的計算量,也可以產生重大的突破。不過,這份報告只討論了計算能力。

運算速度呈現快速增長,一部分原因可能是,在 GPU/TPU 價格相同的情況下,定制硬體能夠支持每秒更多次的運算。不過,主要原因可能還是研究人員一直在探索,讓更多芯片並行的方法,且願意為此投入大量資金。

兩年就是一個時代,我們大概可以從圖中看出四個不同的時期。

  • 2012 之前:GPU 在機器學習里的應用還不多見,彼時取得成就相對艱難。
  • 2012-2014:在許多 GPU 上訓練的基礎架構還很少,所以大多成就都是用 1-8 個 GPU、1-2 TFLOPS 的運算速度達成的,相當於 0.001-0.1 pfs-day。
  • 2014-2016:100-1000 個 GPU,速度在 5-10 TFLOPS,結果是 0.1-10 pfs-day。數據並行獲得的收益越來越少,更大規模的訓練價值有限。
  • 2016-2017:出現了大批量處理、結構搜索、專家迭代 (EXIT) 等支持更強並行性的方法,還有 TPU 等專用硬件和更快的互聯,衝破了局限。

AlphaGo 是大規模並行算法最有名的例子之一,不過很多規模相似的應用,現在在演算法上都可行了,並且已經應用在生產環境裡。

車要開得快,還是開得穩

分析認為,圖中顯示的增長趨勢很可能持續下去。

許多硬體領域的新創公司都在研發 AI 芯片,其中一部分還宣稱,能夠在未來 1-2 年內大幅提升 FLOPS/Watt,即提升 FLOPS/$。除此之外,重新配置硬體也可能為同樣的運算速度降低成本。

至於並行性,最近發生的許多算法革新,理論上都可以用「乘法」組合在一起——比如結構搜索和大規模並行 SGD。

問題是成本可能限縮並行性的發展,芯片的效率也會受到物理方面的限制。但問題是可以解決的。

報告認為,雖然最大規模的訓練所需的硬體,要花費數百萬美元;不過,目前大多數神經網絡計算都不在訓練上,而在部署上。這就是說,公司可以調整芯片的用途,或者有能力購買更多的芯片用於訓練。

因此,如果能夠刺激更多的資金投入,我們就可能看到更加龐大的並行訓練,增長趨勢也會持續更久。這個世界的硬體總預算,達到了每年 1 兆美元 ,所以成本上的壓力都不是太強硬的挑戰。

根據數據、指數增長的先例、機器學習專用硬體的發展以及經濟因素,OpenAI 認為短期內增長趨勢還會繼續

以往趨勢並不足以預測,正在發生的增長會持續多久,也不足以判斷,增長過程中會發生什麼。不過,就算只是一個合理假設,我們也有理由開始重視安全問題,和惡意使用問題了。

要制定政策,要負責任地發展科技,預見是非常重要的。

未雨綢繆,好過亡羊補牢。

(本文經 量子位 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈 AI 计算力 6 年提升 30 万倍,远远远超摩尔定律 | OpenAI 分析报告 〉;首圖來源:geralt,CC Licensed。)

延伸閱讀

Open AI 最新研究:AI 真的會失控,太執著得分,不停相撞引起火
豐田、日立都投資,日本獨角獸估值破 600 億台幣,誓言在 AI 領域超越 Google!
從不會 AI 到變成高手,媽媽表示:一個產假就夠了


《TechOrange》正在尋找社群編輯

我們正在尋找擁有以下特質的人,加入我們的團隊:

喜歡編輯 / 策展工作,認同編輯不只是寫字,而是包括採集素材、消化提出觀點,並策展的工作歷程。
對經營「內容」與「社群」有莫大興趣,希望參與線上 / 線下活動企劃與執行工作。
其他必備特質:

  1. 細心、主動、獨立思考、追求事半功倍、有問題不怕舉手。
  2. 不害怕總是在變動的工作環境與工作方式,樂於學習新工具與新鮮事。
  3. 喜歡挑戰、討厭一成不變。

月薪 3 萬起,畢業生可,具有 1~2 年網路社群相關工作經驗亦佳。

來信應徵, 請註明職缺 + 您的名字,並寄信到 [email protected]

點關鍵字看更多相關文章: