【NVIDIA 進軍 MLOps】輸入極少量數據、幾小時內就能開發 AI 模型的 TAO 框架是什麼?

首圖來源:Visual Hunt

「沒有人手中掌握所有數據,因為某些數據相當稀有,或屬於商業機密,也沒有所謂通用的 AI 模型,專精領域的模型,往往才是最有價值的。」— 黃仁勳,NVIDIA 2021 GTC 大會。

2021 年,擁抱這兩大轉捩點:從今起,你不必再從頭訓練專精領域的 AI,而 NVIDIA 也不再只是一家晶片硬體公司了!

回顧今年度的 GTC 2021 線上大會和 Computex 2021,NVIDIA 宣布推出全新的 TAO 人工智慧模型訓練框架,而這款架構預計即將於 2021 下半年正式上路。

TAO 全名為 Train, Adapt and Optimise(訓練、適應、最佳化),有什麼令人值得期待的功能呢?

這是一種基於 GUI 的框架,目的是讓企業 AI 應用和服務的開發更加輕便、容易、迅速。TAO 結合了遷移學習(transfer learning)和其他機器學習算法,透過 NVIDIA 提供的多種預訓練模型,你只需要加入小量數據進行微調,即可高效部署 AI

即抓即用的預訓練模型,輸入極小量資料就可部署 AI

簡單來說,TAO 讓 AI 模型的訓練過程,最快能夠在數小時之內完成。

相較於以往企業若從頭開始做起,經常花費數週、數月來蒐集龐大資料、訓練一個 AI 模型,TAO 大幅減少導入 AI 的時間和人力成本,砍低了過去需要大規模訓練、深入人工智慧專業知識的高門檻。現在,只要抓取你喜歡的預訓練模型(pre-trained model),輸入小型數據(可能少至 100 組 資料)和幾行程式碼,用戶就能部署模型,無需具備深厚的 AI 專業知識。

為了完善這些即抓即用的預訓練模型,NVIDIA 耗費五年多的時間內,投入了數億個 GPU 的計算時間,才有了如此高效的框架!

TAO 使用了剪枝(pruning)和量化(quantization)等優化方式,在不影響準確度的前提下,降低運算複雜度與模型尺寸,節省佔用的計算資源並提升性能表現。

結合聯合學習(federated learning)的 TAO,目的是讓多台機器安全協作、訓練共享模型,並增加模型的準確性。用戶在保護數據隱私的前提之下,更可以和他方交換模型組件。舉例而言,不同醫院的研究人員在進行合作項目時,藉由 TAO 可以在一個 AI 模型上進行協作,同時也將彼此的數據分開,保留在醫院各自的數據中心內,確保患者的隱私不會受到惡意侵犯

>> 聯合學習是什麼、怎麼解決數據隱私問題? <<

此外,TAO  納入了 NVIDIA TensorRT(SDK),根據模型運行的目標系統,用最小的模型尺寸,達成高準確度和極低延遲,這種機制,對於語音識別、欺詐檢測等不允許系統延遲的即時服務而言,是相當重要的。

來看看 NVIDIA 執行長黃仁勳在今年 GTC 2021 大會,怎麼介紹 TAO 這一款全新框架:

NVIDIA 進軍 MLOps,TAO 框架的正式推出是關鍵一步

推出了 TAO 這樣的全新框架,象徵著 NVIDIA 正大步踏入 MLOps 領域,再度跳脫以往硬體晶片供應商的形象

像 TAO 這類的服務,運用了資料科學,改變企業開發人工智慧的方式,解決龐大資料集等常見複雜問題,MLOps 也為 AI/ML 作業注入了 DevOps 的紀律性和可靠性,持續的整合和交付 (CI/CD) ,有助開發出密集型的 ML 應用。以效能來說,NVIDIA 表示 TAO 框架能夠將 AI 開發速度提高 10 倍以上。

那麼,用戶的實際使用流程,又會長怎樣呢?

首先,你可以從 NVIDIA 所提供的 NGC catalog 的目錄之中,挑選並下載預先訓練好的模型,這些皆是 NVIDIA 使用公開資料庫或自行蒐集、運用於特定領域的預訓練模型(pre-trained model),有超過 100 種供使用,橫跨語言建模、翻譯、自動語音辨識、文字轉語音、推薦系統、影像分割、物體偵測應用

接著,再套入用戶自己蒐集的數據,只要極小量數據,就能依據實際應用場景去做微調和最佳化,未來則可藉由 Fleet Command 管理套件執行部署後的模型更新。

據 NVIDIA 表示,在近期的成功案例中,20 個研究中心藉由 TAO 進行合作,提高了預測人們是否患有 COVID-19 的 EXAM 模型準確性。運用聯合學習後,該模型還可以預測感染的嚴重程度,以及患者是否需要補充氧氣,患者資料則安全的保存在每個合作夥伴的數據牆後。

另一個案例而言,在汽車維修中心的場景中,經常會透過 AI 判斷人員位置、保持安全,但由於現場跟訓練資料集之間的差距,有時造成準確度不理想的問題,藉由 TAO 輸入小量數據後,準確度可由 65% 提升至 91%,提高汽車維修中心的人員安全度

>> 點我挑戰 NVIDIA 超級電腦 x 工廠瑕疵檢測 4 大關卡 <<

雖然 TAO 目前還未全面開放,但已開放部分應用在倉儲、零售、醫院和工廠等場域,其中也包含了埃森哲、BMW 和西門子等公司。

想導入 AI 企業不必從頭來,NVIDIA 直接提供垂直領域解法

據 NVIDIA 產品管理總監 Adel El Hallak 所述,許多公司缺乏深度學習所需的專業能力,也沒有足夠的大型數據集或算力資源,這是常見的問題。然而,隨越來越多公司希望在產品和服務中快速部署 AI,簡易但高效的解法必須因應出現。