SAS modelops featured image 0903

相信很多人都聽過 DevOps,但你知道什麼是 ModelOps 嗎?

DevOps 是軟體工程中一個常見的文化精神,並重軟體開發(Dev)和系統維運(Ops)團隊之間的溝通,使得兩方在軟體系統上線的協作能更加快速、頻繁和可靠。可想而知,ModelOps 是導入 DevOps 精神在以 AI 模型為核心的系統開發和維運流程中,因此流程涉及常見的 AI 模型 (機器學習、時間序列模型、統計模型等)、資料品質等相關議題。

除了軟體工程本身,ModelOps 也追求提升模型從第一步到最後一步的開發效率,使得模型上線更加快速、頻繁,並同時確保模型的預測表現。然而,為什麼企業需要 ModelOps 呢?

導入 ModelOps 流程,可提升 AI 模型開發效率與上線速度,
同時確保 AI 預測表現(圖片來源:SAS)


連續 8 年被 Gartner 評為資料科學與機器學習平台領導者的 SAS 台灣業務顧問部副總經理陳新銓表示,從情境確認、資料分析到每一次模型部署上線,企業內部就需花費大量的時間溝通,而等到模型上線後,又可能因情境需求改變,甚至是資料日增而讓模型變得不敷使用。因此結合 DevOps 精神將有效地解決這些問題,讓 AI 模型能夠真正落地應用,產生商業價值。

2021 SAS ModelOps-2

AI 模型從開發到部署存在極大差距

陳新銓進一步說明,據調查企業所開發的 AI 模型只有 50% 會進入部署階段,而這些被部署的模型中,高達 90% 花了 3 個月時間才順利上線。 IDC 另一份調查也指出,企業 1 年花費在分析上的預算多達 1,891 億美元,卻只有 35% 企業能夠將模型部署到營運流程裡。

2021 SAS ModelOps-1

從這兩份調查可知 AI 模型從開發到落地部署其實有著很長的一段路,因此透過 ModelOps 對 AI 模型進行生命週期管理,以縮減開發和維運流程,顯然有其必要性。

研究機構 Gartner 也在公佈 2021 年九大策略科技趨勢(Strategic technology)時指出,AI 模型在 AI 工程中應成為 DevOps 的一部份,而不是一個獨立專門的項目,更顯 ModelOps 的未來發展潛力。

ModelOps 有別於大家常提到 MLOps,MLOps 強調單一或少數的機器學習模型的生命周期流程,最終以最佳的機器學習模型進入營運層面產生商業價值,著重機器學習模型本身;ModelOps 不僅包含 MLOps 的精神,也涵蓋到為企業組織統一治理更多數量、更多元化分析模型的生命周期流程,並延伸到業務規則、業務決策最佳化、代理人系統等,以及更多 IT 架構層面的議題,著重各類型模型和系統的最終決策。從 IT 架構的多樣性到分析模型的多元性,ModelOps 的涵蓋範圍會比 MLOps 來得廣,也因此我們可以將 MLOps 視為 ModelOps 的子集合。

實踐 ModelOps 過程,必須掌握的三大重要機制

「我們從協助企業實踐 ModelOps 的過程中,發現三個很重要的機制:(1) 模型儲存管理、(2) 模型流程管理、(3) 系統開放的介接 API」,陳新銓提醒,管理者須從營運而非僅技術角度,為實現 AI 價值的打下基礎。

機制 1:模型儲存管理 – 中央式管理各種類型、各程式語言的模型

2021 SAS ModelOps 2021_3

隨著程式語言、資料型態的多樣性增加,分析模型可以存在成各種檔案類型。此外,不同分析模型對於輸入資料的格式、環境設定的依賴也不盡相同。目前企業內部的許多模型程式碼、資料和模型相關文件通常散落在各個不同系統平台中,倘若再遇到人事頻繁流動,模型常常無法有效留存或交接,而損失當時開發模型的潛在價值。

系統性地模型儲存管理協助企業組織集中、統一治理所有類型模型檔案、屬性、版本、相關文件等,並達到兩個可預期的效益:(1) 有效率地支援 ModelOps 的模型作業流程運作、(2) 不斷地累積企業組織的分析模型資產和能量。

因此陳新銓建議,企業應建立一個中央式的模型儲存庫,清楚記錄與儲存每個模型的版本歷程、預測表現、屬性、使用的資料變數、衍生的模型檔案等,如此一來,即使公司內部人員流動或是模型數量繁多,也能系統性地累積分析能量。

機制 2:模型流程管理 – 設計出可稽核的自動化、標準化模型作業流程

點圖可放大檢視

有自動化跟標準化模型作業流程後才發現,原來我們是被會議耽誤的優秀 AI 團隊阿(圖左:導入模型流程管理前,圖右:導入模型流程管理後)


AI 模型從開發到部署,需要 IT、業務及分析等眾多部門共同協力完成,陳新銓認為,藉由自動化與標準化的流程,讓完整的模型作業流程可以跨部門協作,簡化人工作業程序,AI 模型便能順暢地由開發走到部署階段,有效克服管理的挑戰。

以 SAS 的模型流程管理為例,其同時符合 BPMN 2.0(業務流程模型和標記法,Business Process Model and Notation)規範與 ISO 19510 標準,企業可以用圖形化方式去設計符合自身需求的模型開發與維運流程,讓跨部門,甚至是資料科學技能相對初階的業務需求單位都能加入協作,及解讀管理所需的資訊。此外,還能提供每一次作業流程的紀錄,做為內部稽核及未來營運改善的依據,這對台灣金融業來說尤為重要。

機制 3:開放的 API 介面 – 整合既有軟體系統,打造更全面的 ModelOps

2021 SAS ModelOps_04

透過前述兩個重要機制,可以提升AI 模型的儲存和流程面的運作。SAS 在與不同產業的企業合作和討論時,發現許多企業組織內部已經陸續使用不同功能類型的軟體,來支援分析模型開發、部署和執行服務等。因此,要讓模型統一集中並自動化作業流程,還能友善地與既有系統整合,發揮綜效和 ModelOps 的精神,其介接的API介面是不可或缺的關鍵。

因此陳新銓建議透過開放 API 介面,整合更多元的系統、達到持續整合與持續交付 (CI/CD)的終極效果,讓資料科學家只要點擊操作,就可將 AI 模型落地至營運環境。如提供 RESTful API,讓企業可以介接 SAS、Java、Python 或是 CLI 介面的應用程式,還有Gitlab、GitHub、Jenkins 等開源工具,即能快速打造 CI/CD 流程。

日本瑞穗銀行靠 ModelOps,大幅縮短貸款審核作業

日本瑞穗銀行個人貸款部門便以 ModelOps 精神建立資料平台,在原本的作業流程中,增加一個可以集中控管所有模型的儲存庫,並標準化 ML 模型從部署到應用的作業流程,進而提升貸款業務的作業效率和處理量能。

在引進 ModelOps 後最明顯的改變是,以前相關同仁需要數週時間才能完成貸款審核作業,現在最快 30 分鐘就能完成,在處理量能上,以前每個月所能處理房貸件數最多為 80 個,現在藉助 AI 模型應用,讓瑞穗銀行可以蒐集外部數據,例如貸款者的財務資訊…等,作為評估基礎,每月可處理案件數成長百倍、達上千個。

ModelOps 非一體適用,平台要具開發彈性

雖然 ModelOps 是必然趨勢,不過,陳新銓再次強調,ModelOps 是一種精神文化,而非標準作業流程,每個企業組織的模型使用情境、範圍、系統架構、文化和規章都不盡相同。因此,要實踐能因地制宜的 ModelOps,企業需要足夠彈性的開發平台,以符合上述所提條件,包含:能否廣納各類型的模型資產並有中央管理機制?可不可以做到自動化流程管理?有無提供介接其他系統的 API?有沒有足夠人性化、簡潔易懂的操作介面?

換句話說,AI 模型若不能很好地整合管理效率與業務規則,就無法用最有效的方式協助企業做到「決策最佳化」的終極目標。

(本文提供合作夥伴轉載,內文圖片繪製、TechOrange、SAS)

參考資料:

  1. What is ModelOps and MLOps?
  2. Gartner Report – Innovation Insight for ModelOps