開發「機器學習」模型老遇瓶頸?五篇超強論文帶你看最新 AI 研究趨勢

【我們為什麼挑選這篇文章】AI 領域廣又深,不管是技術面還是應用面都有很多值得探索之處,本文分享 5 大 AI 機器學習的發展趨勢與模型,從學術論文的角度,帶你接收最新的研究與發現。(責任編輯:賴佩萱)

AI Scholar Weekly 是 AI 領域的學術專欄,致力於為你帶來最新潮、最全面、最深度的 AI 學術概覽,一網打盡每週 AI 學術的前沿資訊。

1. 用於 AI 模型透明化的 Model Card Toolkit

Google 最近發布了 Model Card Toolkit(MCT),該工具包旨在 為開發人員、監管人員和下游用戶提供透明化的 AI 模型 。Google 表示,模型透明度在人們生活的各個領域(從醫療保健到個人理財再到就業)都發揮著重要作用。

Google 過去曾發布 Model Cards 來公開特定的模型架構,並分析了一些案例,這有助於確保其最佳性能。MCT 基於 Google 的 Model Cards 框架,主要用來報告模型的來源、使用情況和評估結果,並旨在透過收集必要訊息和協助用戶開發界面,為第三方開發 Model Cards 帶來便利。

Google 正在將 MCT 共享化,以簡化所有 ML 從業人員 Model Cards 的開發過程。

傳送門:GithubMCT demo
原文:Introducing the Model Card Toolkit for Easier Model Transparency Reporting

2. 內存有效終端設備學習的 TinyTL

這項工作提出了一種微小遷移學習方法(Tiny-Transfer-Learning,TinyTL),用來實現內存有效的終端設備學習,旨在使預訓練的模型在邊緣設備新收集的數據上表現良好。

現有的遷移學習方法把架構固定了,基本上是透過細微調整權重來適合不同的目標數據集。不同的是,TinyTL 固定了權重,透過調整特徵提取器的架構並學習內存有效的精簡殘差模塊和偏差,來適應不同的目標數據集

簡單來說,TinyTL 不需要儲存中間激活值,而這正是終端設備學習的主要存儲瓶頸

在基準遷移學習數據集上進行的大量實驗一致表明了 TinyTL 的有效性和儲存效率,這為高效的終端設備機器學習鋪平了道路。

原文:Tiny Transfer Learning: Towards Memory-Efficient On-Device Learning

3. 能破解 Deepfake 偽造技術的學習方法

Deepfake 演算法透過偽造圖像和影像來生成大量的虛假內容,而且人眼很難將它們與真實的圖像和影像區分開來,因此開發能夠自動檢測和評估數字視覺媒體真實性的算法至關重要。

原文對 Deepfake 的演算法和最新文獻中 Deepfake 的檢測方法進行了調查。研究人員針對挑戰、研究趨勢以及深層偽造技術的發展方向進行了詳細討論,可以為你在這個領域的工作和研究提供幫助。

透過回顧 Deepfake 的背景和最新的檢測方法,這篇文章提供了對該技術的全面概述並促進了更全面的開發方法,來應對日益嚴峻的偽造現象。

原文:Deep Learning for Deepfakes Creation and Detection: A Survey

4. 自我監督的語音編碼器 TERA

自我監督學習是一種學習大量未標記數據的有效方法,在近年來迅速發展。但是,許多方法經常透過制定單個輔助任務來學習,例如對比預測/自回歸預測或模板重建。

在文章中,研究人員提出了一種自我監督的語音預訓練方法,稱為「變形編碼器表徵法」(TERA)。與以前的技術不同的是,TERA 使用多目標輔助任務來對大量未標記的語音進行變壓器編碼器的預訓練

該模型透過變化後的副本重建聲幀來學習。研究人員使用了隨機策略沿著三個維度進行變化,包括時間、通道和幅度。TERA 可用於提取語音表示或與下游模型(包含音素分類,說話者識別和語音識別)進行微調。

TERA 透過改善表面特徵的方法在這些任務上實現了強大的性能,研究人員也表明,這一個新方法可以更輕鬆地轉移未在預訓練中使用的另一個數據集。

原文:TERA: Self-Supervised Learning of Transformer Encoder Representation for Speech

5. 可在手機上試驗的開源框架 Flower

這篇文章提出了一個名為 Flower 的新的聯合學習(FL)框架,專為手機設備與連接這些設備的無線連接而設計,該框架主要支持在手機和無線設備上實施 FL 模型的試驗;FL(也稱為協作學習)是一種機器學習(ML)技術,可跨多個分散的邊緣設備或保存本地數據樣本的做服務器訓練算法。

該研究描述了 Flower 的設計原理和實現細節,以及將其與基於雲端的移動客戶端集成的幾個範例。研究人員認為,這將是 FL 移動應用中真正的改變關鍵。

透過 Apache 2.0 License 2 開放原始碼,Flower 希望能協助研究 FL 為重點的問題,並進一步讓社群成員開發新的框架,來支持新的通訊協議和移動客戶端。

原文:Flower: A Friendly Federated Learning Research Framework

其他爆款論文:

學習資源:

AI 大事件:

(本文經合作夥伴 大數據文摘 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈一周 AI 最火論文| 給你的 AI 模型一張名片,谷歌發布 MCT〉;圖片來源:unsplash。)

你可能會有興趣


科技報橘 LinkedIn 上線!

最新科技產業動態、技術新突破、專業職能技巧提升 ....... 鎖定 TO  LinkedIn 專業品牌,提升職能與產業 Know-how,躋身產業菁英之列 https://www.linkedin.com/showcase/techorange

點關鍵字看更多相關文章: