【我婆是哪個?】愛奇藝推「動漫角色」人臉辨識數據集!幫你精準辨識二次元老婆

本文經 AI 新媒體量子位(公眾號 ID:QbitAI)授權轉載,轉載請連繫出處

作者:量子位

【為什麼我們要挑選這篇文章】人臉辨識再近年來掀起廣泛討論,但你知道 AI 現在連「卡通人物」也能進行臉部辨識嗎?愛奇藝推出了卡通人臉識別基準數據集  iCartoonFace,為對角色臉盲的動漫迷帶來一大福音。(責任編輯:呂珈寧)

看過的動漫太多,以至於認角色時有點臉盲?又或者,只想給自己的二次元老婆剪個出場合輯,卻不得不在各大搜尋引擎搜索關於她的照片?

試試愛奇藝推出的這個卡通人臉識別基準數據集 iCartoonFace,用它訓練 AI 幫你找動漫素材,效率分分鐘翻倍。

對於臉型相近、但角色不同的二次元人物,能準確識別出來(臉盲福音),如果人物視角出現變化,也能準確識別:

不僅如此,在人臉被大面積遮擋時,也能準確地識別出來:

至於陰影和光照也不在話下,哪怕站在樹蔭裡,也能被 AI「偵測」:

效果完全不輸現有的真實人臉識別。那麼,這樣的技術是怎麼做出來的呢?

結合真人數據,訓練卡通人臉識別

團隊提出了一種卡通和真人的多人物訓練框架,主要包括分類損失函數、未知身份拒絕損失函數和域遷移損失函數三部分,如下圖所示。

其中,分類損失函數主要用來對卡通臉和真人臉進行分類;而未知身份拒絕損失函數,則是為了在不同域之間進行無監督正則化投影;至於域遷移損失函數,目的是降低卡通和真人域之間的差異性,對他們的相關性進行約束。

針對這個框架,研究者們探討了三個問題:哪種算法最好?人臉識別是否有助於卡通識別?上下文訊息對卡通識別是否有用?

從實驗結果來看,ArcFace+FL 的效果最佳,所以此次團隊選用了這個算法。

至於後兩個問題的答案,也是肯定的。從下圖的藍線來看,加上真人人臉識別的訊息後,對於卡通檢測的識別同樣有幫助。

至於上下文訊息,團隊也做了實驗,下圖是算法在卡通人臉基礎上擴充不同比例下的性能識別。實驗證明,上下文訊息越豐富,人臉識別的效果也會更好。

事實上,動物角色訓練出來的特徵樣本,相比於人臉來說,還是有點詭異。下圖中分別是原圖和對應​​的特徵樣本,相比於動漫男生和女生,虹貓(下圖中間)的特徵顯得有點……不可捉摸。

不過這也說明,一個標準、大型的動漫人臉數據集是有必要的。

研究者設計了半自動數據集構建框,標註數據只需要一個步驟

為了減少人工標註的工作量,研究者們設計了一種半自動數據集構建框架,用於構建 iCartoonFace 數據集。如下圖,這個框架可以分為三個階段:

首先,對數據進行分層收集。先獲取卡通圖片訊息,包括專輯和人物名稱,再獲取卡通人物圖片,使得數據集結構非常清晰。

其次,對數據進行過濾。利用卡通人臉檢測、特徵提取器和特徵聚類等,對圖片數據進行噪聲過濾。其中,特徵提取器的性能會發生變化:隨著標註數據的增多,性能不斷增強。

最後,標註人員只需要做一個步驟:根據特徵聚類的結果,回答兩張圖片是否是同一個人物。

目前最大的卡通人物標註數據集

事實上,目前已有大量針對真人的人臉識別的技術和算法。然而,針對二次元人臉識別的數據集依舊少之又少,大多數數據集存在著噪音比例大、數據量小的問題。但這樣的需求的確存在, 不局限於對影像的結構化分析,還能應用於圖片搜尋、廣告識別等場景。例如,給創作者提供智能剪輯、或者是對惡搞的諷刺漫畫、卡通風格人物進行審核辨識

針對這個現象,愛奇藝開放了目前全球最大的手工標註卡通人物檢測數據集與識別數據集 iCartoonFace,包含超過 5000 個卡通人物、40 萬張以上的高品質實景圖片。

下圖是 iCartoonFace 與其他已有動漫數據集的對比,基於這個數據集設計框架,可以有效地提高卡通人物識別性能。

說不定,真的能讓廣大觀眾對動漫角色「不再臉盲」。

參考資料:

  • 論文連結:https://arxiv.org/pdf/1907.13394.pdf
  • 數據集(在競賽數據集一欄):https://iqiyi.cn/icartoonface

(本文經 量子位 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈人臉識別,現在連動漫角色都不放過 〉。首圖來源:量子位)

你可能有興趣

【一秒掉進二次元世界】東京大學聯名研究:用 AI 把你的照片變「新海誠」風
【科技不要『臉』】IBM、微軟、亞馬遜對人臉辨識技術喊停,AI 發展的下一步會是什麼?
歐盟頒布「人臉辨識禁用令」:未來 5 年公共場所不得使用,保障民眾隱私權益!


科技報橘 LinkedIn 上線!

最新科技產業動態、技術新突破、專業職能技巧提升 ....... 鎖定 TO  LinkedIn 專業品牌,提升職能與產業 Know-how,躋身產業菁英之列 https://www.linkedin.com/showcase/techorange

點關鍵字看更多相關文章: