插畫師飯碗不保?AI 研究最新力作:我們也會畫二次元妹子啦!

【我們為什麼挑選這篇文章】

我們過去陸續討論過不少的職業在未來都有可能被 AI 所取代,但當時大家的想法都認為,像是繪畫這種需要藝術成分的工作要被取代還是有難度的。

但今日,由來自多所大學的研究團隊,寫出了一個可以根據使用者給予的條件來自動繪製人物插畫的網站,雖然說現階段還有一些 bug,但我們已可想像在可預見的未來,相關的工作產業勢必會因此受到衝擊。

(責任編輯:林厚勳)

來自復旦大學、同濟大學、卡內基梅隆大學和石溪大學共 6 位學生(其實本科都在復旦)搭建了一個利用人工智慧自動生成精美動漫角色的網站 MakeGirls.moe

AI 自动生成二次元妹子?或将替代插画师部分工作對於用戶來說操作非常簡單,只需要選擇自己喜愛的頭髮、眼睛、微笑、張嘴等等特徵,然後點擊「genrate」就可以通過訓練出的 AI 模型來生成一個動漫人物。該網站上線後數天,訪問量便增加到每小時超過一萬人。其 repo 在 github trending 上也一度排到第四位。該網站所使用的技術在其論文《Create Anime Characters with A.I. !》中進行了詳細說明。

AI 自动生成二次元妹子?或将替代插画师部分工作

其實這並不是第一個將 AI 應用到動漫當中的模型。2015 年 Soumith Chintala 等人開發 DCGAN 後不久,就有人將 DCGAN 應用到了生成動漫角色當中,出現了 ChainerDCGAN、IllustrationGAN 和 AnimeGAN 等,三者分別使用了 Chainer、TensorFlow 和 PyTorch 的框架,它們本質上都是 DCGAN,只是實現方式不同。但這些模型的效果並不是很好,尤其是會出現面部頭像模糊和扭曲的問題。在 MakeGirls.moe 的模型中,作者針對這些問題做出了兩方面的改進。

一、使用更高質量的圖片庫

之前幾家,他們訓練模型所使用的數據集大多數是使用爬蟲從網絡上爬下來的,這類圖片在質量和畫風上參差不齊,甚至還有一些背景。訓練數據集質量的低下會給訓練造成很大的影響。本文的作者則通過從日本的遊戲販賣商 Getchu 購買了高質量的圖像,這些圖像基本出於專業畫師之手,同時背景統一。

AI 自动生成二次元妹子?或将替代插画师部分工作

除了高質量的圖像外為了訓練網絡模型,作者使用了一種基於 CNN 的圖像分析工具 Illustration2Vec,對圖像中動漫人物的屬性,如頭髮顏色、眼睛顏色、髮型和表情等做標記。

此外,在訓練的過程中他們還發現發佈時間越晚的圖片,訓練出的模型效果越好。這不難理解,隨著遊戲角色製作和 CG 技術的發展,越是現代的圖片,細節越豐富,如陰影和頭髮。所以作者捨棄了 2005 年之前的全部數據,並過濾掉分辨率低於 128*128 的圖像,用剩下的 31255 張高質量圖像進行訓練。

AI 自动生成二次元妹子?或将替代插画师部分工作

二、模型結構

作者採用了今年 5 月份發表的 DRAGAN 模型(https://arxiv.org/pdf/1705.07215.pdf),這種模型所使用的計算量相對較少,收斂較快而且能夠產生更穩定的結果。而在優化生成器的過程中,受 ACGAN 的啟發,不僅向生成器提供了標籤數據,連「噪聲」數據也一併提供,之後再為判別器增加多標籤分類功能。

下面展示一下效果——

AI 自动生成二次元妹子?或将替代插画师部分工作

AI 自动生成二次元妹子?或将替代插画师部分工作

雖然訓練出的模型大多數時候都比較好,但該模型仍然存在一些缺點。問題仍出在數據集中,由於訓練數據中各個屬性(髮色、髮型、眼鏡、帽子等)的數量分佈不均勻,某些屬性的生成並不理想(例如眼鏡和帽子常常不能生成),如果將某些罕見的屬性組合,生成的圖片甚至會崩潰(例如帽子+眼鏡)。也許當增加數據集的數量,訓練出的模型生成圖片質量可以進一步提高。雷鋒網認為,按照此趨勢 AI 或許在不久將替代掉插畫師的一部分工作。

訪問網站:MakeGirls.moe(已有訓練好的模型,打開就可以嘗試生成)

查看論文:https://makegirlsmoe.github.io/assets/pdf/technical_report.pdf

Github:make.girls.moe(目前只有網站的 js 原始碼,看介紹訓練模型的代碼會在近期放出)

本文參考了:AI 可能真的要代替插畫師了……

(本文經合作夥伴 雷鋒網 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈 AI 自動生成二次元妹子?或將替代插畫師部分工作 〉。首圖來源:Free-Photos , CC Licensed)

延伸閱讀

李開復:未來 50% 工作將被 AI 取代,「人工智慧時代」到底應該學些什麼?
人類玩家血流成河!最反 AI 的馬斯克,開發稱霸《Dota 2》的無敵 AI
我這不是來抄了嗎?「記者快抄」:PTT 創世神的 AI Labs 推出最新自動寫稿機器人


我們正在找夥伴!

2019 年我們的團隊正在大舉擴張,需要你的加入跟我們一起找出台灣創新原動力! 我們正在徵 《採訪社群編輯》、《助理編輯》,詳細職缺與應徵辦法 請點我

點關鍵字看更多相關文章: