【Deepfake 可以同步模仿了】印度工程師開源程式碼,讓蒙娜麗莎學你擠眉弄眼

【為什麼我們選擇這篇文章】儘管 Deepfake 這樣的技術評價兩極,但人們對新科技的追求與好奇心讓 Github 上仍不斷有新的開源專案出現,並且越來越容易使用。可以想像未來在 TikTok 等年輕人常用的影音平台上,這種深偽技術創作出的影片可能會越來越多。Deepfake 只會越來越頻繁出現,這項技術未來將如何發展,端看我們如何使用了。(責任編輯:呂威逸)

本文經 AI 新媒體量子位(公眾號 ID:QbitAI)授權轉載,轉載請連繫出處

作者:量子位

有沒有想過讓蒙娜麗莎跟著你的表情動,來一番親切的交流?

Aliaksandr 的一階運動模型(First Order Motion Model)可以辦到,但是實現過程非常複雜且繁瑣。

一階運動模型功能強大,可以在未經訓練的數據集上對圖像和影片進行特效生成,但代價是安裝配置比較繁瑣。

能不能簡單一點,再簡單一點?

印度一位工程師阿南德·帕瓦拉(Anand Pawara)設計了基於 OpenCV 實現的同步動畫特效。

畢竟 OpenCV 是成名已久的跨平台視覺庫,是電腦視覺領域的標準庫。

專案中相關的人臉識別、動作識別和運動追蹤,均在 OpenCV 庫中提供支援。

幾天前,阿南德在 GitHub 上開源了完整程式碼,並給出實現具體過程。

走過路過,不要錯過。

編按:以下附上原作者的教學影片

安裝過程

1、安裝依賴模組

安裝依賴模組:

pip install -r requirements.txt

安装 pytorch 1.0.0:

pip install torch===1.0.0 torchvision===0.2.1 -f https://download.pytorch.org/whl/cu100/torch_stable.html

2、下載配置文件(如果不能下載,文件連結在文末)

gdown —id 1wCzJP1XJNB04vEORZvPjNz6drkXm5AUK

3、運行程式

運行文件:

python image_animation.py -i path_to_input_file -c path_to_checkpoint

針對攝像頭的同步特效生成:

python .\image_animation.py -i .\Inputs\Monalisa.png -c .\checkpoints\vox-cpk.pth.tar Run application from video file : python image_animation.py -i path_to_input_file -c path_to_checkpoint -v path_to_video_file

針對既有影片的特效生成:

python .\image_animation.py -i .\Inputs\Monalisa.png -c .\checkpoints\vox-cpk.pth.tar -v .\video_input\test1.mp4

如果你想上手試試,只需要調整相關配置文件即可。

模型分為兩種使用模式,一種是較為常規的導入影片,另外一種就是同步生成影片特效。

但是,請注意,一定要使用 pytorch 1.0.0 版本,因為更高的版本在後端依賴的一階模型上存在著問題。

按照作者的後續計劃,會推出客戶端程式,並且會增加假聲(deepfake voice)功能。

立足 OpenCV 的優化

阿南德所做的工作是簡化現有的一階運動模型(First Order Motion Model),使用 OpenCV 對影片進行特效生成。

專案的後端支援由 OpenCV 庫完成,避免使用複雜的模型,降低使用門檻。

按照作者觀點,使用這個模型只需要對一類數據集進行訓練後,便可應用到對其全部事物上去,即具有較好的泛化能力。

不同於原一階模型的多個數據集測試效果,現在阿南德同步動態特效模型還只在人臉數據集上進行測試,後續後持續增加其他數據集。

這個模型的特點是易用,配置非常簡單,基本可以開箱即用,即使是訓練自己的數據集也會比較簡單。

因為立足於對現有資源進行最佳化配置,操作簡易,功能強大。

當然,簡單也會帶來問題,比如現在數據集較為單一,針對的主要是人臉數據集。

此外,對人臉的輪廓識別效果還不那麼令人滿意,需要加以改造。

作者簡介

此專案的作者阿南德·帕瓦拉(Anand Pawara)是印度 AvenDATA 公司的一名深度學習工程師,現居孟買。

繁瑣的工作自動化,大幅度降低上手的難度。

完整實現過程連結在下面,如果有興趣,歡迎自己去試試喲~

參考連結: Github微博

編按:此外,小編也找到 Github 上面另一位作者用一階運動模型設計出的另一個 Deepfake 技術,輕鬆用這個技術讓一群冰與火之歌的角色學川普講話,真的「模仿」得超像啊!

(本文經合作夥伴 量子位 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈你动、蒙娜丽莎跟着一起动,OpenCV 这么用,表情口型造假更难防了 〉;首圖來源:Github 截圖)

你可能有興趣


科技報橘 LinkedIn 上線!

最新科技產業動態、技術新突破、專業職能技巧提升 ....... 鎖定 TO  LinkedIn 專業品牌,提升職能與產業 Know-how,躋身產業菁英之列 https://www.linkedin.com/showcase/techorange

點關鍵字看更多相關文章: