【為什麼我們選擇這篇文章】儘管 Deepfake 這樣的技術評價兩極,但人們對新科技的追求與好奇心讓 Github 上仍不斷有新的開源專案出現,並且越來越容易使用。可以想像未來在 TikTok 等年輕人常用的影音平台上,這種深偽技術創作出的影片可能會越來越多。Deepfake 只會越來越頻繁出現,這項技術未來將如何發展,端看我們如何使用了。(責任編輯:呂威逸)
本文經 AI 新媒體量子位(公眾號 ID:QbitAI)授權轉載,轉載請連繫出處
作者:量子位
有沒有想過讓蒙娜麗莎跟著你的表情動,來一番親切的交流?
Aliaksandr 的一階運動模型(First Order Motion Model)可以辦到,但是實現過程非常複雜且繁瑣。
一階運動模型功能強大,可以在未經訓練的數據集上對圖像和影片進行特效生成,但代價是安裝配置比較繁瑣。
能不能簡單一點,再簡單一點?
印度一位工程師阿南德·帕瓦拉(Anand Pawara)設計了基於 OpenCV 實現的同步動畫特效。
畢竟 OpenCV 是成名已久的跨平台視覺庫,是電腦視覺領域的標準庫。
專案中相關的人臉識別、動作識別和運動追蹤,均在 OpenCV 庫中提供支援。
幾天前,阿南德在 GitHub 上開源了完整程式碼,並給出實現具體過程。
走過路過,不要錯過。
編按:以下附上原作者的教學影片
安裝過程
1、安裝依賴模組
安裝依賴模組:
pip install -r requirements.txt
安装 pytorch 1.0.0:
pip install torch===1.0.0 torchvision===0.2.1 -f https://download.pytorch.org/whl/cu100/torch_stable.html
2、下載配置文件(如果不能下載,文件連結在文末)
gdown —id 1wCzJP1XJNB04vEORZvPjNz6drkXm5AUK
3、運行程式
運行文件:
python image_animation.py -i path_to_input_file -c path_to_checkpoint
針對攝像頭的同步特效生成:
python .\image_animation.py -i .\Inputs\Monalisa.png -c .\checkpoints\vox-cpk.pth.tar Run application from video file : python image_animation.py -i path_to_input_file -c path_to_checkpoint -v path_to_video_file
針對既有影片的特效生成:
python .\image_animation.py -i .\Inputs\Monalisa.png -c .\checkpoints\vox-cpk.pth.tar -v .\video_input\test1.mp4
如果你想上手試試,只需要調整相關配置文件即可。
模型分為兩種使用模式,一種是較為常規的導入影片,另外一種就是同步生成影片特效。
但是,請注意,一定要使用 pytorch 1.0.0 版本,因為更高的版本在後端依賴的一階模型上存在著問題。
按照作者的後續計劃,會推出客戶端程式,並且會增加假聲(deepfake voice)功能。
立足 OpenCV 的優化
阿南德所做的工作是簡化現有的一階運動模型(First Order Motion Model),使用 OpenCV 對影片進行特效生成。
專案的後端支援由 OpenCV 庫完成,避免使用複雜的模型,降低使用門檻。
按照作者觀點,使用這個模型只需要對一類數據集進行訓練後,便可應用到對其全部事物上去,即具有較好的泛化能力。
不同於原一階模型的多個數據集測試效果,現在阿南德同步動態特效模型還只在人臉數據集上進行測試,後續後持續增加其他數據集。
這個模型的特點是易用,配置非常簡單,基本可以開箱即用,即使是訓練自己的數據集也會比較簡單。
因為立足於對現有資源進行最佳化配置,操作簡易,功能強大。
當然,簡單也會帶來問題,比如現在數據集較為單一,針對的主要是人臉數據集。
此外,對人臉的輪廓識別效果還不那麼令人滿意,需要加以改造。
作者簡介
此專案的作者阿南德·帕瓦拉(Anand Pawara)是印度 AvenDATA 公司的一名深度學習工程師,現居孟買。
繁瑣的工作自動化,大幅度降低上手的難度。
完整實現過程連結在下面,如果有興趣,歡迎自己去試試喲~
編按:此外,小編也找到 Github 上面另一位作者用一階運動模型設計出的另一個 Deepfake 技術,輕鬆用這個技術讓一群冰與火之歌的角色學川普講話,真的「模仿」得超像啊!
(本文經合作夥伴 量子位 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈你动、蒙娜丽莎跟着一起动,OpenCV 这么用,表情口型造假更难防了 〉;首圖來源:Github 截圖)
你可能有興趣
- 【頭貼一秒變名畫!】日本大叔從零開始學 AI 並自架「肖像生成網」,10 天訪客破百萬
- 【我只是照『老闆』的話做】跨國犯罪分子用 Deepfake 生成老闆語音,詐騙近台幣 729 萬
- 【Deepfake 入侵視訊會議】工程師推出最新假冒馬斯克濾鏡,Github 上已開源