【Deepfake 可以同步模仿了】印度工程師開源程式碼，讓蒙娜麗莎學你擠眉弄眼

Posted on
TO 精選觀點 TO 精選觀點

【為什麼我們選擇這篇文章】儘管 Deepfake 這樣的技術評價兩極，但人們對新科技的追求與好奇心讓 Github 上仍不斷有新的開源專案出現，並且越來越容易使用。可以想像未來在 TikTok 等年輕人常用的影音平台上，這種深偽技術創作出的影片可能會越來越多。Deepfake 只會越來越頻繁出現，這項技術未來將如何發展，端看我們如何使用了。（責任編輯：呂威逸）

本文經 AI 新媒體量子位（公眾號 ID：QbitAI）授權轉載，轉載請連繫出處

作者：量子位

有沒有想過讓蒙娜麗莎跟著你的表情動，來一番親切的交流？

Aliaksandr 的一階運動模型（First Order Motion Model）可以辦到，但是實現過程非常複雜且繁瑣。

一階運動模型功能強大，可以在未經訓練的數據集上對圖像和影片進行特效生成，但代價是安裝配置比較繁瑣。

能不能簡單一點，再簡單一點？

印度一位工程師阿南德·帕瓦拉（Anand Pawara）設計了基於 OpenCV 實現的同步動畫特效。

畢竟 OpenCV 是成名已久的跨平台視覺庫，是電腦視覺領域的標準庫。

專案中相關的人臉識別、動作識別和運動追蹤，均在 OpenCV 庫中提供支援。

幾天前，阿南德在 GitHub 上開源了完整程式碼，並給出實現具體過程。

走過路過，不要錯過。

編按：以下附上原作者的教學影片

安裝過程

1、安裝依賴模組

安裝依賴模組：

pip install -r requirements.txt

安装 pytorch 1.0.0：

pip install torch===1.0.0 torchvision===0.2.1 -f https://download.pytorch.org/whl/cu100/torch_stable.html

2、下載配置文件（如果不能下載，文件連結在文末）

gdown —id 1wCzJP1XJNB04vEORZvPjNz6drkXm5AUK

3、運行程式

運行文件：

python image_animation.py -i path_to_input_file -c path_to_checkpoint

針對攝像頭的同步特效生成：

python .\image_animation.py -i .\Inputs\Monalisa.png -c .\checkpoints\vox-cpk.pth.tar Run application from video file : python image_animation.py -i path_to_input_file -c path_to_checkpoint -v path_to_video_file

針對既有影片的特效生成：

python .\image_animation.py -i .\Inputs\Monalisa.png -c .\checkpoints\vox-cpk.pth.tar -v .\video_input\test1.mp4

如果你想上手試試，只需要調整相關配置文件即可。

模型分為兩種使用模式，一種是較為常規的導入影片，另外一種就是同步生成影片特效。

但是，請注意，一定要使用 pytorch 1.0.0 版本，因為更高的版本在後端依賴的一階模型上存在著問題。

按照作者的後續計劃，會推出客戶端程式，並且會增加假聲（deepfake voice）功能。

立足 OpenCV 的優化

阿南德所做的工作是簡化現有的一階運動模型（First Order Motion Model），使用 OpenCV 對影片進行特效生成。

專案的後端支援由 OpenCV 庫完成，避免使用複雜的模型，降低使用門檻。

按照作者觀點，使用這個模型只需要對一類數據集進行訓練後，便可應用到對其全部事物上去，即具有較好的泛化能力。

不同於原一階模型的多個數據集測試效果，現在阿南德同步動態特效模型還只在人臉數據集上進行測試，後續後持續增加其他數據集。

這個模型的特點是易用，配置非常簡單，基本可以開箱即用，即使是訓練自己的數據集也會比較簡單。

因為立足於對現有資源進行最佳化配置，操作簡易，功能強大。

當然，簡單也會帶來問題，比如現在數據集較為單一，針對的主要是人臉數據集。

此外，對人臉的輪廓識別效果還不那麼令人滿意，需要加以改造。

作者簡介

此專案的作者阿南德·帕瓦拉（Anand Pawara）是印度 AvenDATA 公司的一名深度學習工程師，現居孟買。

繁瑣的工作自動化，大幅度降低上手的難度。

完整實現過程連結在下面，如果有興趣，歡迎自己去試試喲～

參考連結： Github、微博

編按：此外，小編也找到 Github 上面另一位作者用一階運動模型設計出的另一個 Deepfake 技術，輕鬆用這個技術讓一群冰與火之歌的角色學川普講話，真的「模仿」得超像啊！

（本文經合作夥伴 量子位 授權轉載，並同意 TechOrange 編寫導讀與修訂標題，原文標題為 〈你动、蒙娜丽莎跟着一起动，OpenCV 这么用，表情口型造假更难防了 〉；首圖來源：Github 截圖）

你可能有興趣

點關鍵字看更多相關文章：