2D 圖片變立體只要 3 秒!Adobe 超神新功能出自一位「實習生」之手

adobe 修圖 Photoshop ps

【為什麼我們要挑選這篇文章】超美畫面立刻活生生移動起來,好像在拍電影!這個超神功能究竟背後怎麼做成?應該不會只是畫面的移動與縮放而已吧。

開箱 Adobe 前實習生一手打造,2D 圖片 3 秒變立體的過程!(責任編輯:陳伯安)

「《科技報橘》徵才中!跟我們一起定位台灣產業創新力 >> 詳細職缺訊息 
快將你的履歷自傳寄至  [email protected]

本文經 AI 新媒體量子位(公眾號 ID:QbitAI)授權轉載,轉載請聯繫出處

作者:量子位/魚羊 栗子 乾明

你離礁石越來越近,彷彿還有一秒就要觸礁了。

不過這張動圖,並不是從人類拍攝的影片裡截下來的。

Adobe 新功能:2D 圖變 3D 只要三秒

是 Adobe 放出的新魔法,把這張靜態照片變出了立體感,整個過程只需要 2-3 秒:

這種特效處理,常常用於紀錄片等影片的後期製作,名為 Ken Burns Effect。

原本只是 2D 縮放(下圖左),通過對靜止圖像的平移和縮放,來產生視差,從而實現動畫效果。

但 Adobe 這種 3D 效果(上圖右),不僅有平移和縮放,還有視角轉換,給人更沈浸的體驗。

想要實現,需要專業的設計師在 Photoshop 等軟體中花費數個小時時間。

而且製作成本也很高,一張照片大概需要 40 — 50 美元(約新台幣 1200 – 1500)。

Adobe 也登上了 ACM 主辦的計算機圖形學頂級期刊 TOG,引發了大量討論與關注。不乏有激動的網友給出「三連」:

「Incredible. Amazing. Holy shit.」

不只是簡單的縮放而已

透視原理決定,前景比背景的移動/縮放更劇烈。

所以,前景移動的時候,背景除了移動,也要跟著修復。

AI 的背景修復十分自然,手法明顯比「前輩」更高超:

△形狀有點奇怪的教堂

並且,不論背景簡單複雜,AI 都不怕。

比如,走到沙發跟前,沙發就擋住了後面窗戶外的草地:

背景的色彩和結構都很複雜,但 AI 並沒有蒙蔽。

如果你覺得,剛才的視角變化只是由遠及近,不夠複雜。那就看一眼這古老的台階吧:

彷彿你打算走上台階,所以正在朝著它的方向,慢慢轉身。

除此之外,一條古老的走廊,你置身其中,好像正在從上仰的視角,變得平視前方。

當然,不只是風景,人像也可以處理。

比如,草地上的新娘,可以遠觀,也可以近距離欣賞:

就像開頭說的那樣,所有的變換,只靠一張靜態圖來完成。

這自然不是普通的縮放可以做到的:

△ 左為普通縮放,右為 3D 魔法

所以,這技術是怎麼做到的?

用單個圖像合成逼真的相機移動的效果要解決兩個基本問題。

首先,要設置一個新的相機位置,合成新圖,並且需要準確地恢復原始圖像的場景幾何結構。

其次,根據預測的場景幾何結構,要將新視圖在連續的時間線上合成,這就涉及到去遮擋這樣的圖像修復手段。

研究人員們用了三個神經網路來構建處理框架。

用以訓練的數據集是用計算機生成的。研究人員從 UE4 Marketplace2 收集了 32 種虛擬環境,用虛擬攝像機在 32 個環境中捕獲了 134,041 個場景,包括室內場景,城市場景,鄉村場景和自然場景。每個場景包含 4 個視圖,每個視圖都包含分辨率為 512×512 像素的顏色、深度和法線貼圖。

指定一張高分辨率圖像,首先根據其低分辨率版本估計粗糙深度。這一步由 VGG-19 來實現,根據 VGG-19 提取的語義訊息指導深度估計網路的訓練,並用具有 Ground truth 的計算機合成數據集進行監督。如此,就能提取出原始圖像的深度圖。

第二個網路,是 Mask R-CNN。為了避免語義失真,平行於 VGG-19,用 Mask R-CNN 對輸入的高分辨率圖像進行分割,而後用分割的結果來對深度圖進行調整,以確保圖中的每個對象都映射到一個相干平面上。

最後,利用深度細化網路,參考輸入的高分辨率圖像,對提取出的粗糙深度進行上採樣,確保深度邊界更加精確。

之所以要採用深度細化網路,是因為裁切對象的過程中,對象很可能在邊界處被撕開。

有了從輸入圖像獲得的點雲和深度圖(注:點雲指通過 3D 掃描得到的物品外觀表面的點數據集合),就可以渲染連續的新視圖了。

不過,這裡又會出現一個新的問題——當虛擬攝像機向前移動的時候,對象本身會產生裂隙(下圖中高塔右側像被網格切開了)。

為瞭解決這個問題,研究人員採取了結合上下文感知修復的方法。

結合上下文訊息能夠產生更高質量的合成視圖。上下文訊息划定了相應像素在輸入圖像中位置的鄰域,因此點雲中的每個點都可以利用上下文訊息來進行擴展。

具體而言,第一步,是進行顏色和深度圖像修復,以從不完整的渲染中恢復出完整的新視圖,其中每個像素都包含顏色,深度和上下文訊息。

而後,利用圖像修復深度,將圖像修復顏色映射到點雲中新的色調點。

重復這一過程,直到點雲充分擴展,填補空隙,可以實時地呈現完整且連續的畫面。

「用過都說好」

研究人員覺得好,那不算好。新方法效果如何,還是用戶說了算。

邀請用戶來評斷成果質量

於是,研究團隊搞出了一個「非正式用戶調研」。他們在 YouTube 上蒐集了 30 個人類創造的 3D Ken Burns 影片,將其分成「風景」,「肖像」,「室內」,「人造室外環境」四組,每組隨機抽取三個影片作為樣本。

8 位志願者參與到了這個測試之中。團隊為每個志願者分配了一張靜態圖,並提供了人類作品作為參考,要求志願者使用新方法和 Adobe After Effects 模板、移動 App Viewmee 這兩種 Ken Burns 製作工具創作類似的效果。

志願者會依據自己的主觀意見評價每種工具的可用性和質量。

在志願者們看來,不論是從效果上,還是易用性上,Adobe 的這個新工具顯然好得多。

開發者只是一介 Adobe 實習生

這項研究的第一作者,是一名波特蘭州立大學的博士生,名為 Simon Niklaus,研究方向為電腦視覺與深度學習。

他在 Adobe Research 實習的時候完成了這項工作,目前他正在 Google 實習。

他的博士生導師,名為 Feng Liu,博士畢業於威斯康辛大學麥迪遜分校,現在是波特蘭州立大學的助理教授,也是這一研究的做作者之一。

此外,這項研究還有另外兩名作者,分別是 Long Mai 和 Jimei Yang,都是 Adobe 的研究科學家。

Simon Niklaus 在 Hacker News 上與網友互動時也談到了研究的開源計劃。

他說,自己計劃公佈程式碼以及數據集,但還沒有得到批准。因為這項工作是「實習生」完成的, Adobe 在開源方面都比較大度。

當然,這也無法排除他們商業化的可能性,如果你對這一研究感興趣,可以先看下研究論文:

3D Ken Burns Effect from a Single Image 傳送門《點我

Ken Burns Effect 與賈伯斯的小故事

關於 Ken Burns Effect,也有一段賈伯斯的往事。

為了將這一特效用到蘋果中, 賈伯斯還專程聯繫了 Ken Burns,希望能夠得到他的許可 。(TO 編按:Ken Burns Effect 為一個後製的特效,以著名剪接師 Ken Burns 命名,而賈伯斯為了將效果放入 iPhone,曾致電聯繫尋求同意。)

一開始,Burns 是拒絕的,他不想自己的名字被商業化。

但後來,Burns 透露,他同意了賈伯斯的請求。

這中間到底發生了什麼,也沒有太多訊息傳遞出來。

現在,這一效應在 iPhone 中應用非常廣泛,比如照片的「回憶」功能,就能夠自動利用這一特效,把一張張照片製作成影片。

這也給 Burns 帶來了很多「麻煩」。

他說,有時候自己走在街上,會有陌生人衝到他面前,說自己如何在 iPhone 上使用它,或者是問他問題。

對於這種情況,他說自己都是盡力快速逃離現場。跟明星遇上粉絲差不多。

(本文經 AI 新媒體 量子位 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈2D 图片 3 秒变立体,变换视角流畅自然:Adobe 实习生的智能景深算法,登上顶级期刊 〉,首圖來源:Pxhere, CC Licensed。)

你可能感興趣

Adobe 全新反 PS 工具!一秒標出修圖位置,還可以直接「打回原形」

Adobe 如何轉型雲端服務,讓公司市值六年翻六倍?

網友大哉問:我今年 28 歲,應該從普通工程師轉行 AI 工程師嗎?

超省時 GitHub 新功能!點選函數就能看定義,記憶差的工程師不用再苦苦尋找了


《TO》品牌活動「CONNECT」深度專題重磅更新! 

《TO》年度品牌活動 CONNECT 2020「5G 新經濟」新專題上線! 看台灣新創如何用 5G 翻轉各產業的傳統想像,打造意想不到的創新服務! 馬上報名 獲取最新深度報導。

點關鍵字看更多相關文章: