童年的懷舊動漫和卡通仍相當經典,許多人仍會在網路上重溫過去的美好時光。但是已經習慣 1080p 或甚至 4k 畫質的現代人,看到以前只有 360p 或甚至更低的影片,感覺總有些不舒服。 近日 GitHub 熱門榜上出現一個專為動漫影像而生的畫質修復模型,竟能夠將動漫一秒變高畫質!一起看看到底是什麼黑科技吧!

AI 讓懷舊影片一秒變高畫質

由中國網路影片平台 Bilibili 官方在 Github 上發布的 Real-CUGAN 模型,是基於圖片修復與降噪神器 Waiuf2x 再加上騰訊去年推出的 RealESRGAN 訓練程式碼的產物,並可以在 Windows 10、64位元版本以及 CUDA 10 以上運行

Waiuf2x 出自一位日本的「技術宅」,原理大概就是把二次元圖片縮小再和原圖放在一起,藉由演算法讓模型學會如何放大拉伸圖片。而 RealESRGAN 則是透過模擬高解析度影像變低分辨率的過程,讓模型能夠將一張模糊的圖片倒推出原本高畫質的樣貌

TO 推薦閱讀:【元宇宙過年片單】推薦 4 部經典動畫,原來概念都跟元宇宙有關! 

Real-CUGAN 效果到底有多好?

結合了兩者的 Real-CUGAN 模型,效果有什麼不同呢?

官方以四種不同類型的挑戰舉例說明,從左至右分別是原版、Waiuf2x 版、RealESRGAN 版以及 Real-CUGAN 版,這樣的對比圖可以明顯看出各版本的優缺點。

圖源:《偵探已死》第一集10分20秒

首先是紋理挑戰,對於背景中的材質紋理是否能完整保留,圖中以地板示範。第一關來說,各家的表現結果其實都差不多,但是 RealESRGAN 在圈起來的陰影處沒有處理好地板紋理。

圖片來源:《東之伊甸》第四集7分30秒

第二關是線條挑戰,應注意線條中心與邊緣的虛實是否有處理好。在這組對比圖中,Waiuf2x 在清晰度的表現上略遜一籌,而 RealESRGAN 雖看似表現不錯,但若將畫面放大細看,人物嘴巴和下顎處的線條沒有處理好,不是實線。

圖片來源:Real-ESRGAN官方測試樣例

而第三關的超差畫質,則應該注意畫風、雜線等。在這組對比中,可以清楚發現 Waiuf2x 的效果明顯沒有後面兩張的線條清晰;而 RealESRGAN 雖然清晰,但是角色鬍鬚、耳朵的線條是虛的,背景也有多餘的雜線出現。

圖片來源:《~闘志の華~戦國乙女2ボナ楽曲PV》第16秒

最後是景深虛化,圖中以蠟燭為後景,並刻意加入虛化特效,應儘量保留原始版本而不需特別處理。最後一關看似表現都不錯,但若放大細看,RealESRGAN 將蠟燭周圍線條處理過,而失去原本的虛化效果。

綜合以上評比來說,雖然 Real-CUGAN 未必在清晰度表現最突出,不過相對保守的處理讓其他版本出現的紋理或 AI 處理痕跡過重的問題大幅減少,反而脫穎而出成為平均表現最優秀的選手。

Real-CUGAN 也計劃持續更新,包括提升速度、簡單的 GUI、一步指定解析度功能以及自身優化效果的再升級等等。

雖然還不知道這套系統是否之後會引入 Bilibili 平台,但是現在已發佈在 Github 供下載使用,而 Waiuf2x 的程式碼也提供有興趣的大家參考。想到以後能用超高畫質重看童年經典動畫,真的是讓人好興奮啊!

本文開放合作夥伴轉載,參考資料:GitHubunwire.hkCodingNote,首圖來源:GitHub