【為什麼我們要挑選這篇文章】在今年 4 月的發表會中，NVIDIA 用 Omniverse 做出了一個虛擬黃仁勳，其逼真的外表與動作，騙了全世界長達 3 個月。為什麼 NVIDIA 要這樣做？又為什麼到了現在才公開真相？（責任編輯：郭家宏）
本文經 AI 新媒體量子位（公眾號 ID：QbitAI）授權轉載，轉載請連繫出處
作者：量子位
NVIDIA 今年 4 月份那場發表會，你曾看出什麼不對勁的地方嗎？
你看，你仔細看：
剛剛，在電腦圖形學頂會 SIGGRAPH 2021 上，NVIDIA 透過一部紀錄片自曝：那場發表會內藏玄機。
你看到了老黃，但也沒完全看到。因為，這是一場當面「造假」的發表會。
畫面中老黃的廚房、標誌性的皮衣，甚至他的表情、動作、頭髮，全都是合成出來的。
這是一場開在元宇宙裡的發表會，發表演講的是 NVIDIA CEO 黃仁勛的數位人替身。
彼時彼刻，恰如此時此刻。
黃老闆真給自己找了個替身。
沒錯，全世界都被黃仁勳騙了！
整整三個多月誰也沒發現。
而且不光他自己，大到廚房的傢俱抽屜：
小到廚房裡擺放的金屬罐、甚至是老黃的樂高小人，都是被渲染出來的：
知道真相的我就如同導演李安：
這一切是怎麼發生的呢？
NVIDIA 怎麼做出假的黃仁勳？
數位人想要以假亂真，一定要做到細節豐富。
因為人腦專門有一套系統用於識別同類，有一點不對勁之處都會在幾毫秒之內引起警覺。
所以要造假的老黃，得到攝影棚裡拍上幾千張各種角度的照片，通過一套 3D 掃瞄，把他臉上的每道褶子都採整合數據。
為了讓效果更逼真，他那件拉風的皮衣還得單獨拍。
用得到的數據對老黃做 3D 建模，為了方便後期編輯，先要把他的頭髮剃光！
具體到手指的細節，也需要非常仔細地調整：
建模完成好，下一步是讓老黃動起來。
不過這裡就不需要費時費力地進行手工操作了，AI 已經能夠勝任。
就像這樣，用上最新的 Audio2Face 模型，AI 可以隨著語音播放自動調整模型的面部動作表情。
動作是沒問題了，但是皮膚材質看起來還是不夠好，和發表會上的效果沒法比。
這就需要另一個 AI，用一張老黃的照片就能配上動作合成到動畫裡去。
身體動作就不用老黃自己採集了，而是找來專業的動作捕捉演員，畢竟 CEO 肯定時間有限。
這樣所有的前期準備工作就完成了，接下來是渲染。
看看這個自研的 Omniverse RTX 渲染器：
就真的是字面意義上的即時光線追蹤，移動視角，調整光線都立刻完成更新。
這背後具體用了多少塊顯卡，NVIDIA 倒是沒具體說，總之是多 GPU + 雲端計算才能搞定。
這場虛擬發表會，總共有 34 個 3D 美術師和 15 個軟體研究人員參與。
他們一共做了 21 個版本的數位老黃，從中選出最像的那個，做出了這場精采的發表會。
還真是把全世界都騙過了。
NVIDIA 數位孿生技術，應用於產線優化與自駕車訓練
上面這些「造假」的效果，背後都來自於一個名為 Omniverse 的平台。
沒錯，NVIDIA 研發的電腦圖形學（CG）技術太多，多到已經能整合成一個平台了。
從 CG 到優化技術，從工具包到引擎，Omniverse 都有提供。
光看 Omniverse 所承載的 CG 技術，其實遠不止這次發表會用到的「造假」效果，它從渲染、材質，到光影、照明（光追、路徑追蹤等）都有涉及，還會不斷更新相關技術。
原本只是一紙論文的技術，可能不久後就被 NVIDIA 放到了Omniverse上，不少都是與 AI 相關的技術：
例如，缺損像素修補、插幀，已經被用到老照片和古早影片的修復中；還有基於 GAN 生成超高解析度圖像、直接把 2D 照片渲染成 3D 場景，都已經能直接在平台上使用。
Omniverse 上的渲染技術，究竟達到一個什麼樣的水準？
據 NVIDIA 表示，平台現在可以即時實現電影級別的畫質渲染。
以渲染中非常重要的光源模擬為例，我們都知道，真實世界的光源多種多樣，我們看到的其實是各種光照下的景物。
傳統的電腦渲染，至少需要將光源疊代 30+ 次，才能達到逼真到毛髮的效果，即使用最先進的機器渲染，每一幀也基本都需要幾十秒。
用上 Neural Radiance Cache 等技術後，結合 RTX GPU 硬體和 Omniverse 平台，光源渲染直接就能即時進行。
例如，這次 GTC 大會上對於主機的渲染，就採用了 Omniverse 平台的技術：
除此之外，包括 LOD 自動生成等技術也能用 AI 節約計算量，同時保證足夠好的渲染效果。
不止是「以假亂真」的渲染效果，Omniverse 還能完成更多意想不到的 AI 技術。
NVIDIA 利用數位人即時渲染技術，在 Omniverse 中就能建構更逼真的、更符合物理定律的人類模型。
例如，幫助車輛、自主機器、機器人等更好地識別，真實的人類是什麼樣的，從而更好地設計工廠（圖中為數位人）：
這是 NVIDIA 在 Omniverse 上更新了另一項數位孿生技術（Issac Digital Twin），將機器人 AI 放到虛擬環境中訓練完成後，可以直接部署到真實環境中。
目前，BMW 已經用 NVIDIA 的數位孿生技術，對數位工廠的生產流程進行了優化，效率直接拉高 30%。
看看這個渲染的速度：
具體渲染效果來看，連光照和細節都能被模擬出來。
不止是 BMW 工廠，包括機器人仿真、自駕車仿真在內的一系列技術，也會用到 Omniverse 平台。
例如，自動駕駛和工廠的 AI 檢測可能存在行人誤判，將街頭、公告張貼的人臉圖片識別為行人，導致事故發生。將逼真的數位人和渲染等技術結合後，就能在仿真環境訓練下模擬行人，讓 AI 學會判斷圖片和真人的區別。
從效果到效率，NVIDIA 都直接刷新了人們對「元宇宙」的認知。
Omniverse 是打造「元宇宙」的關鍵
號稱「永遠即時在線」的 Omniverse，是 NVIDIA 打造元宇宙的關鍵。
它不僅能跨平台支持所有用戶的物理渲染、模擬和仿真，還能讓創作者、審核者在任何地方，只透過軟體應用，就在一個共享的虛擬世界中進行合作。
畢竟，Omniverse 本身就建構於通用場景描述（Universal Scene Description，簡稱 USD）之上。
這是一種開源 3D 場景數據標準和文件格式，USD 之於 Omniverse 就相當於 HTML 之於網路。
USD 由皮克斯開發，現在成了 NVIDIA、皮克斯和蘋果共同推廣的產業標準。USD 注重非破壞性便捷和跨軟體協作，是 x86、Arm 平台，以及各種軟體都程能夠統一到 Omniverse 平台上的基礎。
目前，全球已經有 500 多家公司的專業人士上手使用了 Omniverse。這其中包括美國航天航空製造商洛克希德馬丁公司（用它做山火模擬）、曾榮獲艾美獎的《南方公園》工作室等知名企業。
中國央視的《飛向月球》太空紀錄片，也同樣有用到 Omniverse，尤其是裡面的數位人：
從 Omniverse 硬體和軟體的支持情況來看，NVIDIA 這一次更新也真的是誠意滿滿。
「將數百萬新用戶帶入元宇宙世界」，真的不是說說而已。
首先，Omniverse 這一次整合了 Blender 和 Adobe 來實現大規模擴展。
Blender 是全球領先的開源 3D 動畫工具，他們將在 Blender 3.0 版本加入 USD 支持，使用戶能夠在 Blender 中直接訪問 Omniverse 製作流程，這無疑會讓創作者們的效率直線 up。
Adobe 就不用多介紹了，家喻戶曉。
現在，他們正在和 NVIDIA 合作開發一個為 Omniverse 提供 Substance Material 支持的 Substance 3D 外掛程式。
使用這個外掛，可以讓用戶在 Omniverse 中直接調整 Substance 3D 中的素材。
這能為用戶在改稿過程中，節省導出、重新上傳的時間。
與此同時，NVIDIA 還發佈了一個人工智慧 3D 建模擴展：GANverse3D–Image2Car。
它可以讓 AI 進行 3D 建模變得更加容易。
只需透過一張汽車照片，GANverse3D 就能建立出一個虛擬的 3D 模型。
這無疑讓 3D 畫師們建立場景變得更輕鬆了。
其次，在硬體上，NVIDIA RTX 和 GeForce RTX 系列都支持 Omniverse。
NVIDIA 同時還發佈了小巧、節能的 RTX A2000，它適用於各種標準和小型工作站，可以說是專為創作者的日常工作而設計。
NVIDIA 表示，A2000 將會成為數百萬設計師進入元宇宙的門戶。
去年 12 月發佈公測版以來，已經有超過 5 萬名個人創作者下載了 Omniverse。
而 Omniverse 的生態系統也在持續壯大，Adobe、Autodesk、Bentley Systems 等多家軟體公司都已加入 Omniverse 的生態圈。
現在，NVIDIA Omniverse 企業版的訪問名額已經「開搶」了，華碩、BOXX Technologies、戴爾、惠普、聯想、必恩威和超微等平台上都能使用。
不知道以後 NVIDIA 的發表會還能不能當真。
反正老黃的臉是一臉真誠。
雖然很逼真，但假黃仁勳還是有破綻
回到 4 月那場發表會。我們在 NVIDIA 自曝紀錄片中，隱約讀出另一個事實，當時的老黃是真真假假，虛實交替的。
那麼，哪一段是真？哪一段是假？我們重新去回看了一遍 4 月份那場發表會。
果不其然，我們發現了一些不對勁的地方。（注意內搭衣服領口和皮衣）
這是老黃第一次在發佈表上出現時候的樣子。看上去問題不大是吧？OK，接著往下看：
這是剛剛那張圖 4 分鐘之後，老黃的樣子。注意到什麼不一樣的地方了嗎？
請注意，他身上忽然間變成了另外一件皮衣，裡面穿的也從 Polo 衫變成了圓領 T 恤。
如果你再仔細一點看，你會發現他廚房有些物品的放置也變了。
還有個最直觀的區別：老黃本人，還有他背後的廚房，怎麼好像解析度突然提上去了（不是我網路問題啊）？
高到腦門上的抬頭紋都多了幾條。
這還沒完。
到發表會後半段，老黃穿著同一件皮衣，可是裡面的衣服又換回了 Polo 衫 。
過了一會，他搖身一變，把皮衣和 Polo 衫全換了。
好傢伙，你這在玩排列組合嗎？
真搞不懂，老黃來來回回在這換裝，是為了啥？除非這是 NVIDIA 故意的。
於是，我們拿著放大鏡去看了影片，終於注意到，這段老黃手上的動作，有明顯的不自然。而且畫面也是糊的。
懂了！
總之，一段影片騙了全世界 3 個月，不得不說，黃老闆真是又高又硬。
贗品是個好東西！
NVIDIA 紀錄片
face-vid2vid 相關論文
參考資料：NVIDIA、Venture Beat、YouTube
延伸閱讀
• 【輝達智慧醫療夢】NVIDIA 攜手 AI 新創薛丁格，掀起製藥產業新革命！
• Graphcore 有望成 NVIDIA 頭號勁敵！憑什麼成台積電首個 3 奈米客戶？
• 【半導體世紀收購案卡關】英國有意阻止 NVIDIA 收購 ARM 的原因是什麼？
（本文經 AI 新媒體量子位 授權轉載，並同意 TechOrange 編寫導讀與修訂標題，原文標題為〈黄仁勋骗过了全世界，三个多月都没人发觉！皮衣是假的厨房是假的，连他自己都是假的〉。首圖來源：NVIDIA）
