Meta 執行長 Mark Zuckerberg 為了實現元宇宙的承諾,近日在全球媒體圓桌會議上,展示了一系列頭戴式裝置原型機。這些原型機都是專為特定用途量身打造的自訂模型,且針對配戴感受以及使用者體驗做了大量的改善,但距離上市可能還需要一段時間。

現今的 VR 頭戴式裝置雖然可以帶給人們無與倫比的 3D 視覺體驗,但這種體驗與現實世界中看到的仍有差異。與筆電、電視或手機相比,解析度較低,鏡片會讓配戴者的視角失真,且不能長時間使用。為了實現元宇宙目標,需要打造出輕量級的顯示器,並可以提供舒適又真實的觀賞體驗。

Half Dome 系列,打造更小、更輕、以及更寬廣的視野

Zuckerberg 表示,團隊在收集使用者的回饋後,便專注於縮小裝置尺寸和減輕重量,以及擴大視野。最終,他們開發出一系列名為「Half Dome」的原型,而這些原型均採用以液晶鏡片為主的全電子變焦技術,尺寸也大為縮小。藉由 Half Dome 系列,顯示系統研發團隊持續在更小的尺寸裝置上發展無縫變焦的運作。

Half Dome Zero (左一)為 2017 年用戶測試中使用。使用 Half Dome 1 (左二),團隊將視野擴大到 140 度。 對於 Half Dome 2 (右二),團隊專注於人體工學和舒適性,透過縮小頭顯的光學元件,將裝置減重 200 克。Half Dome 3 (右一)引入電子變焦,將 Half Dome 2 的所有移動零件都替換為液晶鏡片,進一步減小裝置的尺寸和重量。

失真模擬器 ( Distortion Simulator ) 複製 VR 頭戴式裝置中的失真問題

為了讓無縫變焦光學失真在 VR 中是需要被進一步解決的常見問題,無法仰賴現有的頭戴式裝置。Zuckerberg 指出,研究失真的問題耗時較長,製作用於研究這方面所需的鏡片可能需要數週或數月的時間,而且製作好鏡片後,還要花大量時間開發可正常運作的顯示系統。

為了解决這個問題,Meta 團隊製作了失真模擬器,運用虛擬物體和眼球追蹤技術,複製特定光學設計中用戶在頭戴式裝置中所見的失真情況,並使用 3D 電視技術來顯示這種失真。

現在頭戴式裝置中的校正是靜態的,但是虛擬圖像中的失真會因為觀看的角度或位置而有所變化。目前的校正限制讓 VR 看起來仍不夠真實,因為隨著視線移動,視覺中的所有東西都會跟著移動。

模擬器使用虛擬光學更準確地複製 VR 頭戴式裝置中可以看到的失真,並在類似 VR 的觀看條件下重現這些失真。這使團隊透過可重複、可靠的方式研究新的光學設計和失真校正算法,同時也無需使用實體頭戴式裝置體驗失真。

受 VR 失真問題的驅動,尤其在變焦的使用情境上,這套研究系統目前已成為設計鏡頭時的通用工具,被顯示系統研發團隊廣泛地使用在設計鏡頭上。 

Butterscotch 達到 VR 世界中的 1.0

為了讓頭戴式裝置的解析度達到視網膜級別,顯示器的解析度須提高到每度 60 像素左右,是目前標準的好幾倍。Zuckerberg 表示,為了達到這個目標,顯示系統研究團隊打造出「Butterscotch」的原型,帶來接近視網膜等級的解析度,可以讓使用者在 VR 世界中看到視力表上 1.0 的文字。

VR 進度落後是因為沉浸式視野將可用像素擴展到更大的範圍,進而降低了解析度。這限制了視覺感知的真實程度與呈現細緻度的表現,但這對通過視覺圖靈測試卻至關重要。

為了創造接近視網膜解析度的體驗,Butterscotch 團隊將視野縮小到約 Quest 2 的一半,並採用一種新的混合鏡片,可達到更高的解析度。產出的原型機雖可完美展示 VR 解析度的現有極限,但因為它又大又重,因此距離上市還有一段時間。

Butterscotch 原型 (圖片由 Meta 提供)

Starburst 可達 20,000 尼特,打造最佳 HDR 原型機

HDR 的主要衡量數據是尼特(nits),也就是顯示器的亮度。電視的最佳亮度為 10,000 尼特,反觀 VR,Quest 2 目前的最高尼特約為 100。而在穿戴式裝置的形式限制下超越這個標準,無疑是一項巨大挑戰。

若要得到更好的 HDR,關鍵在需提升尼特 (nits) 或增加物體發出的光源。 Starburst 原型機又大又重,使用時必須像用望遠鏡一樣扶著它,但 Starburst 可呈現室內或夜間環境中可看到的所有亮度,最高可達 20,000 尼特,是到目前為止最亮的 HDR 顯示器,也是少數的 3D 顯示器——這是在 VR 中使用者體驗中模擬出逼真亮度的關鍵。

史上最輕薄的 Holocake 2 原型機

Holocake 2 原型機是 Meta 有史以來最輕薄的 VR 頭戴式裝置,且能夠運行任何現有的 PC VR 遊戲。大多數 VR 頭戴式裝置中的鏡片都很厚,而且必須置在距離顯示器幾呎的位置,以便正確對焦並讓光線直接射入使用者的眼睛,因此頭戴式裝置的前方往往看起來較為沉重。

為了解决這個問題,Holocake 2 引入了兩種全新技術。第一項技術就是透過全息投影的鏡片傳送光線,而非使用一般鏡片。簡單來說,全息投影會記錄光線照射物體時所發生的情況。而全息投影會比物體本身扁平得多,全息投影的光學元件亦比其模擬的鏡片扁平得多,但兩者對於入射光的影響幾乎相同。

第二項新技術,就是使用偏振反射,減少眼睛與顯示器之間的距離所帶來的影響。如此一來,光線不會透過鏡片從面板射入眼睛,而是經過偏振處理,在反射面之間來回多次反射。這意味著光線可以在更小巧的裝置機身內保持相同的總傳播距離。如此一來,與其他配置相比,這款原型顯得更加輕薄。

最接近未來理想機型的 Mirror Lake 

VR 頭盔的最終目標是將以上各種技術整合在一起,將通過視覺圖靈測試所需的所有視覺元素整合到輕便小巧且節能的裝置中。

Mirror Lake 是一個概念設計,裝置外型有如滑雪鏡,採用了 Holocake 2 的架構,並加入了所有先進視覺技術,包括變焦和眼球追蹤技術。這個設計的關鍵在於,全息投影技術讓各個組件變得又薄又平。不僅變焦技術扁平,用於 Holocake 的所有全息膠片、失真修正和眼球追蹤技術亦是如此。雖然距離上市還有一段路,但 Mirror Lake 將是最有可能成為未來 VR 頭盔的機型。

首席科學家 Michael 強調,Mirror Lake 目前仍只是一個概念機,且 Meta 還未製作出功能齊全的頭戴式裝置。但若未來成功製作出這種頭戴式裝置,將會為 VR 視覺體驗帶來革命性的大改變。