【Google 手機相機強大的原因】技術大解密!Pixel 3、3a 可以贏過 iPhone 的關鍵是什麼?

「如果讓一般的人都可以拍出很好的照片,反而可以讓人們更愛上創作。」

這是 Google 23 日舉辦的「Pixel 手機相機大解密」媒體會上,由史丹佛大學電腦科學榮譽退休教授、Google 傑出工程師 Marc Levoy 一句最重要、最打中人心的話,也是他對媒體提問:「如果未來手機就能拍出這麼優質的照片,是否會影響人們創作(圖畫)的欲望」的回答。

而能拍出讓媒體詢問出這種問題的手機相機,就是 Google Pixel 系列。今日的媒體會是一貫的 Google 作風,充滿了對「技術」的熱忱,而這正是 Pixel 系列手機--包括近期推出的 Pixel 3a--背後最大的優勢。

Marc Levoy 在台上講到了許多有關攝影的專業名詞,並分析了 Pixel 手機相機之所以能這麼強大的原因;他同時也展現了對攝影的高度熱情,開心地向我們展示了他在台北拍攝的美麗花朵。

Marc Levoy 提供給 TechOrange 他所拍攝的黃花照片。

自從初代 Google Pixel 手機誕生以來,Google 一向大膽地直接拿蘋果 iPhone 作為比較,現場也展示了 iPhone XS 與 Pixel 3a 拍攝照片差異的對比圖。

Pixel 系列的相機系統,最為強大的就是透過 AI 技術,不斷強化相機功能,而這背後的最大功臣,就是所謂的計算攝影(Computational Photography)技術。

計算攝影發明人 Marc Levoy 來台解密

而 Marc Levoy 就是計算攝影的發明人,他的經歷非常「特(ㄑㄧㄤˊ)殊(ㄉㄚˋ)」,早年(1970 年代)從事電腦輔助卡通動畫製作、1980 年代從事立體渲染相關工作,到了 1990 年代則是 3D 掃描、2000 年代研究光場成像,而 2010 年代則成了計算攝影的發明人,目前在史丹佛大學教授電腦繪圖學、數位影像學和藝術科學。

2016 年時,作為數碼影像先驅者,Marc Levoy 把自己在史丹福的一系列共 18 節課堂在網路上公開,能公眾能免費上課,這些內容不只在大學裡教授過,連 Google 員工們都是其學生, 這些課程主打「連新手都可以學」,不需有任何預先的知識。

這與 Pixel 系列手機的概念如出一轍:讓一般人(非專業者),都能拍出很棒的照片。

擁有這麼多豐富經歷,橫跨科學與藝術的  Marc Levoy,在 Google 推出街景服務,目前帶領的團隊負責的則是 Pixel 智慧型手機的 HDR+ 模式、肖像模式以及夜視功能、Jump 光場與 Halide 圖像處理程式語言等

說回 Pixel 相機,尤其是近日推出的 Pixel 3a,是 Google 主打的「平價手機」,但卻擁有「以下犯上」的 AI 攝影技術實力,甚至能挑戰蘋果 iPhone XS 高階機種。

Marc Levoy 說,現在手機相機的發展有幾個明顯的趨勢,與幾個相較之下比較不明顯的趨勢。

現在的手機相機都有這種特徵……

所謂明顯的趨勢,像是越來越多的攝影鏡頭、更佳的像素、更大的光圈,並普遍具有深度感應器。

而 Pixel 手機則打破了「硬體定義」相機傳統,是以軟體定義(Software-defined)為主的相機,在圖像計算上不再單靠具固定功能的硬體,更運用了計算攝影 ,來整合連拍的幀數。

最為重要的是,Pixel 在手機相機系統中,導入「機器學習」,運用機器學習技術,取代傳統的演算法。在訓練機器學習的過程中獲得許多訓練用的數據,有助提升執行的準確度。

其他還有像是「更公開透明」的科技與技術。

以 Google 來說,Google 具備了軟體和機器學習的優勢,而在發展手機相機技術的過程中,便不斷公開對外分享技術成果,Google 認為,這不僅有助於驅動更快速的創新,也是藉此希望能吸引更多博士新秀加入 Google AI 研究團隊。

這些精神都與 Marc Levoy 在兩年前在網路上免費公開課程的精神相呼應。

而手機相機應用程式在執行時需要遵守以下的基本原則,第一個是執行上必須要很迅速,這包含以下 3 種條件:即時觀景器(Live Viewfinder)大於 15 幀率(fps)、快門延遲時間小於 50 毫秒、照片成像時間小於 5 秒:即為 4 秒,並且不讓手機因執行過程中受阻而升高表面溫度。

另外,預設模式不能失敗,這代表 Pixel 系列手機相機,須具有可靠的曝光、對焦和白平衡,並且避免鬼影或視覺殘影;更要重視攝影者在攝影時可能遇到的特殊情況,Marc Levoy 說,過去 Google 的機器學習偵測器可以捕捉九成五以上出現在場景中的人臉,但是卻會忽視有戴墨鏡的人(現在已經解決此問題)。

Marc Levoy 舉了 4 個案例:

  1. Pixel 手機上的 HDR+功能 

典型的 HDR 做法是包圍曝光(Exposure Bracketing),也就是捕捉不同曝光程度的影像,將從曝光時間短的影像所捕捉的亮處細節,與從曝光時間長的影像所捕捉到的暗處細節結合,呈現出最終的影像。

不過, 在相機晃動和移動中物件的拍攝情況下,這種做法就難以對準影像:​當這些影像透過手持攝影而非使用固定三腳架拍攝時,由於每一個影像的曝光程度不同,雜訊也不同,猶如不同的影像,因此 Google 不使用包圍曝光達到 HDR。

而 Google Pixel 手機相機應用中的 HDR+ 的作法是,在捕捉曝光不足下的連拍影像時,透過捕捉在相同曝光程度下的連拍影像,並且避免亮處過度曝光, 同時進行校準與合併。

Pixel 相機捕捉相同曝光程度下的連拍影像,由於影像相似,因此更容易校準,而 SNR(Signal-to-noise ratio,信號雜訊比)和連拍的幀數的平方根成正比;能減少陰影處的雜訊。

利用 HDR+ 中的色調映射(Tonemap)增強陰影,降低亮處:犧牲整體色調和對比度,以保留局部對比度。

在 2016 年,HDR+ 讓 Google Pixel 手機相機獲得當年 DXO 評分第一名(DXO 89)。

2. Google Pixel 2 肖像模式

而在肖像模式部分, Google Pixel 2 肖像模式優秀的相機表現,獲得 2017 年 DXO 評分最高的智慧型手機。 所謂的肖像模式,指的是將焦點集中在主要的人物或物品上,使其從背景中凸顯而出。

目前大部分手機拍出肖像模式的做法是,合成淺景深(Synthetic Shallow Depth of Field)利用作假的景深達到真實景深的效果,而大部分的使用者其實難以辨別差異。

要製造這種合成淺景深的做法要用上雙鏡頭,先在相似的焦點下捕捉兩個影像,再來利用立體匹配演算法(Stereo Matching)去計算深度圖(Depth Map),接著在場景中選擇一個平面以保持銳利影像,最後,模糊距離該平面更近或更遠的影像特徵,讓背景呈現失焦的影像。

不過,相較於這些雙鏡頭相機,Google Pixel 2 和 Pixel 3 手機 在僅有單一個後置鏡頭的條件下,透過以下兩項技術達到景深的效果。

第一,利用「機器學習」技術分割影像中的人物​:當使用 Pixel 手機自拍時,前置鏡頭雖無搭載「雙像素(Dual-pixels)」科技,但仍可透過機器學習執行肖像模式。

運用卷積神經網路(Convolutional Neural Network, CNN),能預估圖像中每一個像素的人物;卷積神經網路也可以在 TensorFlow 中執行。並利用超過 100 萬張標籤過的人物和配件照片進行機器學習模型訓練 、使用數學計算中的邊緣感知雙邊求解器(Edge-aware Bilateral Solver)進行細化,讓人物分割的邊緣更加銳利。

第二,則是運用相機中的硬體技術「雙像素(Dual pixels)」預估深度圖(Depth Map)​。

當使用 Pixel 手機對一般物件進行拍攝時,因物件非人物,故無法使用機器學習的方式,但仍可透過擁有「雙像素」的後置鏡頭技術完成

所謂的雙像素即「相位對焦(Phase Detection Auto-focus, PDAF)」,為較新單眼相機在錄影時對焦所使用。

每一個單一像素上的影像可分為兩部分:每個像素的右半部通過左半部鏡頭看世界,每個像素的左半部則通過右半部鏡頭看世界 ,這代表事實上會得到兩種具些微差異的成像,接著透過非常小、約 1mm 的基線(Baseline)讓影像立體化。

為保持人物影像銳利,Pixel 從機器學習人物分割技術中,根據人物與背景的距離按比例模糊化,並且將人物所在位置前後一段距離的影像也保持銳利,以讓人物影像能清楚呈現。(雖然非物理上正確,但有助於攝影初學者透過 Pixel 手機肖像模式拍攝人物)

通常,透過專業相機手動對焦,焦點之外的景物會隨與焦點距離的長短而呈現不同程度的模糊化;Pixel 手機相機則是將焦點,對於攝影初學者而言較容易拍攝出具有景深的人物肖像。

此外,Pixel 3 手機相機肖像模式又有了更進一步優化:Google 進一步訓練機器學習藉由輸入 RGB 顏色、左 和右,就能得到深度圖,取代在立體空間中搜尋、計算每一個二分之一像素中影像呈 現是來自現實世界中的左半部或右半部。

Google 還運用特殊的相機裝置,拍攝成千上萬的的照片,透過機器學習中的 Ground Truth 來訓練 Dual-pixels 更好產生深度圖。

3. 高解析變焦(Super Res Zoom)

Google 在 Pixel 3 手機相機中推出高解析變焦功能,雖然此功能背後並無搭載人工智慧及機器學習技術,但它可將多層影像合成為更高像素的照片,不僅可提升照片細節的呈現,解析度與許多搭載 2x 光學變焦鏡頭的智慧型手機不相上下。

其中,像素移位(Pixel Shifting)是其基本原理:​影像是由一個個像素所組成,而每一個影像擁有紅色、綠色和藍色三種顏色資訊。高解析變焦透過連續拍攝多禎照片,以彌補缺失的顏色資訊以合並成出更高解析度的數位照片,數位照片中的三分之二的顏色資訊都是重建出來的。

而當相機同時拍攝了 4 幀畫面 , 其中 3  幀分別於水平、垂直,還有水平與垂直同 時位移一個像素,組合這 4 幀畫面後,會發現原先缺失的像素都被填滿,不必再執行去馬賽克。

當手機或相機完全固定例如放置於三腳架上,且不受手震影響時,仍可藉由強制開啟光學影像穩定功能(Optical Image Stabilization),製造鏡頭「搖晃」來模擬手震。此畫面的「搖晃」幅度非常小,並不會干擾正常照片。

4. 夜視模式 (Night Sight)

使用 Pixel 2 的夜視模式所拍攝的新加坡夜景。

夜視模式的技術是,在按下快門後,觀景器將會靜止不動幾秒鐘,高速捕捉最多 15 ​幀畫面,以及「移動測量」,也就是​根據手震程度與畫面中是否有移動物件來衡量所需拍攝時間。

當手震越強或是拍攝移動物件時,會縮短曝光時間,導致​幀數越少、畫質越不清晰​。反之,拍攝靜止物件時,曝光時間就越長,因此​幀數增加 ,照片成果也更清晰。

夜視模式會結合其他 Pixel 手機相機功能,例如在 Pixel 3 上,會結合高解析變焦功能,而在 Pixel 1/Pixel 2/Pixel 3a 上,則是結合 HDR+ 功能。

此外,Pixel 夜視模式還會透過學習式白平衡(Learning-based White Balancing)調整影像色調。

藉由計算攝影的自動調整,仍可保持景物最真實的色調。

事實上,在夜晚,景物的顏色依然存在,只不過人類的肉眼無法辨識,因此如何讓夜間拍攝的影像仍保有真實的色彩是一大挑戰。Google 從古典的畫作中發現三大特徵,作為開發夜視功能的考量要素:

一,是強化對比度 ;二,將陰影投射成黑色;三則是用黑暗環繞場景。

夜視功能能藉由計算攝影進行色調映射(Tone Mapping),讓影像保有原本的色彩。

(本文提供合作夥伴轉載,首圖來源:Google 提供。)

 

 

 

 

 


我們正在找夥伴!

2019 年我們的團隊正在大舉擴張,需要你的加入跟我們一起找出台灣創新原動力! 我們正在徵 《採訪社群編輯》、《助理編輯》,詳細職缺與應徵辦法 請點我

點關鍵字看更多相關文章: