「如果讓一般的人都可以拍出很好的照片，反而可以讓人們更愛上創作。」
這是 Google 23 日舉辦的「Pixel 手機相機大解密」媒體會上，由史丹佛大學電腦科學榮譽退休教授、Google 傑出工程師 Marc Levoy 一句最重要、最打中人心的話，也是他對媒體提問：「如果未來手機就能拍出這麼優質的照片，是否會影響人們創作（圖畫）的欲望」的回答。
而能拍出讓媒體詢問出這種問題的手機相機，就是 Google Pixel 系列。今日的媒體會是一貫的 Google 作風，充滿了對「技術」的熱忱，而這正是 Pixel 系列手機－－包括近期推出的 Pixel 3a－－背後最大的優勢。
Marc Levoy 在台上講到了許多有關攝影的專業名詞，並分析了 Pixel 手機相機之所以能這麼強大的原因；他同時也展現了對攝影的高度熱情，開心地向我們展示了他在台北拍攝的美麗花朵。
Marc Levoy 提供給 TechOrange 他所拍攝的黃花照片。
自從初代 Google Pixel 手機誕生以來，Google 一向大膽地直接拿蘋果 iPhone 作為比較，現場也展示了 iPhone XS 與 Pixel 3a 拍攝照片差異的對比圖。
Pixel 系列的相機系統，最為強大的就是透過 AI 技術，不斷強化相機功能，而這背後的最大功臣，就是所謂的計算攝影 （Computational Photography）技術。
計算攝影發明人 Marc Levoy 來台解密
而 Marc Levoy 就是計算攝影的發明人，他的經歷非常「特（ㄑㄧㄤˊ）殊（ㄉㄚˋ）」，早年（1970 年代）從事電腦輔助卡通動畫製作、1980 年代從事立體渲染相關工作，到了 1990 年代則是 3D 掃描、2000 年代研究光場成像，而 2010 年代則成了計算攝影的發明人，目前在史丹佛大學教授電腦繪圖學、數位影像學和藝術科學。
2016 年時，作為數碼影像先驅者，Marc Levoy 把自己在史丹福的一系列共 18 節課堂在網路上公開，能公眾能免費上課，這些內容不只在大學裡教授過，連 Google 員工們都是其學生，這些課程主打「連新手都可以學」，不需有任何預先的知識。
這與 Pixel 系列手機的概念如出一轍：讓一般人（非專業者），都能拍出很棒的照片。
擁有這麼多豐富經歷，橫跨科學與藝術的 Marc Levoy，在 Google 推出街景服務，目前帶領的團隊負責的則是 Pixel 智慧型手機的 HDR+ 模式、肖像模式以及夜視功能、Jump 光場與 Halide 圖像處理程式語言等。
說回 Pixel 相機，尤其是近日推出的 Pixel 3a，是 Google 主打的「平價手機」，但卻擁有「以下犯上」的 AI 攝影技術實力，甚至能挑戰蘋果 iPhone XS 高階機種。
Marc Levoy 說，現在手機相機的發展有幾個明顯的趨勢，與幾個相較之下比較不明顯的趨勢。
追上科技新浪潮，輕鬆掌握趨勢！
讓我們用 15 分鐘的時間與你分享最新科技應用。點我收聽 >> Spotify / Apple Podcast
現在的手機相機都有這種特徵……
所謂明顯的趨勢，像是越來越多的攝影鏡頭、更佳的像素、更大的光圈，並普遍具有深度感應器。
而 Pixel 手機則打破了「硬體定義」相機傳統，是以軟體定義（Software-defined）為主的相機，在圖像計算上不再單靠具固定功能的硬體，更運用了計算攝影 ，來整合連拍的幀數。
最為重要的是，Pixel 在手機相機系統中，導入「機器學習」，運用機器學習技術，取代傳統的演算法。在訓練機器學習的過程中獲得許多訓練用的數據，有助提升執行的準確度。
其他還有像是「更公開透明」的科技與技術。
以 Google 來說，Google 具備了軟體和機器學習的優勢，而在發展手機相機技術的過程中，便不斷公開對外分享技術成果，Google 認為，這不僅有助於驅動更快速的創新，也是藉此希望能吸引更多博士新秀加入 Google AI 研究團隊。
這些精神都與 Marc Levoy 在兩年前在網路上免費公開課程的精神相呼應。
而手機相機應用程式在執行時需要遵守以下的基本原則，第一個是執行上必須要很迅速，這包含以下 3 種條件：即時觀景器（Live Viewfinder）大於 15 幀率（fps）、快門延遲時間小於 50 毫秒、照片成像時間小於 5 秒：即為 4 秒，並且不讓手機因執行過程中受阻而升高表面溫度。
另外，預設模式不能失敗，這代表 Pixel 系列手機相機，須具有可靠的曝光、對焦和白平衡，並且避免鬼影或視覺殘影；更要重視攝影者在攝影時可能遇到的特殊情況，Marc Levoy 說，過去Google的機器學習偵測器可以捕捉九成五以上出現在場景中的人臉，但是卻會忽視有戴墨鏡的人（現在已經解決此問題）。
Marc Levoy 舉了 4 個案例：
典型的 HDR 做法是包圍曝光（Exposure Bracketing），也就是捕捉不同曝光程度的影像，將從曝光時間短的影像所捕捉的亮處細節，與從曝光時間長的影像所捕捉到的暗處細節結合，呈現出最終的影像。
不過， 在相機晃動和移動中物件的拍攝情況下，這種做法就難以對準影像：當這些影像透過手持攝影而非使用固定三腳架拍攝時，由於每一個影像的曝光程度不同，雜訊也不同，猶如不同的影像，因此 Google 不使用包圍曝光達到 HDR。
而 Google Pixel 手機相機應用中的 HDR+ 的作法是，在捕捉曝光不足下的連拍影像時，透過捕捉在相同曝光程度下的連拍影像，並且避免亮處過度曝光， 同時進行校準與合併。
Pixel 相機捕捉相同曝光程度下的連拍影像，由於影像相似，因此更容易校準，而 SNR（Signal-to-noise ratio，信號雜訊比）和連拍的幀數的平方根成正比；能減少陰影處的雜訊。
利用 HDR+ 中的色調映射（Tonemap）增強陰影，降低亮處：犧牲整體色調和對比度，以保留局部對比度。
在 2016 年，HDR+ 讓 Google Pixel 手機相機獲得當年 DXO 評分第一名（DXO 89）。
2. Google Pixel 2 肖像模式
而在肖像模式部分， Google Pixel 2 肖像模式優秀的相機表現，獲得 2017 年 DXO 評分最高的智慧型手機。所謂的肖像模式，指的是將焦點集中在主要的人物或物品上，使其從背景中凸顯而出。
目前大部分手機拍出肖像模式的做法是，合成淺景深（Synthetic Shallow Depth of Field）利用作假的景深達到真實景深的效果，而大部分的使用者其實難以辨別差異。
要製造這種合成淺景深的做法要用上雙鏡頭，先在相似的焦點下捕捉兩個影像，再來利用立體匹配演算法（Stereo Matching）去計算深度圖（Depth Map），接著在場景中選擇一個平面以保持銳利影像，最後，模糊距離該平面更近或更遠的影像特徵，讓背景呈現失焦的影像。
不過，相較於這些雙鏡頭相機，Google Pixel 2 和Pixel 3 手機在僅有單一個後置鏡頭的條件下，透過以下兩項技術達到景深的效果。
第一，利用「機器學習」技術分割影像中的人物：當使用 Pixel 手機自拍時，前置鏡頭雖無搭載「雙像素（Dual-pixels）」科技，但仍可透過機器學習執行肖像模式。
運用卷積神經網路（Convolutional Neural Network, CNN），能預估圖像中每一個像素的人物；卷積神經網路也可以在 TensorFlow 中執行。並利用超過 100 萬張標籤過的人物和配件照片進行機器學習模型訓練 、使用數學計算中的邊緣感知雙邊求解器（Edge-aware Bilateral Solver）進行細化，讓人物分割的邊緣更加銳利。
第二，則是運用相機中的硬體技術「雙像素（Dual pixels）」預估深度圖（Depth Map）。
當使用 Pixel 手機對一般物件進行拍攝時，因物件非人物，故無法使用機器學習的方式，但仍可透過擁有「雙像素」的後置鏡頭技術完成
所謂的雙像素即「相位對焦（Phase Detection Auto-focus, PDAF）」，為較新單眼相機在錄影時對焦所使用。
每一個單一像素上的影像可分為兩部分：每個像素的右半部通過左半部鏡頭看世界，每個像素的左半部則通過右半部鏡頭看世界 ，這代表事實上會得到兩種具些微差異的成像，接著透過非常小、約 1mm 的基線（Baseline）讓影像立體化。
為保持人物影像銳利，Pixel 從機器學習人物分割技術中，根據人物與背景的距離按比例模糊化，並且將人物所在位置前後一段距離的影像也保持銳利，以讓人物影像能清楚呈現。（雖然非物理上正確，但有助於攝影初學者透過 Pixel 手機肖像模式拍攝人物）
通常，透過專業相機手動對焦，焦點之外的景物會隨與焦點距離的長短而呈現不同程度的模糊化；Pixel 手機相機則是將焦點，對於攝影初學者而言較容易拍攝出具有景深的人物肖像。
此外，Pixel 3 手機相機肖像模式又有了更進一步優化：Google 進一步訓練機器學習藉由輸入 RGB 顏色、左 和右，就能得到深度圖，取代在立體空間中搜尋、計算每一個二分之一像素中影像呈 現是來自現實世界中的左半部或右半部。
Google 還運用特殊的相機裝置，拍攝成千上萬的的照片，透過機器學習中的 Ground Truth 來訓練 Dual-pixels 更好產生深度圖。
3. 高解析變焦（Super Res Zoom）
Google 在 Pixel 3 手機相機中推出高解析變焦功能，雖然此功能背後並無搭載人工智慧及機器學習技術，但它可將多層影像合成為更高像素的照片，不僅可提升照片細節的呈現，解析度與許多搭載 2x 光學變焦鏡頭的智慧型手機不相上下。
其中，像素移位（Pixel Shifting）是其基本原理：影像是由一個個像素所組成，而每一個影像擁有紅色、綠色和藍色三種顏色資訊。高解析變焦透過連續拍攝多禎照片，以彌補缺失的顏色資訊以合並成出更高解析度的數位照片，數位照片中的三分之二的顏色資訊都是重建出來的。
而當相機同時拍攝了 4 幀畫面 ， 其中 3 幀分別於水平、垂直，還有水平與垂直同 時位移一個像素，組合這 4 幀畫面後，會發現原先缺失的像素都被填滿，不必再執行去馬賽克。
當手機或相機完全固定例如放置於三腳架上，且不受手震影響時，仍可藉由強制開啟光學影像穩定功能（Optical Image Stabilization），製造鏡頭「搖晃」來模擬手震。此畫面的「搖晃」幅度非常小，並不會干擾正常照片。
4. 夜視模式 (Night Sight)
使用 Pixel 2 的夜視模式所拍攝的新加坡夜景。
夜視模式的技術是，在按下快門後，觀景器將會靜止不動幾秒鐘，高速捕捉最多 15 幀畫面，以及「移動測量」，也就是根據手震程度與畫面中是否有移動物件來衡量所需拍攝時間。
當手震越強或是拍攝移動物件時，會縮短曝光時間，導致幀數越少、畫質越不清晰。反之，拍攝靜止物件時，曝光時間就越長，因此幀數增加 ，照片成果也更清晰。
夜視模式會結合其他 Pixel 手機相機功能，例如在 Pixel 3 上，會結合高解析變焦功能，而在 Pixel 1／Pixel 2／Pixel 3a 上，則是結合 HDR+ 功能。
此外，Pixel 夜視模式還會透過學習式白平衡（Learning-based White Balancing）調整影像色調。
藉由計算攝影的自動調整，仍可保持景物最真實的色調。
事實上，在夜晚，景物的顏色依然存在，只不過人類的肉眼無法辨識，因此如何讓夜間拍攝的影像仍保有真實的色彩是一大挑戰。Google 從古典的畫作中發現三大特徵，作為開發夜視功能的考量要素：
一，是強化對比度 ；二，將陰影投射成黑色；三則是用黑暗環繞場景。
夜視功能能藉由計算攝影進行色調映射（Tone Mapping），讓影像保有原本的色彩。
（本文提供合作夥伴轉載，首圖來源：Google 提供。）
追上科技新浪潮，輕鬆掌握趨勢！
讓我們用 15 分鐘的時間與你分享最新科技應用。點我收聽 >> Spotify / Apple Podcast
