【我們為什麼挑選這篇文章】Facebook、Google、三星、蘋果他們都陸續收購眼球追蹤公司，因為他們都看好 VR、AR 未來發展。但究竟眼球追蹤技術的運作原理為何？而 Facebook、Google、三星、蘋果他們將各自如何應用眼球追蹤技術呢？（責任編輯：劉庭瑋）
本文作者：李詩 編輯：劉芳平 2017-07-31 11:45
導語：巨頭們都在追的眼球追蹤技術，能帶給我們什麼樣的未來？
人的身體有視覺、聽覺、嗅覺味覺、觸覺和運動五大感知系統，然而我們所接收的80%的信息都來自於眼睛。
眼睛不僅是我們的輸入主設備，也是我們的輸出設備。俗話說：「眼睛是心靈的窗戶」，情侶之間的愛意也是靠眼波的流連婉轉。眼睛透露出我們很多的「秘密」。
目前我們的人機交互還主要靠的是鍵盤、鼠標、觸摸，這些輸入並不直接也不高效。人機互動的發展方向應該是越來越人性化，要能「聽」、能「看」，能主動探索和回應需求。
眼球追蹤讓機器更懂你
眼球追蹤就是這樣一個讓機器人更懂人類的技術。眼球追蹤主要是研究眼球運動訊息的獲取、建模和模擬。一是根據眼球和眼球周邊的特徵變化進行跟蹤，二是根據虹膜角度變化進行跟蹤，三是主動投射紅外線等光束到虹膜來提取特徵。
眼球追蹤技術的發展由來已久，應用的場景廣泛。在心理學實驗中，可以通過人的瞳孔變化來監測一個人是否在說謊；在廣告效果監測方面可以通過人眼注視點的移動來判斷人的偏好；而到了人機交互方面，眼睛可以取代鍵盤、鼠標和觸屏，一些手機可以在人眼離開時暫停視頻播放，也有殘障人士通過眼睛打字完成了一本書的寫作。
早在2012年，眼控技術研究科技公司 Tobii宣佈研發出了適配Windows 8的眼控Gaze界面。這是一家做眼球追蹤技術較早的瑞典公司。2007年公司估值1400萬美元，2009年則達到了2680萬美元。2012年，英特爾注資2100萬美元進Tobii公司，也是出於對windows 8操作系統一次投資。2014年，Tobii 推出了第二代智能眼鏡 Glass 2，利用每個鏡片配備 2 個攝像頭以及相應的軟件技術，實現對眼球動作的精准捕捉。
Tobii 智能眼鏡
英特爾雖然很早就收購了眼球追蹤的公司，但是經過多年，眼球追蹤依然未成為筆記本電腦的核心交互方式。而 VR 的發展卻讓我們看到了眼球追蹤技術應用的更多的可能性。
各大巨頭爭搶眼球追蹤公司 佈局 VR/AR
目前眼球追蹤市場中的主要廠商包括 Tobii AB(瑞典)、SensoMotoric Instruments GmbH(德國)、Seeing Machines(澳大利亞)、EyeTracking(美國)、Smart Eye AB(瑞典)、EyeTech Digital Systems(美國)和七鑫易維（中國）等。這些廠商有獨立開發產品的，也有和大廠合作研發的。
（1）三星投資 FOVE：主打眼球追蹤的VR 頭盔
早在2014年末，FOVE 就宣佈將會發佈一款使用眼球追蹤技術的頭戴顯示設備。在當時，Gear VR 發佈不久，而 Oculus Rift 和 HTC Vive 這些PC VR還沒發佈。
FOVE 頭顯結合了眼球和頭部位置追蹤，定位傳感等技術，讓用戶可以用眼睛控制顯示器。FOVE 一開始在 Kickstarter 上發起眾籌，募集到246566美元。而在2015年，三星風險投資公司投資了FOVE，具體投資金額不詳。 2016年之時，這家公司A輪融資拿到了1100萬美金，並且公佈在11月接受預定，售價599美元，價格堪比Oculus。
Fove頭顯
除了投資 FOVE 以外，三星自己也在研發眼球追蹤的頭盔。就在今年7月，一家專注於VR設備眼球追蹤的韓國公司 Visual Camp 稱他們正參與研發的一款三星秘密開發的VR一體機——Samsung Exynos VR III。擁有作為領軍移動VR頭盔Gear VR的三星，其融入了手勢識別、眼球追蹤的一體機會表現如何呢？
Samsung Exynos VR III 一體機原型
（2）Google 收購 Eyefluence，或為 AR 交互
2016年10月，Google收購了一家專注眼球追蹤的初創公司Eyefluence。Eyefluence 擁有的 AR 交互專利將提升高清注視追蹤技術，並可通過眼睛進行身份識別和密碼保護，也就是說，電腦或手機上的指紋掃描和密碼輸入將由眼球追蹤代替。
增強現實眼鏡的交互與筆記本電腦和台式電腦的交互方式發生了顯著的變化。當增強現實眼鏡把圖像呈現在人眼之上時，任何需要觸摸的交互都難以實現。依靠眼球追蹤的交互方式成為顯要的需求。
除了 Google Glass 以外，Google 已經與 HTC、聯想合作計劃推出VR一體機，或將具有眼球追蹤功能。
（3）Facebook 收購 The Eye Tribe
2017年1月，Facebook旗下公司Oculus確認收購一家專做眼球追蹤的創業公司The Eye Tribe，並且將使用其技術來改善Oculus VR產品。
The Eye Tribe 成立於2007年，是一個有16人的創業團隊，致力於為多平台提供眼球追蹤的軟件和硬件。他們已經推出了面向計算機設備的眼球追蹤開發者套件，售價99美元，一個面向消費者的眼球追蹤盒子，售價199美元。這個眼球追蹤盒子可以連接到電腦、平板、手機等多種設備。
The Eye Tribe眼球追蹤盒子
（4）蘋果收購 SMI
2017年6月蘋果公司昨天確認收購德國計算機視覺公司SensoMotoric Instruments （SMI）。
這家公司的眼球追蹤技術解決了 VR 常見的短板，它能夠以120Hz的採樣率實時記錄用戶的自然凝視行為，可以分析佩戴者的目光，並幫助減少眩暈。
在2016年CES上，SMI 與 Lumus 合作推出了一款 帶有眼球追蹤技術的 Lumus DK-50 增強現實眼鏡。用戶能看到 AR 顯示屏幕上的3D圖像，並且可以與之互動。
Lumus DK-50
在今年的 WWDC（全球開發者大會）蘋果公司推出了ARKit，iPhone全面支持AR，一躍成為最大的AR平台。在7月，隱匿三年的 Google Glass 以企業版的形式宣佈回歸，但是目前未有消息其應用了眼球追蹤技術。蘋果將如何整合 AR 與眼球追蹤十分值得關注。
（5）高通、英偉達合作七鑫易維，專注 VR 底層優化
七鑫易維是國內一家專注眼球追蹤技術的公司，成立於2009年，一開始是希望把眼控技術用在 Google Glass 這樣的可穿戴產品上面。
從2013年，他們轉向了 VR，2016年與HTC合作推出可以應用到Vive上的VR眼球追蹤模組「aGlass」。aGlass 得到 HTC Vive 官方認證，可以內置到 Vive 頭顯中，為其增加多項基於眼球追蹤技術開發的功能，包括注視點渲染、眼控交互、眼動大數據和眼控遊戲。
七鑫易維眼球追蹤模組『aGlass』
2016 年，英偉達確認與北京七鑫易維科技有限公司展開合作，共同助力 VR 產業。在 VR 火爆的元年，英偉達確定了 VR 開發者計劃，提供硬件測試平台，推出 GameWorks VR 方案，向開發者開放 NVIDIA VR SDK 和提供相應的開發工具。
七鑫易維 CEO 黃通兵告訴雷鋒網：「七鑫易維與英偉達的合作主要是PC VR 產品的注視點渲染（Foveated Rendering）技術方面合作，我們需要英偉達底層 API 和硬件加速支持，才能實現最佳效果，最高降低GPU負荷到原來的十分之一，日後注視點渲染會成為 PC VR 的標配技術。」
同時，高通在 IFA 2016大會上，發佈了一款 VR 一體機參考設計——Snapdragon VR820，目前已經升級的二代搭載驍龍835芯片，能在低功耗下實現良好的圖形渲染。高通投資了多家VR公司，在2014年以4000萬美元投資七鑫易維。
雷鋒網好奇七鑫易維與英偉達和高通這兩家公司合作模式的不同，黃通兵表示：「高通在 VR 領域主要提供移動 VR 的高性能芯片方案，對於移動 VR 來說，計算能力相對 PC VR 較弱，對能耗也更敏感。所以，通過注視點渲染技術降低功耗、發熱更加重要。此外，眼球追蹤需要充分利用硬件核心來加速，高通在移動處理器中集成眼球追蹤相關計算模塊也是可以預見的。」
高通驍龍835 VR 一體機參考設計
各大巨頭都在收購眼球追蹤公司，可見眼球追蹤技術已然成為未來人機交互、AR 以及 VR 的基本技術。高通和英偉達作為基礎硬件廠商，對於眼球追蹤技術的應用能從底層設計上優化 VR/AR 體驗，而三星、 Google 和 Facebook 這樣的 VR 廠商或許能在應用場景和操作設計上給我們更多的驚喜，當然蘋果的舉動向來更喜歡出其不意。
眼球追蹤解決VR/AR三大問題
Oculus的創始人Palmer Luckey曾表示，眼部跟蹤技術會成為VR技術未來的一個「重要組成部分」。不僅能實現注視點渲染技術，它還能用來創造一種視覺深度，以創作出更好的用戶界面。
（1）減少眩暈
VR 要帶給人沈浸感，就要做到能讓人在虛擬空間裡自然運動，這需要通過運動追蹤來改變場景的呈現。目前的 VR 設備主要是利用空間定位技術來捕捉人的身體的位置運動，用慣性傳感器來捕捉人的頭部的運動，人在轉動頭部時，視角會發生相應的變化。
但是這只是比較初級的動作捕捉，人其實大多數時候都是通過轉動眼球而不是頭部來改變視覺。人們習慣用眼球轉動（而不是頭部轉動）去觀察。
目前的 VR 只追蹤頭部不追蹤眼球運動容易使人眩暈（Motion Sickness）。人類對於頭部轉動和相對應的視野的變化是極度敏感的。如果用戶的頭轉動了，而相對的，視野轉動有延遲，只要很微小的延遲就能感覺得到。有多微小呢？研究表明，頭動和視野的延遲不能超過 20ms，不然就會非常明顯。而眼球追蹤技術運用在這裡正好可以解決這一問題，以眼球的變化來控制場景的變化。
（2）注視點渲染
場景的變化很必要，但是要讓 VR 呈現出同自然世界一樣的場景和空間感所需的信息量和計算量是極大的。目前的 VR 大多數是將全部場景以同等的清晰度來呈現，用戶移動頭部和身體時虛擬物體也會相應地變換位置，視點拉近和退後都會影響景深，這些變化都需要大量的計算和不斷更新。
目前的 VR 能達到每秒36次的刷新，而要達到人眼場景轉換的速度則需要2000-3000次每秒，要實時渲染出這些場景，就連很高配的電腦都達不到。
而事實上，VR 根本就不需要也不應該以全部的清晰度來呈現場景里的所有物體。在日常生活中，我們都明白「近大遠小」，並且當我們注視一個物體時，這個物體會變清晰而其他物體會變模糊，這樣我們看物體才有空間感和景深。如果當我們的視線轉移了，畫面中的物體還是全部清晰的，那麼我們的眼睛就會感到「不適應」，並且會因為處理過多信息而疲勞。
注視點渲染的效果
注視點渲染可以解決 VR 里畫面呈現的問題，通過追蹤眼睛的注視點，計算機可以只清晰渲染出注視點的場景，而將周邊的場景模糊呈現。這樣我們眼睛在虛擬環境中看物體和在自然場景中看物體的體驗就會變得一致，這樣虛擬和現實的切換就不會有明顯的障礙，由視點和運動帶來的眩暈也會減輕。
Oculus 首席科學家 Michale Abrash 在談及 VR 趨勢時說道，VR 將在5年內解決聚焦的景深問題。而視點渲染技術和眼球追蹤技術是關鍵的解決辦法。前文已寫到，英偉達與七鑫易維展開合作將從底層技術實現 GPU 基於眼球追蹤的注視點優化渲染技術。
（3）眼球觸發的交互界面
VR 中的交互目前還是一個尚需探索的領域，用戶已經習慣了2D的平面界面信息呈現，在進入 VR 里時會出現信息迷失的狀態。在很多的試驗中發現，用戶不會通過轉動頭部來獲取整個環境信息，也很難自己找到隱藏的菜單和選項，通常需要工作人員的指引或者是遊戲語音的引導。
眼控 VR 將會為 VR 帶來全新的玩法，在射擊類遊戲中可以由眼睛控制光標鎖定，當用戶閉上一隻眼時自動調出瞄准鏡等，還可以根據玩家在遊戲場景中注視點不同觸發不同的劇情，當玩家注視路口時，會自動出現地圖導航，當注視 NPC 不同部位觸發不同的劇情等。除此之外眼控的交互方式還可以應用於遊戲菜單，不需要使用的菜單會自動隱藏，使用時通過眼控觸發，使 VR 界面更加乾淨。
當然，虛擬現實中的交互方式還有待探索，不管是 Leap Motion 主張的手勢交互，還是眼球控制的技術點交互，都必須符合人們的交互習慣。
眼球追蹤的下一步怎麼走？
雖然各大巨頭都各自收購、投資了眼球追蹤技術公司，眼球追蹤技術在解決 VR 因為的眩暈症、提升沈浸感、增強交互方面都有極大的作用，眼球追蹤技術已然成為 AR/VR 發展的關鍵性和基礎性技術。但是目前有一些顯在的問題需要解決。
（1）眼球追蹤產品價格高昂。
Tobii Glass 2 售價最低為 14900 美元，高級版 29900 美元，包括了眼鏡、輔助記錄器和分析軟件。七鑫易維的眼控模組aGlass的售價是單眼1500元，包括一個眼控追蹤配件和三個分別是200度、400度、600度的近視鏡片。The Eye Tribe 的眼球追蹤開發者套件，售價99美元，面向消費者的眼球追蹤盒子，售價199美元。
黃通兵表示，將眼球追蹤模組化集成到頭顯內有望將成本降低到20-30美元，但是即使這樣，要 HTC、Oculus 這樣的頭盔廠商消化這部分的成本，需要擴展眼球追蹤技術的應用場景。目前眼球追蹤的最大價值在於在於與英偉達、AMD 這樣的 GPU 廠商合作，利用注視點渲染技術降低 VR 頭顯對 GPU 的需求。
（2）設備可用性。
眼球追蹤技術針對人眼，因此要對人眼的生物體徵有很好的瞭解，眼球追蹤設備需要能夠識別出不同的健康程度、不同膚色、不同特徵的人眼。目前僅是近視這個問題就會困擾很多做智能眼睛和VR頭盔的用戶，更不用說一些患有斜視的用戶。
另外，我們可以看到目前眼球追蹤的設備有各種不同的形態，包括Tobii 的智能眼鏡、The Eye Tribe 的眼球追蹤盒子、七鑫易維的 VR眼控模組。眼球追蹤盒子的形態顯然更適用於電腦，智能眼鏡可以整合到 AR 眼鏡里。
（3）VR 和 AR 應用差異較大。
目前來看，眼球追蹤技術應用於 VR 是一個必然的趨勢，目前已有帶眼球追蹤的 VR 頭盔 Fove，各大廠商也計劃推出有眼球追蹤功能的 VR 一體機。
英偉達主要是希望以眼球追蹤技術幫助 VR 做注視點渲染，降低 GPU 負載，專注移動 VR 的高通的移動處理器可能集成眼球追蹤算法，更好地支持移動 VR 體驗。
雖然在此文主要集中分析 VR，但是眼球追蹤在 AR 的應用也是不可忽視的，AR 在未來的應用場景會比 VR 更為廣闊。
雷鋒網在採訪國內另一家眼球追蹤技術公司「上海青研」時瞭解到，相比於 VR，上海青研更為傾向於眼球追蹤在 AR 上的應用，青研結合眼控技術與 AR 技術，在可穿戴的 AR 眼鏡上添加眼控模組。
「AR 眼控技術與 VR 眼控技術的應用場景不同：VR 看的是虛擬世界，AR 看的是真實世界；VR 偏重娛樂更多一些，AR 偏重實用更多一些；VR to C 更多一些，AR to B 更多一些。青研公司開發 AR 眼控技術是為了滿足B端客戶的需求。」青研 CEO 杜煜解釋到。AR 和 VR 不僅在客戶群，應用場景上有不同，需要解決的問題也有很大不同。
杜煜認為：「AR 眼控技術與 VR 眼控技術的主要不同在於：VR 眼控需要把眼睛注視點坐標和 VR 屏幕對應，AR 眼控需要把眼睛注視點坐標和真實世界的物體坐標對應，所以在 VR 眼控技術的基礎之上，AR 還需要拍攝用戶前方的真實場景，並將眼睛注視點坐標與真實場景建立起三維的對應關係。AR 眼控的主要難點有：
• 通常 VR 屏幕是 2D 的，但 AR 前置場景是 3D 的。3D 位置坐標與眼睛注視點的匹配比 2D 坐標與眼睛注視點的匹配更複雜。
• AR 眼控比 VR 眼控要求體積更小，功耗更低，工業設計、結構設計、電路設計的要求更高。
• AR 眼控很多場合是室外使用，VR 一般是室內使用，AR 眼控對室外陽光的抗干擾能力要求更高。
（4）合作模式不明朗。
2016年，風投機構 Accel Partners 的科比·富勒（Kobie Fuller）說：「眼球追蹤技術可能非常強大，但從投資角度看，還無法確定其具備的價值。現在有價值數十億美元的眼球追蹤技術公司嗎？我還不知道。」
從目前各大巨頭對眼球追蹤技術公司收購的金額來看，價值數十億美元的眼球追蹤技術公司並不是不可能。7月16日，美國市場研究機構 MarketsandMarkets 發佈了關於眼動追蹤市場的分析報告，其預計該市場在 2023 年將達到 13.765 億美元的市值，2017年-2023年的年均復合增長率為 27.4%。眼球追蹤的軟件和硬件在這幾年都會呈明顯上升趨勢。或許現在仍不明朗的是合作模式，眼球追蹤會成為獨立的產品還是作為內嵌技術？
目前我們看到，眼球追蹤公司也都在生產眼動儀，智能眼鏡等 to C 的產品，以及開些幫助企業開發的 to B 產品，同時也在與大廠合作，做 VR/AR 的外接或內嵌技術，商業模式相對靈活。但是卻始終沒有獲得一個明顯的發展。VR 和 AR 的發展對眼球追蹤技術或許能帶來不一樣的活力。
小結
目前蘋果、Google、Facebook、英偉達、高通這些巨頭公司幾乎佔領互聯網和移動互聯網的大半壁江山，也主導著人工智能、自動駕駛、AR/VR 等前沿技術的發展。資本+技術，巨頭們的任何一個舉動都可能有改變我們的生活的潛力，而雷鋒網通過長期的行業報道發現，近年來巨頭們都在積極佈局眼球追蹤技術，除了眼球追蹤在人機交互的巨大潛能以外，眼球追蹤技術還可能成為 VR 和 AR 的基礎性技術，為 AR 的 VR 的發展提供必要的支持。雖然未來還有不少挑戰，但是我們很欣喜地看到在眼球追蹤技術上，中國公司的發展已經完全與國外接軌，站在同一競爭舞台上。
（注：本文大多數訊息和數據來源於雷鋒網(公眾號：雷鋒網)往期的報道文章，已經附在文末相關文章鏈接中。）
（本文經合作夥伴 雷鋒網 授權轉載，並同意 TechOrange 編寫導讀與修訂標題，原文標題為 〈 深度 | 巨頭都在追逐的眼球追蹤技術，究竟能帶來什麼？ 〉。）
延伸閱讀
全世界的開發者聽令！我大蘋果宣布支援 AR/VR，先讓 iOS 成為世界上最大 AR 平台再說！
看 A 片不用雙手：色情網站 Pornhub 推出結合 VR、會「自己動」的情趣用品
VR 的未來可不是遊戲專屬！星巴克用它來幫助員工學習新技能？
【亞洲．矽谷直播現場】台灣團隊炫到美國 E3 電玩展都醉了：LyraVR 用 VR 創作摸得到的音樂
