地鐵 2 號線百度 AR 專列,廣告位上都是北京城門的老照片。

【為什麼我們挑選這篇文章】中國佈局人工智慧領域的積極,可以從他們的企業發展上看到。百度成立的第四大實驗室「AR Lab」,是以 AR(擴增實境)為基礎所設立,其中百度首席科學家,同時也是史丹佛人工智慧實驗室的主任─吳恩達表示,AI 技術是 AR 發展的核心,足以看出 AI 的重要性。

除了百度設立 AR實驗室,並推出這次以 AR 復原古蹟的功能外,阿里巴巴的支付寶也推出 AR 實景紅包,騰訊的 QQ 也有 AR 火炬的活動。中國互聯網這三大巨頭同時往 AR 領域的方向走,如果就像吳恩達所說,AI 技術是 AR 的核心,想必 AI 接下來在中國會有重大的發展!(責任編輯:張瑋倫)

伴著北京2017 年的第一場雪,百度再次召集媒體開了一次AR 復原北京老城門的活動,此前媒體曾被邀請去參觀百度用AR 復原朝陽門。

不同的是,這次百度復原了老北京九大城門中的另外八座城門,還新增了兩個玩法,並邀請了百度首席科學家吳恩達參加,同時宣布成立百度AR Lab,要打造一個AR 平台。

AR 復原老北京九大城門

百度這次選擇了北京西直門的2 號線和13 號線換乘大廳、地鐵2 號線的一輛百度AR 專列上,展示老北京內城九大城門的100 年前老照片。九大城門分別是正陽門、德勝門、崇文門、朝陽門、西直門、東直門、阜成門、宣武門、安定門。

吳恩達在北京地鐵西直門站。

百度提供了三種 AR 玩法:

方法一:掃一掃

打開手機百度App,點擊拍照按鈕,在通用模式下對準九大城門的老照片拍照,點擊「發現AR動畫」,然後繼續對準手繪的城門觸發圖,便可看到已經消逝的北京老北京九大城門復現出來。

方法二:搜一搜

打開手機百度App,搜索九大城門關鍵詞,點擊搜索結果中訊息卡片(阿拉丁卡片),攝影鏡頭自動調起,對準任何紋理豐富的物體(如手心、鍵盤、雜誌、公交卡等等) ,即可看到九大城門的AR 效果(見下圖)。

手機百度搜索「正陽門」,手心觸發AR。

方法三:實景觸發

正陽門的實景觸發也已經實現,並採用SLAM 技術(Simultaneous Localization And Mapping,即時定位與地圖構建技術)。只需用手機或平板對準正陽門,就能觸發3D AR 內容(見下圖)。不過這次只演示了Demo ,用戶還無法使用。

SLAM 技術和UDT 技術

百度此次展示的AR 技術比復原朝陽門時更進一步,上一次用戶只能用手機百度對準老城門的畫作來觸發AR,這次是直接對準老照片,識別難度更高。同時還新增了搜一搜和實景觸發兩種玩法,背後分別對應的是UDT 技術和SLAM 技術。

SLAM 技術

本次在正陽門實景觸發測試中,百度採用了自主研發的SLAM技術。SLAM技術是機器人 (計算機)在未知的環境下,利用感測器(camera, laser, IMU等)來估計自身的姿態(包括位置和朝向),同時建立周圍環境的地圖。

SLAM在無人車、無人機和AR上都有非常重要的應用。百度研發的SLAM技術可以做到低功耗、高即時性,支持多種數據源,比如單目、雙目、RGBD等。

SLAM 與IMU 技術的區別:

手機端IMU (Inertial Measurement Unit) 慣性測量單元誤差較大,只適合估計手機朝向(3 自由度),比如橫屏/豎屏,傾斜等方向,不能用來估計位置計算。SLAM 不僅能估計手機三維朝向,還能估計手機的三維位置(6 自由度)。

SLAM技術與IMU技術區別圖。

對於AR 來講,傳統的虛實結合是在二維圖像上疊加虛擬三維物體。視覺SLAM 算法可以使得AR 系統理解周圍的三維環境,從而把虛擬的物體放到合適的位置。更進一步,虛擬物體可以與現實的三維環境發生互動,產生更有趣的互動方式。

SLAM的核心有兩個部分:

第一部分是估計計算機的姿態(計算機在三維空間中的位置和朝向訊息)。

第二部分是建立周圍環境的三維地圖(稀疏或者稠密的三維點雲)。

對於AR 廣告,SLAM 可以讓廣告不再受限於預先制定好的海報、平麵包裝等。例如,用戶可以在家裡打開手機百度,查看一款網上的沙發和客廳是否搭配,或者可口可樂公司做一款AR廣告,讓運動員圍繞可樂罐跑步等。

百度SLAM 技術基本情況與上線時間

百度ARLab 負責人吳中勤向雷鋒網介紹了百度SLAM 技術的基本情況,並透露未來三個月這項技術將上線到手機百度,他說:

其實SLAM 這套技術百度最早有積累的,我們最早有一個無人機的團隊,在那個團隊裡面我們要解決無人測試導航定位的問題,一定要先上這一套技術,當時我們開始了研發。

無人機那個項目做了一段時間之後,就覺得它的場景比較偏少,所以我們同時還有一個無人車的項目,其實無人車的項目裡面我們SLAM 得到了最大的應用發揮。

這一次的這套技術其實跟那個框架有類似的地方,它的特點就是不像無人車一樣具有這麼好的感測器和這麼豐富的電源,所以更多的使用一些額外的技術。

比如說我們這邊使用的技術就會更加考慮視覺幀與幀之間的關聯和空間中的定位。它對性能的要求特別高,而手機本身的計算能力不是特別強,同時支持多幀的採樣,這個角度我們做了大量工作。

我們技術上基本上準備好了,後面有很多優化工作讓他體驗更好,等大小和體積這方面打磨好,我們就會在大概三個月的時間上線這樣一個功能。

UDT 技術

傳統基於圖像跟蹤的AR 技術需要預先確定一張圖片,用戶必須有一張完全相同的圖像,才能展示AR。通過UDT (User Defined Target) 用戶自定義目標技術,這個限制被去掉,讓用戶隨手找一張有紋理的圖案即可展示AR效果(如公交卡,圖書,手心、鍵盤等)。

UDT利用多線程、GPU等加速算法,可以即時估計圖像中的複雜特徵訊息,從而計算出空間三維位置。

成立AR Lab,打造AR 平台

藉著展示復原老北京九大城門這個機會,百度今天宣布成立第四大實驗室——擴增實境實驗室(AR Lab),由吳中勤負責,屬於由首席科學家吳恩達負責的百度研究院。百度研究院此前已經擁有了三大實驗室:矽谷人工智慧實驗室、北京深度學習實驗室(原深度學習研究院)和北京大數據實驗室。

百度AR 技術架構圖。

據吳中勤介紹,百度移動端的AR技術共分圖像識別、三維感知與跟蹤、人機互動、三維渲染與虛實融合四大部分:

物體識別是AR的基礎功能,通過攝影鏡頭識別場景中的物體,觸發相關AR,並在雲端找到相應的虛擬物體與訊息。

目前主要AR技術非常依賴圖像識別技術,從圖像識別來說,百度有整個互聯網的大幾百億的圖片數據,而且識別的速度非常快,如果大家使用過我們拍照識別的軟體,可以知道它能夠以非常快的速度(大概小幾百毫秒)返回結果,在四五百億的圖片庫裡面進行快速的檢索。

三維感知與跟蹤則通過自主研發的相機追蹤算法為AR提供快速穩定的相機姿態估算結果,適應AR技術在移動設備上的運行要求。

我們在跟蹤速度上可以做到10毫秒級的快速跟蹤,完全可以做離線的計算,同時還有比較強的抗干擾能力,就是對畫面的遮擋,對物體部分的遮擋可以快速的響應還有快速的重定位,當攝影鏡頭移開的時候可以計算到攝影鏡頭重新定位的方位。

人機互動技術可利用語音和手勢減少用戶觸屏操作,為用戶帶來更好的互動體驗。比如說語音識別,百度的語音識別擁有非常高的精確度,達到97%。

跨平台的可以將虛擬三維物體渲染到現實三維渲染引擎環境中,從而實現虛實融合效果。我們的3D渲染目前可以做到跨平台,體量可以做到1M左右,這樣互聯網上大部分移動APP都可以集成這樣一個SDK和AR服務。

百度ARLab 負責人吳中勤。

AR 平台

百度AR 的產品主要是以平台的形式面向行業合作夥伴,推出了DuMix 產品體系。這個體系主要包含AR SDK 和AR 編輯器。其中AR SDK 支持iOS 和Android,包括渲染引擎和底層算法;AR 編輯器包括AR 行業模板和3D 快速建模工具。

DuMix 產品體系。

據吳中勤介紹,百度AR SDK 可以支持實際物體的AR,也可以支持整個以AR 驅動的互動遊戲,比如說沒有觸發物,基於手部、人臉會有特殊的一些互動效果。百度裡面目前幾個比較大體量的移動APP 都已經支持這樣的效果,大家陸續都會在各個場合看到百度系的軟體具備這樣的能力。

DuMix 可以支持各種各樣的應用場景,百度在現場列舉了AR 遊戲、AR 娛樂和AR 旅遊。並以品牌營銷為例,介紹了一個Dumix 的應用流程(見下圖)。

吳恩達:AI 技術是AR 的核心

吳恩達這次是專程從美國回來參加百度AR復原北京老城門活動的,他對雷鋒網透露,自己60%時間在矽谷,40%在中國。吳恩達對AR非常看好,並且他認為AI技術是AR的核心,而百度內部認為人工智慧是新的電能。他說:

今天最核心的人工智慧技術就是圖像技術,因為需要使用圖像技術來理解這張圖裡面的內容到底是什麼,也需要用圖像技術來做視覺定位,才可以即時把虛擬技術放進去,如果有人臉也可以疊加虛擬內容。

未來人工智慧還有好幾個技術會對AR 非常重要,因為如果你拿著手機去看AR的內容,如果你想跟你的手機互動,最重要、最方便的方式就是自己講話,所以我們團隊也在探索怎麼樣用語音識別讓你一邊看擴增實境內容,一邊跟他互動。

我們已經跟很多公司合作,為用戶提供了很多非常有意思的擴增實境的內容,其實我覺得AR的未來是有非常大的潛力。

今天AR為歷史領域帶來非常有意義的體驗,我希望未來AR也可以在很多領域,包括教育、醫療、理療、旅遊、生活等等也為人機互動帶來改變,讓大家更自然、更方便的探索世界。

我覺得今天AR的技術已經做的不錯,不過我們還有很大的空間把這些AR技術做的更好。

在接受媒體採訪時,吳恩達表示百度開始AR 方面的工作大概是兩年前,並認為相比眼鏡,手機會是更方便AR 應用平台。

在國外有人做AR 或者VR 的硬體,我覺得如果我們想為很多用戶提供AR 體驗,可以把AR 體驗放進手機端,用戶比較方便,不需要買好幾千塊的這種東西。

在提到中美AR 發展對比時,他認為AR 技術在中國的發展會比美國快。

我覺得AR在中國比美國發展要快,有兩個想法。首先,美國很多人都是先使用PC,習慣用PC後來才開始用手機,所以很多手機的創新工作都是在中國先看到。

另外一個原因就是中國有比較多人聚在一個城市裡,AR 也是手機端的一個例子,因為中國的人比較多,在地鐵有不少人坐地鐵,所以把AR 的圖像切進去地鐵,就可以給非常多人體驗。

AR:BAT 的新戰場

AR 正成為下一個大技術熱點,目前,不僅是百度,BAT 三巨頭都在積極佈局AR 技術。

  • 阿里這邊,支付寶推AR 實景紅包,淘寶對VR 購物進行了探索,阿里還投資了AR 初創公司Magic Leap。
  • 騰訊方面,QQ 除了也推AR 實景紅包,還玩過AR 火炬等各種應用,有超過1億用戶參與,而根據雷鋒網獲得的消息,騰訊今年還將推出名為QAR 的AR 開放平台,將AR 集成到旗下各大應用程式中去。

百度的AR 開放平台,加上騰訊AR 開放平台QAR,以及阿里在AR 領域的眾多探索,顯示出,BAT 又在AR 領域聚首了。

(本文經合作夥伴雷鋒網授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為〈百度成立第四大實驗室AR Lab,吳恩達認為AI 技術是AR 的核心〉。)

延伸閱讀

AI 將創造數億至數兆美元的產業,這顆巨大商機球中國已經抓住,那台灣呢?
【中國最重要互聯網大會報導】百度創辦人:網路已經稱不上是產業,未來關鍵字是人工智慧
百度祕謀擊敗 Google 的秘密武器: Deep Learning