【為什麼我們挑選這篇文章】亞馬遜開了家超商，名叫「Amazon Go」，消費者不用帶錢，也不用到櫃台結帳，只要有一支手機和能相對應的 App，就能進入這個商店購買各種商品。
裡面運用何種科技？這是許多人的疑問，不過有人翻出幾年前亞馬遜交付的 2 份專利文件，居然和 Amazon Go 的服務有相當大的關聯，原本大家以為這只是亞馬遜為他們的倉儲系統所打造，看來亞馬遜不只準備很久，還在保密上做的相當完善。（責任編輯：張瑋倫）
今天（12/6）的 Amazon Go 刷爆了國內外的社交媒體。
Amazon Go 令人驚豔的地方，就是你可以徑直走進超市，選好貨品之後立馬離開，不用在收銀台前排長長的隊伍，等待結帳。
甚至還莫名有一種從商店「搶劫」的快感。
我們說，移動支付顛覆了既有商品交易方式，那麼這種「搶劫式」的 Amazon Go 甚至連「交易感」都消滅了。
總之，人們被這種新奇的似乎隱含了某種黑科技的新型購物方式所吸引。不僅是普通人，就連史丹佛教授李飛飛、著名科技出版公司 O’reilly 創始人 Tim O’Reilly 都特地發推點讚。
李飛飛：計算機視覺十分顯著和絕妙的應用！
Tim O’Reilly：零售業的未來，我對此已經期待很多年了。
Amazon Go 的亮點
用戶進入商店，穿過閘機的時候打開手機讓其識別，這時手機裡的系統啟動，並隨時準備更新物品清單。令人驚豔的部分就是，在用戶拿走或放回物品的一瞬間，手機裡的系統會自動更新清單。最後，用戶拿著物品滿意地離開，手機自動扣款。
這裡面到底有什麼黑科技呢？就官方發布的影片來看，技術亮點有三個：機器視覺、深度學習算法和感測器融合。
但僅有這幾個關鍵詞還是不夠的，雷鋒網遂向亞馬遜在職員工進行採訪，但是對方表示 Amazon Go 還屬於保密項目，公司要求不能對外透露任何細節。
不過在 Quora上，有一位名為 Brian Roemmele 的網友挖出了幾年前亞馬遜提交的兩份專利文件，裡面描繪的系統跟如今的Amazon Go非常相似。
這兩份文件名稱為：「偵測物體互動和移動」（Detecting item interaction and movement）和「物品從置物設備上的轉移」（Transitioning items from the materials handling facility），兩文件分別於2013年和2014年申請。
這兩份專利文件都描繪了十分龐雜的應用場景，包括：貨倉、船運、零售市場等，所以很多人當初在看到這份文件時，都以為這是亞馬遜為自己的倉儲系統量身定制的，不過今天一切真相大白。
這兩份專利分別講了什麼？
「偵測物體互動和移動」（Detecting item interaction and movement）這份專利的摘要是：
用戶從一個貨架上拿起或放下一個物品，貨物管理系統可以偵測到這個動作，並且更新用戶移動設備裡的清單。
「物品從置物設備上的轉移」（Transitioning items from the materials handling facility）這份專利的摘要是：
物品被識別，並且當用戶正在拿起物品時，物品自動與用戶發生關聯。當用戶進入或穿過一個「轉移區」（Transition Area），被拿起的物品將自動轉移到用戶，而不需要用戶有任何的輸入。
總的來說就是，被識別的物體與用戶發生關聯，能自動更新清單，並在「轉移區」進行自動交易（「轉移區」在 Amazon Go 裡指的就是商店的出口）。
我們可以從下面一張圖裡，一窺 Amazon Go 的基本原型。
圖中代號為208的物體都是攝影鏡頭，大約有10多個（有一些被人體擋住）。208攝影鏡頭分別置於天花板（如圖左右兩邊各有一個比較大的攝影鏡頭）、貨架兩側和貨架內部。
文件裡描述到，天花板上的208用來採集用戶和貨品的位置、貨架兩側的208用來捕捉用戶的圖像和周圍的環境，貨架內的208用來確定貨品的位置或用戶手的移動（進入和離開貨架）。
而從影片裡，我們隱約能夠看到安置在貨架內部的攝影鏡頭。
要知道 Amazon Go 中 AI 超市的秘密嗎？來 Connect
另外，專利文件裡還補充道：這裡的攝影鏡頭可以是多種類型的，可以是 RGB 攝影鏡頭，或深度感知攝影鏡頭。除了攝影鏡頭之外，也可以有其他輸入設備，比如壓力感測器、紅外線感測器、體積位移感測器、光幕等等。壓力感測器可以偵測物品移出和進入的時間，紅外線感測器可以用來區分用戶和的手和物品。
我們具體並不清楚 Amazon Go 到底在多大程度上使用了計算機視覺技術。比如說，當用戶進出商店時，都需要對用戶進行識別，文件裡反复提到可以用人臉識別技術實現，但是又會繼續補充說明可以通過手機等移動設備來偵測。
Quora 網友 Anurag Ranjan 是一位機器視覺和深度學習領域的準 PhD，他分析稱：
Amazon Go 使用商店裡的攝影鏡頭識別出了用戶，可能針對用戶拍了幾張照片，依靠一些標準的深度學習網路形成了一幅特徵圖，比如 Resnet、GoogLeNet 或者 VGG 這樣的。
總之，當用戶踏進店裡的那一刻起，Amazon Go 就知道用戶長什麼樣了。
但是根據專利和既有經驗來看，在整個過程中用計算機視覺來追踪用戶，代價太高了。我們大致可以確定的是，貨架上的一排排攝影鏡頭應該就是對用戶進行「 動作識別 」，並且識別出物體是否被拿走（這裡也或許是感測器實現的）。
不過整個過程中的難點是，如何將物品與用戶進行唯一綁定？
雲從科技高級算法工程師周翔告訴雷鋒網，Amazon Go 具體用到哪些技術，目前我們只能夠猜測，他提到可能的實現機制是：
通過手機做到了精準定位人，然後物體的具體位置可以大概確定，一旦人附近的物品離開，同時最近的人的 ID 就會關聯這個物品 ID。
置物架肯定用到了壓力感測器，一旦物品離開，就會明確知道什麼物品在什麼地點離開，一旦物品回來，壓力感測器同樣會感應到。
深度學習可能是學習了人的購物習慣，可能用到計算機視覺做了人的動作識別，然後根據物品與人的 ID 進行關聯，也就是二次確認。同時分析一個人的購物喜好，推測他會買的東西，提前做一些預判。
周翔提出，可能 Amazon Go 根本沒有用到人臉識別的技術，「國外對人臉的隱私權是比較高的，未經允許採集他人的人臉會被起訴的」。雷鋒網也關注到，在李飛飛的那篇推文下，有網友對此持抵觸態度，認為如果是人臉採集，侵犯了自己的隱私。
Amazon Go 的出現驚艷了很多人，不過並不是所有人對此表示歡迎，除了上文提到的隱私問題外，有不少人擔憂，如果這種技術大範圍普及（我們知道亞馬遜是多喜歡 2B 業務），大量超市收銀員將會失去工作，畢竟亞馬遜在影片裡承諾要在2017年初，於西雅圖上線第一家 Amazon Go。
不過這種技術究竟有多少「實操性」，還是存在很多的疑惑的，例如：
- 如果好幾個人擠到一起買同一類東西（比如商場打折搶貨，這是經常發生的），那麼物品與人的 ID 關聯還能保持精準嗎？
- 如果用戶把商品放回的位置是錯的呢，這樣也會被收費嗎？
- 如果有人搞怪，將自己家空果汁瓶取代商店裡的新鮮果汁，那麼 Amazon Go 識別的出來嗎？
「所以，這裡要求購物的人得非常有素質才行」，周翔對雷鋒網說道。我們對 Amazon Go 的諸多疑惑，或許過幾個月就能在西雅圖見分曉。
（本文經合作夥伴雷鋒網授權轉載，並同意 TechOrange 編寫導讀與修訂標題，原文標題為〈從2份專利文件，一窺Amazon Go到底藏了什麼黑科技？〉。圖片來源：Amazon Go 影片截圖）
延伸閱讀
【便利商店 2.0】亞馬遜開店「Amazon Go」，買東西拿了就走，趕上班不用排隊結帳！
「社群一哥」Facebook VS.「零售霸主」Amazon，零售產業「第三次世界大戰」究竟誰能勝出？
從得金球獎到開放電影線下看，Amazon 在乎的從來只有一項「零售」
