美媒記者破解 Amazon 無人超市的辨識系統,成功「偷」走商品

【為什麼我們要挑選這篇文章】Amazon Go Grocery 在今年二月底開幕,跟 Amazon Go 一樣,Amazon Go Grocery 也是無須結帳,拿完就走的商店,只不過擴大到超市規模,感測系統也升級。然而,有記者成功「破解」了 Amazon 的感測系統,讓系統沒感測到商品。他怎麼做到的?(責任編輯:郭家宏)

2018 年,亞馬遜推出了無人便利店 Amazon Go,打著「無需排隊、拿完就走」的理念,在當時掀起了一番熱潮。兩年後,亞馬遜「無人購物」升級,又在西雅圖開設了「Plus 版無人超市」Amazon Go Grocery(以下簡稱 AGG)。

新的超大無人超市占地面積達到了 966 平方公尺,供貨數量與之前的無人便利商店相比也高了一個等級,無人銷售的識別也因此更加困難了。

新開業的無人超市再次吸引了一批想要吃「霸王餐」的挑戰者,一位記者就在這家超市營業的第一天,找到了 bug,透過變裝的方式成功騙過了鏡頭。

Amazon 開設無人超市,天花板上的「天眼」系統升級

與 Amazon Go 相同,AGG 依然採用了 Just Walk Out 技術,融合了電腦視覺,感測器和深度學習。當地的消息人士稱,感測系統被放置在商店的天花板上,彷彿「天眼」一般,而不是當你拿起某樣東西時,會檢測到重量或庫存變化的壓力感應墊。

Amazon Go Grocery 感測器陣列

現在看來,這項技術變得更加成熟了,天花板上的感測器盒中有兩個可見的感測器,而 Amazon Go 的感測器盒中只有一個。

購物時只需在門口掃瞄 Amazon Go App 的 QR code 就可以進入商店,如果帶了朋友或小孩,只要多刷一次,讓同行者先進去就可以了。Just Walk Out 技術可以自動檢測何時從貨架上取走產品或將產品退回貨架,並在虛擬購物車中對其進行追蹤。購物完畢後,可以直接離開商店。隨後會收到收據並向你的亞馬遜帳戶收費。

雖然是無人超市,但並不意味著沒有員工,亞馬遜在官網表示,「員工團隊是 Amazon Go Grocery 體驗中重要的一部分。可以看到我們的員工在門口向購物者打招呼,在貨架區域補貨等。我們只是改變了員工的工作方式,以便他們可以為購物者提供更出色的體驗。」

AGG 占地約 966 平方公尺,提供小型購物車,免費的環保購物袋,還設有一個充滿家居用品的通道,包括洗衣粉和洗髮水,以及一個酒水專區,要求購物者在進入之前向員工出示身份證。

23 歲的 Maddison Nicholas 在無人超市購物時表示,價格似乎比 Whole Foods(也歸亞馬遜所有)或 QFC(優質食品中心)便宜。但是,當購買的商品裝滿購物袋時,她表示,相較於傳統的超市,自動結算系統會讓她在無形中多拿很多商品。

離開商店而無需掃瞄商品結帳總令人有些不安,也許這就是在入口處貼著一個巨大的標語「Just Walk Out Groceries」的原因。

關於亞馬遜全球首家無人超市,《衛報》記者也採訪了周圍的居民。

73 歲的 Stephen Sheldon 家離無人超市 9 個街區,他認為這套自動系統很有趣,但並不是很令人信任。他說:「除非我想好了要買這個商品,否則恐怕我什麼都不會碰。」他家附近有三家普通的雜貨店,所以無人超市不會是他的首選,而且他也更喜歡傳統的雜貨店。

現年 36 歲的 Rex Farrand 則很喜歡這家無人超市,並談到了自動化系統的便捷,「如果我抽空來到這裡,我知道我可以自己決定在超市停留的時間,不會因為排隊結帳而耽誤時間。」

創新總是需要面對考驗的,從技術角度來說,肯定會有很多人好奇這個技術能否準確識別每一個商品,比如在識別橘子和柳橙這種形狀與顏色相似的水果時會不會出現錯誤,甚至有人會去親自試探這個系統有沒有 bug。

記者中途換裝,結帳時部分商品未被系統識別

但是,就像當年第一家亞馬遜無人便利店開業時一樣,一大批科技迷在亞馬遜無人超市開業第一天就各顯神通,希望來挑戰是否能夠逃過高科技的「監視」。

2 月 25 日 AGG 開業當天,Ars Technica 的一名記者 Sam 就來到了這家無人大超市。

首先,為了測試感測器能否準確識別拿起的商品,Sam 的兩隻手分別拿了各種各樣的水果和蔬菜,然後把手伸到背後,在雙肩背包下面交換手上的物品,再把它們放回各自的位置。最後只拿了一個酪梨。

然後,Sam 把目標放在了香蕉上。在當地的超市,普通香蕉和有機香蕉緊挨著,不過後者用黃色膠帶綁了起來。

Sam 把無人超市裡一些普通香蕉捆在一起,模擬成有機香蕉的樣子,在商店裡轉了一圈後,他左手拿著他捆好的香蕉,另一隻手拿著有機香蕉,雙手在背後交換,這個過程中偷偷在他的後背和背包之間塞了一根香蕉。再把剩下的兩捆香蕉放回各自的箱子裡,接著他去了在 Amazon Go 裡沒見過的地方:洗手間。

這些感測器「目送」Sam 走進了洗手間,進去後他就立刻打開背包,把香蕉放了進去。當時甚至覺得自己的行為有些滑稽,「這根香蕉可能並沒有被鏡頭察覺到,我做這些是要幹嘛?」這時突然 Sam 的腦子裡閃過一個念頭:換裝。

因此 Sam 穿著一件黃色的長袖襯衫和一個背包走進了這家超市,又穿著一件灰色的夾克和一件藍色的 T 恤走了出去。另外,他把背包放在胸前,還摘下了戴在頭上的那副太陽眼鏡。

系統對他的訂單果然處理了很久,在他走出商店 4 個小時後,終於收到了來自 Amazon Go 的通知:你的訂單已處理!結果很有趣:

Sam 在換裝之前的一系列操作均未妨礙到 AGG 的感測器陣列,準確地識別出他拿的一個酪梨,以及藏在身後的一根香蕉。但是,他換好衣服離開洗手間後,又拿了兩件物品,總計 6 美元(約新台幣 180 元),系統並未識別出是 Sam 所拿。而且他的購物時間並不是頁面上顯示的 2 小時 23 分,實際上 Sam 只在超市停留了 20 分鐘。

當然,記者 Sam 只是想要測試系統,並非盜竊,他表示自己會退還那些沒有收費的商品。

其實,早在兩年前無人便利店 Amazon Go 開業時,就有一些好奇的同學想要做一些大膽的嘗試。

曾有一位同學,在便利商店晃了一圈之後,為了不讓鏡頭看到他,他拉起毛衣包住臉,悄悄趁著沒人,把一根營養棒放進兜裡;感覺有點渴了,又往包包裡放了一瓶礦泉水。

為了進一步測試亞馬遜的安保能力,他還在 App 裡點擊了「退出登錄」,把自己的亞馬遜帳號登出了。

表面上無事發生,然而當他走出便利商店 5 分鐘後,便收到了電子憑證,一樣不少。

這位同學自己也調侃道,「不要耍小聰明,果然貝佐斯是不會放過我的。」

人家從 16 年就開始試營運,到現在對於 Just Walk Out 這項技術一定是絶對自信的,那這項技術究竟厲害在哪裡呢?

亞馬遜系統原理:識別顧客與商品的關係

早在 2016 年,亞馬遜推出無人便利商店體驗店時,就刷爆了美國內外的社群媒體。這種行動支付顛覆了既有商品交易方式,莫名有一種「搶劫」的快感。

人們被這種新奇的,似乎隱含了某種黑科技的新型購物方式所吸引。不僅是普通人,就連史丹佛教授李飛飛、著名科技出版公司 O’reilly 創始人 Tim O’Reilly 都特地發推點讚。

李飛飛:計算機視覺十分顯著和絶妙的應用!
Tim O’Reilly:零售業的未來,我對此已經期待很多年了。

在 Quora 上,有一位名為 Brian Roemmele 的網友挖出了幾年前亞馬遜提交的兩份專利文件,都描繪了十分龐雜的應用場景,包括:貨倉、船運、零售市場等。

這兩份文件名稱為:「偵測物體互動和移動」(Detecting item interaction and movement)和「物品從置物設備上的轉移」(Transitioning items from the materials handling facility),兩文件分別於 2013 年和 2014 年申請。

亞馬遜在 2014 年提交的相關專利報告中解釋道,比起僅依賴人臉識別的識別/反作弊機制,他們採用的是一種更系統的方法。

在天花板上佈置了上百個鏡頭,當顧客走進商店時,鏡頭會自動識別顧客,並在顧客掃碼入場時登記顧客的亞馬遜帳號。一旦顧客進入店內,鏡頭會一直跟蹤顧客的行動,並透過多個鏡頭的配合鎖定顧客的位置。

為了減少誤差,亞馬遜無人店的貨架和天花板上也裝置了多個麥克風,可以根據音頻回傳的時差輔助定位顧客。

我們可以從下面一張圖裡,一窺亞馬遜無人商店的基本原型。

專利文件裡描述到,天花板上的 208 用來採集用戶和貨品的位置、貨架兩側的 208 用來捕捉用戶的圖象和周圍的環境,貨架內的 208 用來確定貨品的位置或用戶手的移動(進入和離開貨架)。

雷鋒網曾採訪無人零售商店創業者陳維龍,他把 Amazon Go 系統分為三部分:人、貨架、進出口。其中硬體軟體構成如下表:

總結來說,亞馬遜無人商店的反作弊/識別系統是透過「商品—識別動作—識別承受動作的商品—商品與用戶清單/用戶關聯」進行運作的。

對反作弊/識別系統而言,它只需要知道哪些商品被拿走或放回了,並且知道是誰實施的,那麼就知道是誰購買/放回了什麼商品。最後在出口(轉移區),顧客刷卡確認顧客與商品的關係即可。

亞馬遜的一位發言人表示,「我們花了絶大多數時間來考慮改善 99.9% 的善意購物者的體驗,而不是設計一個專注於阻止少數壞人的系統。」

「總結來說,我們的技術是高度精確的。」

(本文經合作夥伴 大數據文摘 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈亚马逊首家“无人超市”系统存在 bug?!开业当天,记者中途换装成功骗过摄像头 〉。首圖來源:Flickr CC Licensed

更多關於 Amazon 的消息

Amazon 為什麼成功?日籍創始元老分享 15 年工作經驗,告訴你貝佐斯重視哪些職場法則!
為何 Amazon 要積極投資汽車科技?除了搶電動車市場,更是為了電商的布局
Amazon Go 可以用「現金」支付?沒問題,如果你臉皮夠厚


科技報橘 LinkedIn 上線!

最新科技產業動態、技術新突破、專業職能技巧提升 ....... 鎖定 TO  LinkedIn 專業品牌,提升職能與產業 Know-how,躋身產業菁英之列 https://www.linkedin.com/showcase/techorange

點關鍵字看更多相關文章: