【為什麼我們選這篇文】據路透社報導,今年早些時候,沃爾瑪負責追蹤競爭對手價格的工程師,驚訝地發現,沃爾瑪用來每天檢查亞馬遜幾百萬次的技術突然失靈了。

這並非小事一樁。

更大多數零售商一樣,沃爾瑪非常依賴靠電腦程式掃描競爭對手的網站,來及時調整自己的商品價格。因為,50美分的差價就可能導致喪失一筆訂單。因此,不只是亞馬遜與沃爾瑪,所有的電商都得玩這種貓捉老鼠的遊戲……(責任編輯:方綺)

亞馬遜作為B2C模式為主的電商巨頭,商品價格變動對其的重要性毋庸置疑。憑藉出色的“爬蟲機器人”技術,亞馬遜可以即時追蹤器競爭對手的價格變動,同時又能將對手遮罩在外,讓其無法獲知自家商品的價格動態。

亞馬遜擊敗沃爾瑪的爬蟲機器人

據路透社報導,今年早些時候,沃爾瑪負責追蹤競爭對手價格的工程師,驚訝地發現,沃爾瑪用來每天檢查亞馬遜幾百萬次的技術突然失靈了。

這並非小事一樁。

更大多數零售商一樣,沃爾瑪非常依賴靠電腦程式掃描競爭對手的網站,來及時調整自己的商品價格。因為,50美分的差價就可能導致喪失一筆訂單。

然而亞馬遜用來阻止這些的新策略——通常被稱為爬蟲機器人,卻挫敗了沃爾瑪的計畫。

據一位知情人士透露,沃爾瑪的技術部門幾個星期以來,一直都找不到破解亞馬遜封鎖的方法。

亞馬遜這次行動,是以一個名為PhantomJS的專用流覽器為目標。不同於IE流覽器,該流覽器專為程式師而打造的,這說明它的用戶不是普通購物者。據三位知情人透露,亞馬遜設置了數字窗簾,來遮罩被PhantomJS的用戶追蹤。

據路透報導,這項行動該並非專門針對沃爾瑪。不過,目前還不清楚是否也影響到了其它公司。

關於《網路爬蟲》

爬蟲機器人的使用,不僅能讓亞馬遜看到競爭對手在做什麼,而且又能遮罩對手的跟蹤,敵明我暗的格局,使得亞馬遜可以掌握價格上的優勢。

前亞馬遜經理Guru Hariharan表示:“對標亞馬遜將變得越來越困難。”他現在是加州山景城的零售定價軟體提供商Boomerang Commerce的CEO。

另外,機器人的使用能夠減慢網站的運行,這也是零售商遮罩競爭對手爬蟲的一大原因。

對於這一事件,沃爾瑪的發言人拒絕評論。沃爾瑪表示,公司定期改進技術,並且有多個工具來追蹤商品。他說道,公司不僅僅通過定價來給消費者提供價值,還會通過店內的折扣和其它的福利。

亞馬遜的發言人也同樣否認1月的事件,似乎並不希望這件事公開化。他說,亞馬遜清楚競爭對手在追蹤他們的價格,但卻否認阻止競爭對手。“在如何管理網站的機器人上面,我們最近一如往常,並沒有發生沒有任何改變。”

路透的測試:以顧客的名義騙不過亞馬遜

路透社稱,他們採訪了21位熟悉機器人及其部署方式的業內人士,當中包括沃爾瑪現在和以前的員工、亞馬遜前員工,以及外部的專家。

大多數人都認為,亞馬遜在新興機器人競爭中佔據上風。

路透社自己也進行了一個為期幾周的測試。他們得出了同樣的結論:在美國的幾家大型零售商當中,亞馬遜擁有最先進的機器人檢測技術,包括自家主頁上的檢測,以及路透社所挑選的兩款價格頻繁變動的商品(德龍咖啡機和羅技攝像頭)的檢測。

這項測試由三藩市出售反機器人工具的公司Distil Networks開展的。

在其中一項測試中,Distil讓機器人訪問各家零售商的網站3000次,但會比較緩慢地訪問,以模擬真實顧客的效果。這騙過了大多數的零售巨頭,卻騙不過亞馬遜。

例如,機器人沒有發現亞馬遜上的德龍咖啡機價格,從4月25日早上起的24小時內變化了4次(據價格追蹤網站camelcamelcamel.com的數據)。

在這期間,該商品的價格變化幅度超過10%,變動區間為80.06美元至88.16美元。

在前亞馬遜經理、Madrona Venture Group常務董事Scott Jacobson看來,“亞馬遜既有能力去檢測外部的爬蟲機器人,又有資金去應對這種問題。而大多數的零售商則不具備這些條件。”

路途稱,一位受訪者表示,從幾年前開始,亞馬遜大約有40名工程師,負責利用機器人秘密地提取和整理競爭對手的資料。亞馬遜沒有透露該團隊的規模和人員架構。

亞馬遜的技術優勢有利於提升公司的利潤率,也給投資者帶來了豐厚的回報。亞馬遜股價自2009年3月以來飆漲了約15倍,作為對比,標普500指數同期僅增長了三倍多。亞馬遜稱,公司在2015年錄得1000億美元的年銷售額,是史上最快做到這一點的公司。

貓捉老鼠競爭比比皆是,不只是沃爾瑪和亞馬遜

10多年前,亞馬遜開創了由機器人定價的先河,在零售業掀起了一場變革。

傳統上,實體店至多一周更改一次價格,因為人手更換價簽需要一定的時間和成本。

然而,在電商領域裡,零售商能輕鬆地更新價格,有時候一天更改好幾會,這得益於電腦的演算法。演算法可以根據庫存水準、銷售預測和競爭對手定價資料來做出價格調整。

為了不被踢出局,紐約線上批發商Boxed等公司也開始跟風,依靠爬蟲機器人等各種方式,來確保自己的價格變動不慢于競爭對手,哪怕僅僅是慢20分鐘。

Boxed的首席執行官Chieh Huang說:“20分鐘在耶誕節期間就像一輩子那麼長。”

因為“如果我們沒能適當定價,幾乎立刻就會看到銷售額的下降。”該公司主要銷售衛生紙、寵物食品等商品。

在電商領域,爬蟲機器人的使用已經非常普遍。這就像一場貓捉老鼠的遊戲。企業會試圖阻撓競爭對手在自家網站上部署的機器人,同時也費盡心思突破對手的網站防線。

這樣的協力廠商服務比比皆是,來説明那些技術落後的零售商。

為了保護自己的資料,部分零售網站採用了驗證碼(通常有一串扭曲的字母和數位組成),這些驗證碼人類能夠識別,但多數機器人卻無法識別。不過,這引起了部分顧客的不滿,亞馬遜已經不再使用驗證碼。

對於零售商來說,想要突破對方的防線,關鍵是要將自己的電腦程式偽裝成真實的顧客。常見的有兩種方式:

一種方法是,一些定價技術專家會讓程式的電腦游標,在網頁上像真實顧客那樣游走,而不是直接抓取有價值的資料。

另一種是,同時使用多個電腦位址,讓對方無法將一連串的點擊行為追溯到單一來源。

愛爾蘭電商分析公司Profitero高級副總裁Keith Anderson說:“這就像是軍備競賽。每一周或者每個月,對戰雙方都會拿出一些新招數。”

技術這麼厲害,亞馬遜的網站還是佈滿了爬蟲

儘管亞馬遜實力強悍,但其網站上的網路爬蟲之多還是非常驚人的。

知情人士稱,有時候亞馬遜網站產品上多達80%的點擊來自爬蟲機器人。相比之下,其它大型零售商網站這一比例,只有三分之一或略多一些。

那麼,都是誰在盯著亞馬遜呢?

除了沃爾瑪這些競爭對手之外,還有研究市場競爭的高校研究人員、搜尋引擎、廣告服務,還有試圖入侵亞馬遜帳號的騙子。

當然,亞馬遜也不會坐視不管。從一項美國專利申請來看,亞馬遜正在研究一項加密技術,讓機器人來解決進入其網頁的複雜演算法。

總之,在不違背法律的前提下,技術明裡暗裡的競爭已經成為現代電子商務不可或缺的一部分。在我們可預見的未來,這種貓捉老鼠的遊戲還會不停地上演。

除了爬蟲大戰,電商還有太多值得注意的眉角!

電商該如何帶領台灣走向國際,創造下一波經濟高峰?2017 年度最大電商盛事 Date 為您解密!

——

(本文經合作夥伴36氪授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為〈亚马逊赢得对沃尔玛的“价格侦查战”:以“顾客的名义”骗不过我〉。)

延伸閱讀:

【不是工程師,也可以作文本分析】用 R 與 Python 語言,七步驟解決文本挖掘的一切痛苦
網路王者雅虎之死:從 1000 億市值到 48 億賣身,如今連名字都沒保住
比 Skyscanner 更好用的廉航機票網,最多再省 30-40% 票價──專訪新創 HelloWings