電商爬蟲大戰:亞馬遜網站有 80% 以上的點擊率,來自對手的爬蟲機器人

【為什麼我們選這篇文】據路透社報導,今年早些時候,沃爾瑪負責追蹤競爭對手價格的工程師,驚訝地發現,沃爾瑪用來每天檢查亞馬遜幾百萬次的技術突然失靈了。

這並非小事一樁。

更大多數零售商一樣,沃爾瑪非常依賴靠電腦程式掃描競爭對手的網站,來及時調整自己的商品價格。因為,50 美分的差價就可能導致喪失一筆訂單。因此,不只是亞馬遜與沃爾瑪,所有的電商都得玩這種貓捉老鼠的遊戲……(責任編輯:方綺)

亞馬遜作為 B2C 模式為主的電商巨頭,商品價格變動對其的重要性毋庸置疑。憑藉出色的“爬蟲機器人”技術,亞馬遜可以即時追蹤器競爭對手的價格變動,同時又能將對手遮罩在外,讓其無法獲知自家商品的價格動態。

亞馬遜擊敗沃爾瑪的爬蟲機器人

據路透社報導,今年早些時候,沃爾瑪負責追蹤競爭對手價格的工程師,驚訝地發現,沃爾瑪用來每天檢查亞馬遜幾百萬次的技術突然失靈了。

這並非小事一樁。

更大多數零售商一樣,沃爾瑪非常依賴靠電腦程式掃描競爭對手的網站,來及時調整自己的商品價格。因為,50 美分的差價就可能導致喪失一筆訂單。

然而亞馬遜用來阻止這些的新策略——通常被稱為爬蟲機器人,卻挫敗了沃爾瑪的計畫。

據一位知情人士透露,沃爾瑪的技術部門幾個星期以來,一直都找不到破解亞馬遜封鎖的方法。

亞馬遜這次行動,是以一個名為 PhantomJS 的專用流覽器為目標。不同於 IE 流覽器,該流覽器專為程式師而打造的,這說明它的用戶不是普通購物者。據三位知情人透露,亞馬遜設置了數字窗簾,來遮罩被 PhantomJS 的用戶追蹤。

據路透報導,這項行動該並非專門針對沃爾瑪。不過,目前還不清楚是否也影響到了其它公司。

關於《網路爬蟲》

爬蟲機器人的使用,不僅能讓亞馬遜看到競爭對手在做什麼,而且又能遮罩對手的跟蹤,敵明我暗的格局,使得亞馬遜可以掌握價格上的優勢。

前亞馬遜經理 Guru Hariharan 表示:“對標亞馬遜將變得越來越困難。”他現在是加州山景城的零售定價軟體提供商 Boomerang Commerce 的 CEO。

另外,機器人的使用能夠減慢網站的運行,這也是零售商遮罩競爭對手爬蟲的一大原因。

對於這一事件,沃爾瑪的發言人拒絕評論。沃爾瑪表示,公司定期改進技術,並且有多個工具來追蹤商品。他說道,公司不僅僅通過定價來給消費者提供價值,還會通過店內的折扣和其它的福利。

亞馬遜的發言人也同樣否認 1 月的事件,似乎並不希望這件事公開化。 他說,亞馬遜清楚競爭對手在追蹤他們的價格,但卻否認阻止競爭對手。“在如何管理網站的機器人上面,我們最近一如往常,並沒有發生沒有任何改變。”

路透的測試:以 顧客的名義 騙不過亞馬遜

路透社稱,他們採訪了 21 位熟悉機器人及其部署方式的業內人士,當中包括沃爾瑪現在和以前的員工、亞馬遜前員工,以及外部的專家。

大多數人都認為,亞馬遜在新興機器人競爭中佔據上風。

路透社自己也進行了一個為期幾周的測試。他們得出了同樣的結論:在美國的幾家大型零售商當中,亞馬遜擁有最先進的機器人檢測技術,包括自家主頁上的檢測,以及路透社所挑選的兩款價格頻繁變動的商品(德龍咖啡機和羅技攝像頭)的檢測。

這項測試由三藩市出售反機器人工具的公司 Distil Networks 開展的。

在其中一項測試中,Distil 讓機器人訪問各家零售商的網站 3000 次,但會比較緩慢地訪問,以模擬真實顧客的效果。這騙過了大多數的零售巨頭,卻騙不過亞馬遜。

例如,機器人沒有發現亞馬遜上的德龍咖啡機價格,從 4 月 25 日早上起的 24 小時內變化了 4 次(據價格追蹤網站 camelcamelcamel.com 的數據)。

在這期間,該商品的價格變化幅度超過 10%,變動區間為 80.06 美元至 88.16 美元。

在前亞馬遜經理、Madrona Venture Group 常務董事 Scott Jacobson 看來,“ 亞馬遜既有能力去檢測外部的爬蟲機器人,又有資金去應對這種問題。而大多數的零售商則不具備這些條件 。”

路途稱,一位受訪者表示,從幾年前開始,亞馬遜大約有 40 名工程師,負責利用機器人秘密地提取和整理競爭對手的資料。亞馬遜沒有透露該團隊的規模和人員架構。

亞馬遜的技術優勢有利於提升公司的利潤率,也給投資者帶來了豐厚的回報。亞馬遜股價自 2009 年 3 月以來飆漲了約 15 倍,作為對比,標普 500 指數同期僅增長了三倍多。亞馬遜稱,公司在 2015 年錄得 1000 億美元的年銷售額,是史上最快做到這一點的公司。

貓捉老鼠 競爭比比皆是,不只是沃爾瑪和亞馬遜

10 多年前,亞馬遜開創了由機器人定價的先河,在零售業掀起了一場變革。

傳統上,實體店至多一周更改一次價格,因為人手更換價簽需要一定的時間和成本。

然而,在電商領域裡,零售商能輕鬆地更新價格,有時候一天更改好幾會,這得益於電腦的演算法。演算法可以根據庫存水準、銷售預測和競爭對手定價資料來做出價格調整。

為了不被踢出局,紐約線上批發商 Boxed 等公司也開始跟風,依靠爬蟲機器人等各種方式,來確保自己的價格變動不慢于競爭對手,哪怕僅僅是慢 20 分鐘。

Boxed 的首席執行官 Chieh Huang 說:“20 分鐘在耶誕節期間就像一輩子那麼長。”

因為“ 如果我們沒能適當定價,幾乎立刻就會看到銷售額的下降。”該公司主要銷售衛生紙、寵物食品等商品。

在電商領域,爬蟲機器人的使用已經非常普遍。這就像一場貓捉老鼠的遊戲。企業會試圖阻撓競爭對手在自家網站上部署的機器人,同時也費盡心思突破對手的網站防線。

這樣的協力廠商服務比比皆是,來説明那些技術落後的零售商。

為了保護自己的資料,部分零售網站採用了驗證碼(通常有一串扭曲的字母和數位組成),這些驗證碼人類能夠識別,但多數機器人卻無法識別。不過,這引起了部分顧客的不滿,亞馬遜已經不再使用驗證碼。

對於零售商來說,想要突破對方的防線,關鍵是要將自己的電腦程式偽裝成真實的顧客。常見的有兩種方式:

一種方法是,一些定價技術專家會讓程式的電腦游標,在網頁上像真實顧客那樣游走,而不是直接抓取有價值的資料。

另一種是,同時使用多個電腦位址,讓對方無法將一連串的點擊行為追溯到單一來源。

愛爾蘭電商分析公司 Profitero 高級副總裁 Keith Anderson 說:“這就像是軍備競賽。每一周或者每個月,對戰雙方都會拿出一些新招數。”

技術這麼厲害,亞馬遜的網站還是佈滿了爬蟲

儘管亞馬遜實力強悍,但其網站上的網路爬蟲之多還是非常驚人的。

知情人士稱,有時候亞馬遜網站產品上多達 80%的點擊來自爬蟲機器人。相比之下,其它大型零售商網站這一比例,只有三分之一或略多一些。

那麼,都是誰在盯著亞馬遜呢?

除了沃爾瑪這些競爭對手之外,還有研究市場競爭的高校研究人員、搜尋引擎、廣告服務,還有試圖入侵亞馬遜帳號的騙子。

當然,亞馬遜也不會坐視不管。從一項美國專利申請來看,亞馬遜正在研究一項加密技術,讓機器人來解決進入其網頁的複雜演算法。

總之,在不違背法律的前提下,技術明裡暗裡的競爭已經成為現代電子商務不可或缺的一部分。在我們可預見的未來,這種貓捉老鼠的遊戲還會不停地上演。

除了爬蟲大戰,電商還有太多值得注意的眉角!

電商該如何帶領台灣走向國際,創造下一波經濟高峰?2017 年度最大電商盛事 Date 為您解密!

——

(本文經合作夥伴 36 氪授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈 亚马逊赢得对沃尔玛的“价格侦查战”:以“顾客的名义”骗不过我 〉。)

延伸閱讀:

【不是工程師,也可以作文本分析】用 R 與 Python 語言,七步驟解決文本挖掘的一切痛苦
網路王者雅虎之死:從 1000 億市值到 48 億賣身,如今連名字都沒保住
比 Skyscanner 更好用的廉航機票網,最多再省 30-40% 票價──專訪新創 HelloWings


全方位掌握消費者數位軌跡

AI 如何有效提升電商業績、降低導入成本?

《領取白皮書》

點關鍵字看更多相關文章: