跟 Netflix 學做 A/B 測試:深入挖掘用戶關注的點,才能設計出好的 A/B 測試!

Posted on

【我們為什麼挑選這篇文章】在設計網站時,常會用 A/B 測試方式來比較不同網頁設計的效果。不過在 A/B 測試的設計上也有許多眉角,這篇文章就教你如何設計出好的 A/B 測試。(責任編輯:黃筱雯)

作者/霍詩雨(點融黑幫)

A/B 分類測試使得網站可以通過比較同一網頁的不同設計,來決定其中哪些設計將產生最好的結果。在 A/B 測試中用到的指標是微觀和宏觀的轉化率。

隨著那些不需要太多開發協助和技術資源就能運作 A/B 測試的工具的出現,A/B 測試已經變得愈加常見。這個方法本在市場營銷從業者中有著很穩的立腳點,而因為成本相對較低,它也正在越來越廣泛地被用戶體驗設計師們所運用。

許多大型電子商務網站如 Google 及亞馬遜都以「總在測試中」而著稱——他們在任何時候都同時進行著多組 A/B 測試。

(來自 Netflix 分享 ppt)

無用輸入,無用輸出(GIGO)

使用恰當時,A/B 測試是一個非常強大的工具。然而以下三種情形下的 A/B 測試還是會有潛在的問題:

1)當所要測試的設計元素並沒有很好地體現設計意圖

糟糕的設計會導致糟糕的轉換率——顯而易見。但是,每個設計都是一個產品概念的後續執行,因而通過設計的實施來評判一個產品概念本身的優劣是很可笑的。通常要經過許多次設計嘗試才能充分地體現出真正的設計意圖。

比如說,從理論上講,增加對某一選項的說明會增加其被選擇的可能性,然而如果這條描述表達得像一則廣告,用戶就可能會無視。這個增加選項的說明的設計意圖是對的,但其表達形式卻是錯的。因此設計意圖和設計結果的偏差可能會是致命的。

當設計元素本身並不能告訴你問題的源頭在哪。對問題起因的錯誤推測,也會讓你在錯誤的設計元素上浪費時間,因為該元素並非是該問題背後真正的原因。即便修改這個設計元素也不能真正解決問題,因為你的切入點一開始就錯了。

比如,你可能猜測一個貸款申請提交轉化率低是因為流程的頁面太多了,所以你把它濃縮到一個頁面裡,但是你仍看不到任何轉化率的提升。你忽略的是,用戶真正的問題是找不到貸款利率,而他們點進申請頁面其實是為了找貸款利率。

2)當設計只是設計者的主觀猜想

使用 A/B 測試時你只能從已提供的設計選項中找到最佳的那個。如果這些選項是基於主觀經驗和意見的話,誰又能說這個測試包含了最優的設計呢?

3)這些 A/B 測試實驗過程當中的瑕疵可以通過用戶研究來減少

即使只實施了些許的用戶研究,我們仍能獲取一些極其寶貴的有關於轉化率問題的潛在原因的線索。

發現真正原因,定義更好的設計

發現(造成轉化率低的)真正原因,定義更好的(用於測試的)設計。

「實驗可以證實一個理論,但實驗永遠無法創造出一個理論。」——愛因斯坦

要保證 A/B 測試執行得好,需要定義以下這幾步:

你可以先集中全部精力建立一套致因體系,並羅列設計元素的可能性,然後用 A/B 方法把他們全部測試一遍:這是最直接了當卻不免有一些魯莽的方法。不經深思熟慮的 A/B 測試等同於把想法往牆上扔然後看哪個能黏住。不幸的是,你做不起這樣的測試:這樣大規模地測試會增大用戶放棄操作的機率,並且使總體驗變糟糕。

當你等著從大量 A/B 測試像抽中彩票一樣找到最好的方案,用戶可能已經轉而使用了他們第二選擇的產品,他們可能最終認定你的網站是失敗的,以後再也不會來了。你需要縮小假設的數量範圍,並且小心謹慎、高效地部署你的 A/B 測試;為達到此目的,我們推薦使用用戶研究的方法。

提升最優化測試的用戶體驗研究方法

1)定義用戶意圖和可能反對的理由

理解人們為何訪問、是否能成功訪問、和他們為何會離開,是相當重要的。

如果你錯誤地假設了人們訪問網站的原因,那麼你的設計假設將不能夠反應用戶對環境的感知。沒有做過調查就對用戶離開的原因做假設是很危險的。

舉個例子,假定你假設訪問者沒有做意想中的操作(買單)是因為價格太高,你於是將價格降低,邊際利潤就受到了打擊。如果人們真正不買賬的原因不是價格,而是他們不理解你提供的服務能解決什麼,那麼你就大錯特錯了。

讓我們來看看 Netflix 是怎麼做的:

Netflix 就做了一個很有趣的 A/B 測試來了解影響轉化率的因素。Netflix 的主頁上展示了大量的影視作品,然而不同用戶所看到的是不一樣的。 作為其 A/B 測試的一部分,這是該公司對用戶提供的個性化推薦。不僅如此,Netflix 更對看到同一個影視產品推薦的用戶進行了分批測試。他們讓視覺設計師重新設計了不同版本的影視劇海報,並將這一變量用於 A/B 測試。得到的結果是, 即便是同一個作品,不同的海報仍會造成不同的轉化率。這就印證了造成用戶離開或點擊的理由是多樣化的。

因此不要局限於那些明顯的理由,而要深掘用戶可能關注的點。有時候用戶說的不一定是他們所做的,所以往往觀察比問卷調查能提供更為真實的用戶使用傾向。

(圖片來自 Netflix 部落格)
(圖片來自 Netflix 部落格;右上的兩張標注的圖片顯著地提高了轉化率)

2)發現界面的缺陷

如果你忽視了重大的可用性問題,比如讓人難以理解的互動流程,或容易造成誤解的微互動,那麼你可能不會從不斷的 A/B 測試中獲得轉化率的提升,因為你的設計並沒有應對問題的根源。

舉個例子:如果你提供的填空題中有幾項要求的信息是用戶不方便或不願意提供的,那麼僅僅靠更改提交按鍵的顏色來做 A/B 測試是不會有效提升轉化率的,反而是浪費力氣。理解低轉化率的真正原因才是執行智慧、成功的測試的關鍵。

如何發掘界面的缺陷:可用性測試(遠程主持或免主持,或當面)可以快速進行並可在五個左右用戶的幫助下就揭露網站近 85%的重大缺陷。

3)衡量網站的可尋性

測試導航標籤和菜單設計能披露可尋性的問題。但是,糟糕的可尋性可以並且應該在實施 A/B 測試之前就確認,這直接影響了信息架構和站內導航。

如何衡量可尋性:樹圖測試可以在不影響任何界面設計的情況下測量一個已有的或設定的信息架構。樹圖測試會告訴你標籤、鏈接分組、頁面層級及命名系統是否直觀。如果你在糾結如何命名網站中的區塊、頁面、鏈接以及標籤,樹形測試能幫你找出最有問題的命名,並幫你設計出能改善可尋性的新標籤。樹圖測試可以用 Optimal Workshop 開發的 Treejack 這樣的工具進行,它生成可用於測試信息架構的任務。

3)測試前先「鋪好路」

最簡單的方法,就是開始在 A/B 測試前,先把那些可能會影響用戶操作的絆腳石解決掉。一般幾個小時的測試即能揭露幾乎所有你網站上特別糟糕的設計。更為復雜和完善的用戶研究當然益處更多,但不要忽視了最基本的審查清理工作。

對 A/B 測試而言,你當然希望所要測試的目標元素不會受到其它可用性問題的干擾,而是能被用戶更好的體驗到。所以開始測試前先做一次「路障清理」吧。

結語

結合不同方法最大化轉化率。

A/B 測試是一個絕妙的工具,卻時常不幸被誤用。如果用 A/B 測試替代用戶研究,那麼測試中的設計選項本質上只是主觀猜測。你可以通過結合用戶研究來更精准的找到問題起因、提出更符合現實的假設,從而為更好的測試結果提供更大的可能。

延伸閱讀

廣告資源怎麼投?用 Google Analytics 做 A/B Testing 精準又免費
【終極教學】別忘了 A/B 測試廣告文案呀 — Google Adwords 15 個常犯錯誤
設計師必知用戶心理學!Netflix 只能花「1.8 秒」就讓人瘋狂上癮

(本文經原作者點融黑幫授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈優化 A/B 測試不僅僅是程序員的事,設計師也能玩 〉。)


你對製作這些科技趨勢內容有興趣嗎?
想從 TO 讀者變成 TO 製作者嗎?
 對內容策展有無比興趣的你,快加入我們的編輯團隊吧!

TechOrange 社群編輯擴大徵才中 >>  詳細內容 

 意者請提供履歷自傳以及文字作品,寄至 jobs@fusionmedium.com
 來信主旨請註明:【應徵】TechOrange 職缺名稱:您的大名 

點關鍵字看更多相關文章: