AB測試第一次就上手~新手基礎篇

AB測試(A/B test)是許多網站、尤其是具備電子商務功能的網站拿來快速測試改版、微調效果並協助設計與商業決策的方法之一。簡單來說就是將欲測試的變因或假說分別做成A版與B版(甚至C、D等版),利用一些工具,將造訪網站的人流隨機均分至兩個版本,最後選擇目標達成表現較好的版本。

AB測試可簡單分為以下幾個步驟:
第1步:訂定測試目標
第2步:建立目標達成方式的假設,以此為測試專案
第3步:進行測試、收集資料
第4步:得出結果後將表現較好的版本上線,可加入新假設持續測試

第1步:訂定測試目標

首先需清楚定義測試欲達成的目標,如提升轉換率、降低脫離率等。
通常測試目標來自於網站目標,而網站目標又與事業目標有所連結;訂定目標的目的是為了能使測試的規畫更聚焦,同時也有可量化的數值來檢視是否達成效果。
AB測試的目標通常分為兩類:
1) 提升X,如:

  • 提升轉換率(CV)
  • 提升頁面流覽率(PV)
  • 提升頁面流覽時間
  • 提升分享人數
  • 提升影片點擊率…

2) 減少Y,如:

  • 減少脫離率
  • 減少跳出率…

【注意】

  1. 目標儘量設的簡潔明瞭
  2. 為了有效計測目標是否達成,在開始AB測試前記得先於網站數據統計工具(如: Google Analytic)設定轉化目標的計算

第2步:建立目標達成方式的假設,以此為測試專案

基於對目標使用者的理解,提出可能達成目標的調整方案假設,將各方案依優先度排列,依序做為測試變數。

3
調整方案的假設大多是頁面內容的改變,以下為AB測試常見的測試變數:

  • 行動按鈕(Call-To-Actions) – 位置、用字、尺寸、顏色…
  • 文案– 標題、價值傳達、商品描述、 內容多寡…
  • 表單– 長度、類型、用字…
  • 版面配置 – 頁面長短、板塊位置…
  • 促銷方案 – 不同商品組成、不同價位…
  • 圖片– 位置、內容、尺寸…
  • 比較 – 圖片視頻、圖片VS.文字、圖片A VS. 圖片B 、文案A VS. 文案B 、行動按鈕A VS. 行動按鈕B…

【注意】
每次的測試必須是單變數;有時不同設計稿可能會很大的差異,這樣的情況一般不太適合做AB測試,因為變數太多了,變數之間會有較多的干擾,難通過 AB測試的方法來找出各個變數對結果的影響程度及衡量各方案的成效。如果一個頁面測試多個變量,則需使用Multivariate Testing,那是概念上不太相同的測試方法,同時需要夠大的流量方能較有效的進行。

第3步:進行測試、收集資料

完成不同版本的製作後,利用線上工具將A、B版本的頁面掛上網,並進行資料的收集;不少線上工具可協助AB測試的進行,以下為一些常見工具:

 【注意】

  1. 若同時有進行線上活動或搜索詞廣告操作,需注意避免讓活動或搜索詞廣告流量都導入特定版本;儘量將不同來源的訪問者平均分配到各個版本上
  2. 不同的用戶在一次流覽過程中,看到的應該一直是同一個方案;比如他一開始看到的是 A 方案,則在此次會話中應該一直向他展示 A 方案,而不能一會兒讓他看 A 方案,一會兒讓他看 B 方案;不然可能影響結果

第4步:得出結果後將表現較好的版本上線,可加入新假設持續測試

依據當初設定的測試目標衡量結果,選擇表現較好的版本;若仍有其他欲測量的變數,或在新版上線後發現其他改善假設,則繼續進行測試。

【注意】

  1. 為避免偏誤,一般測試上線後等待約2-3周,或達到平時某時間內可達到的UV或PV量後,可結束測試;網站流量越小,需要越多時間
  2. 若測試結果兩版的表現並無太大差異,則通常代表該變動方案並不造成顯著影響;此時需提出另外的假設來進行測試

AB測試是很多國外電商拿來優化網站的工具,據說Google有1%的流量永遠都拿來測試新的調整、想法;而很多大型旅遊網站,更是持續在進行線上的ABCD測試,每個使用者看到的頁面都不完全一樣。AB測試的結果,即便僅有1%的差別,考量到整體銷售量1%的提升,也會是相當可觀的。
之後將陸續介紹使AB測試更加有效的方法、技巧。

Co-Founder at Conversion Lab | Website

Facebook 資深用戶研究員,過去任職於Uber、Microsoft等。現居舊金山。移居美國前於新加坡、中國、日本、台灣擔任 UX 顧問,客戶涵蓋金融業、非營利、新創團隊、電子商務等。期望藉由分享一點個人經驗,使華語圈的 UX 內容更加豐富。

 

參與討論