AB測試進階篇~如何發掘更好的測試變數

本篇重點:在AB測試前先透過使用者調查來找出網站關鍵的議題,有助於使測試專注在真正對網站成效有影響的變數上。

AB測試雖然可以理解不同設計元素(不同變數)對網站帶來的成效,同時也存在一些可能發生的潛在錯誤,例如:變數並不能反映真正造成問題的原因、變數的選擇是基於直覺或猜測等。

以下是一個試圖透過AB測試改善線上貸款申購表單,卻未能發現真正議題的例子:
網站經營者發現申購表單的跳離率(Bounce Rate)非常高,判斷可能是表單填寫步驟太冗長造成。因此簡化表單後與原表單進行AB測試,然而跳離率卻沒有顯著的改善。
 
AB test
實際執行使用者調查,讓潛在用戶操作網站之後,才發現用戶在網站中找不到「貸款利息」這項訊息,因此才點擊進入申購頁看能不能找到所需資訊,一看沒有後便馬上離開。
這個例子顯示出,我們傾向根據既有的經驗與內部意見來決定AB測試的變數,而這會造成我們只能從既有的、外顯的變數來測試,並找到最佳選擇。透過使用者調查,即便只是非常簡單的觀察使用者操作,也能提升發現真正具有高影響力的變數的機會,進而提升AB測試帶來的效果。
以下分享一些可優化AB測試的使用者調查項目:
1. 理解用戶使用網站的意圖與目標
若您誤解了用戶上網的目的、他們離開的原因,則關於測試變數的假設也會受到影響。例如,若您認為用戶離開網站是因為行動招喚(Call-to-action)按鈕不夠明顯,因而將按鈕改成紅色進行測試,但其實用戶是因為不理解服務而無法有進一步的行動,則此測試的價值就有限了。
2. 先找出介面上的問題
若介面的易用性等問題沒有解決便進行AB測試,則得到的改善結果亦有限。例如表單本身有讓用戶抗拒填寫的項目,則不論如何調整表單流程,效益很可能不會太明顯。同時,在用戶測試中先找出介面問題,也可先將問題顯而易見、不必要進行測試的變數排除。
3.確保網站的可尋性(findability)
確定網站中的導覽列、連結與內容等都是明顯可取得的。若有資訊架構不清、使用者找不到所需資訊等問題,會干擾AB測試的結果,如同先前貸款例子所述。
 
AB測試是個有效的工具,但隨意運用也會導致無效的結果。我們可以藉由先進行使用者測試來建構更實際的假說,並且發掘更多可用來測試與實驗的機會點。
關於AB測試的實際操作方式,請參閱:AB測試第一次就上手~新手基礎篇
 

Co-Founder at Conversion Lab | Website

Facebook 資深用戶研究員,過去任職於Uber、Microsoft等。現居舊金山。移居美國前於新加坡、中國、日本、台灣擔任 UX 顧問,客戶涵蓋金融業、非營利、新創團隊、電子商務等。期望藉由分享一點個人經驗,使華語圈的 UX 內容更加豐富。

 

參與討論