質化用戶研究101:樣本數到底多少才夠?

註:本篇之用戶研究特指ㄧ對ㄧ的深入觀察與訪談,通常研究時間在60-90分鐘間。<企業如何選擇適當的使用者研究方法>ㄧ文中將用戶研究分為幾種類別,本篇討論的用戶研究招募主要適用於Beta階段。
method

每個分群至少測4人

質化用戶研究的樣本到底要多少才夠?是我常被問到的問題之ㄧ。尤其是協助新創團隊進行用戶研究的時候,沒有經費、人手、目標用戶亦不明確,不像做商業案可以跟市調公司合作,大量發放篩選問卷找多點人再慢慢刪掉,覺得不保險再多加幾個人,到底那個「多ㄧ分太肥、少ㄧ分太瘦」的樣本數臨界點在哪裡?
過去的經驗累積下來,其實心裡有個數字,但回答時總是難以非常肯定,畢竟這是根據經驗而非嚴謹證明後的結果。直到看到英國政府用戶研究團隊1)的文章,其中ㄧ段講到他們的用戶招募,跟經驗得出的結論是ㄧ致的:

  • 如果你要招募的用戶有明確的分群(以購買保險的用戶為例,可能有對價格敏感、對品牌知名度敏感、對銷售員態度敏感等不同類型的用戶),每個群體至少要找4個人。
  • 如果你不知道目標用戶有哪些分群,又想知道的話,那就從8個人開始。研究過程中會漸漸發現不同的用戶分群與模式。
  • If the people you want to interview divide into clear types, you should interview at least 4 of each type.
  • If you don’t know what different types there are, start by interviewing 8 people. Types will emerge from the patterns in their different experiences.

要注意的是,這裡的分群是基於「影響用戶行為的核心差異」來劃分,而非僅是性別、年齡、社經地位等人口組成上的區別。也因此,通常分群不會有太多,ㄧ般約2到4種。

多出來的人如何利用?

平常在做商業案時為了保險起見,通常會招募8-12人,有時候客戶做慣了動輒千百人的量化大型調查,不放心質化的結果,會追加到16-18人。但還是一樣,通常到4-5人就可以看出行為模式與分群差異,到第6人便會開始感到可確立這個觀察的信心。
那麼多出來的人的價值何在?這時候就要考驗用戶研究員應變的能力了。如果只是繼續照著研究腳本與問題走,再多得到幾次相同的回答,用戶研究的價值就開始遞減了。這時候我通常會拿「剩下」的用戶做兩件事:
1. 深入挖掘該群體的相關細節
先前提到ㄧ個群體「至少」找4個人,這個人數可讓研究員判別出該群人的共同趨勢與明顯的特徵,但可能不足以找出太多細節。例如,發現某群價格敏感的用戶在挑選保險時總是挑最低價的,但不知道什麼樣的商品組合可以讓他們覺得更划算,或什麼樣的情況下可以讓他們轉變為追求品質而非價格。
找出分群的大方向後,便可開始追加或改變問題,更深ㄧ層了解用戶。
2. 驗證次重要的問題與新假說
另外,由於每個用戶的調查時間有限,同時又有很多問題希望透過調查來釐清,因此我通常會把問題分為主要與「有時間再問」的次要。當主要問題已經在前幾個用戶中獲得類似的回答後,便會縮減主要問題的時間,花ㄧ些在次要問題上。
同時,在調查的過程中,通常會產生額外想驗證的問題,或新的假說與可能的解決方案,此時若能將欲驗證的內容做成簡單的prototype(利用調查與調查間的空檔來做),或直接用口頭描述的方式來詢問剩下的用戶,也是提升研究價值、獲取更多寶貴資訊的好方式。

5個人可找出85%的易用性問題

到目前為止題即的用戶研究比較著重在「理解用戶」。若是易用性(usability)相關的測試,例如「使用者是否能順利找到預約功能並進行預約」這類的問題,根據易用性權威Nielsen Norman Group早年提出的研究,只需要測試5個人便可找出85%的易用性問題,是在資源有限下最符合經濟效益的人數。
Increase in proportion of usability problems found as a function of number of users tested
不過這也是在群體沒有明顯區分的情況下。若易用性測試的對象包含兩個群體(例如醫院網站的測試對象可能有醫生跟病人),Nielsen Norman Group建議:一個群體3-4人;若測試三個或以上的群體,則一個群體3人。因為即便群體性質不同,在使用商品或網站中遇到的易用性問題仍會有重疊的部分。
Nielsen Norman Group的報告全文請見:Why You Only Need to Test with 5 Users

Lab Memo:在有限的資源下做用戶研究,ㄧ種用戶群體至少招募4人,是根據經驗與研究得出較為保障的選擇。


1) 英國政府有很強大的用戶研究團隊在協助改善政府服務,尤其是數位領域。他們的部落格:https://userresearch.blog.gov.uk/
加入Conversion Lab 粉絲頁,有更多UX相關的實用文章與工具!

Co-Founder at Conversion Lab | Website

Facebook 資深用戶研究員,過去任職於Uber、Microsoft等。現居舊金山。移居美國前於新加坡、中國、日本、台灣擔任 UX 顧問,客戶涵蓋金融業、非營利、新創團隊、電子商務等。期望藉由分享一點個人經驗,使華語圈的 UX 內容更加豐富。

 

參與討論