如何衡量用戶研究的影響

「你如何衡量用戶研究的影響 (Impact)?」這個問題不僅在美國用戶研究求職面試中必問,在工作場合中也時常被反覆提出來討論。前陣子聽一個 Google Research Manager 的分享,她要求她的團隊利用 Google 表單來記錄自己的研究所帶來的影響(類似下圖),還發展了一套方法論來追蹤各種可量化與不可量化的影響。

為什麼要衡量用戶研究的影響?

大家之所以這麼著迷於這個問題,我認為主要有三個原因:

一:證明研究的價值

用戶研究通常是先付出時間與金錢,來找出更適合的產品方向,避免在未來因為誤解用戶的需求而損失更多錢與時間。然而,不是每個人都能專注在長遠的利益上,也因此用戶研究的價值在尚不成熟的團隊或公司中常會受到質疑。若能證明花的這些資源對產品或組織有明確價值,除了可以確保團隊對研究的需求外,還能提升需求的質量,例如從驗證型 (Evaluative) 提升到基礎型 (Foundational) 的研究。

二:研究的影響有時很難量化

之所以會有這麼多討論與觀點,是因為用戶研究的影響有時是無形的,沒有一個完美的方式準確衡量。不像工程師可以衡量他的代碼讓效率提升了多少百分比,業務員可以衡量他做了多少業績等。

三:有助於個人的事業與成長

這是最實用且現實的原因。如果能有效衡量你的產出為團隊帶來的價值,在年度評量或找工作時能作為談判籌碼,也能幫助你的上級判斷你相較於其他人的表現。

所以究竟如何衡量?

針對這個問題,每個研究員都有不同的回答,但多半大同小異。以下是我見過不同版本後歸結出的架構。基本上,用戶研究帶來的影響重要性主要有以下四種:

一:組織與流程

這是一般常見的衡量標準中最大的影響。如果透過你的研究改善了組織的架構或做事流程,使之更有效率或效能,則可算是巨大的成就。例如 Uber 本來有隱私(Privacy) 和安全 (Saftey) 兩個不同團隊分開運作,透過研究發現用戶不會把這兩件事分開思考,當隱私受到侵犯時,對安全的感受也會降低。最後公司決定將兩個團隊整合,共同解決安全與隱私的問題。

另一個根據用戶洞察而改善組織架構的例子,則是美國的 USAA —— 一間針對軍官及其親屬的金融服務公司。過去 USAA 都是按汽車保險、儲蓄、醫療保險、房屋貸款等商品類別設置窗口。用戶如果經歷搬家、離婚等需更改個人資訊的事,就得為了變更合約而連繫各個窗口,耗時且耗力。了解用戶痛點後, USAA 將原本按商品類別設置的窗口,改為配合用戶的金融商品需求或生活模式重新建構,打破部門間的藩籬。其工作人員也接受了跨部門的培訓,凡是有關聯的事物都可一手包辦,最後大大提升了用戶滿意度。

二:產品或功能

對產品或功能的影響是最直接,也是最常用以衡量工作表現的。如果你的研究帶來了產品的改變,像是增加或移除某些功能、開發了新的產品、決定讓某個產品落幕等,進而對商業指標有正面影響,例如提升滿意度、提升用戶數、提升銷售量、避免虧損等,則屬於此類。

要注意的是對產品的改變相對好追蹤,但進而對商業指標的影響比較難,因為很難排除其他變因,明確地說用戶成長率提升 X% 是因為改善了某個功能。因此,最好在一開始就擬定如何追蹤成效的計畫。

Uber Freight (貨運)的「回家」功能便是一個透過研究影響產品的例子。研究員發現卡車司機常常載貨一開就是幾週到數個月,一人獨自在車上不知道下一張貨運單會帶他去多遠。錯過了孩子的生日,伴侶需要他的時候也回不了家,因而產生許多遺憾,與一開始為了家人有更好的生活而開卡車的初衷相違背。因此,團隊透過人工智慧,在司機快結束一趟旅程時,尋找是否有在其回家路上的運貨需求,並將此推送給司機。

Uber Freight 介面

三:超越組織

如果你透過演講或文章等渠道分享研究結果或方法,進而改變了其他公司的產品或做事方法,甚或是影響整個產業的做事方法,則可算是超越組織的影響。這類影響一般比較少見,在年度表現評量中也不會是個重點——因為通常你是被請來協助特定的產品團隊,而非改變產業——但如果有的話對未來不管到哪裡的事業都非常有幫助。

例如 Google HEART 架構便是由其量化研究團隊中的幾個研究員發展出來,來解決「頁面瀏覽數、造訪用戶等常用指標無法有效衡量改善用戶體驗所帶來的影響」的問題。該架構至今仍被許多公司使用。

截自 Google HEART framework 創始人之一 Kerry Rodden 的 LinkedIn。可注意到她將此經歷特別標注於簡歷中。

四:認知度與觀點

團隊對用戶研究的認知與意識度 (Awareness) 是另外一個經常被忽略的影響力衡量方式。這個衡量方式尤其適用於「用戶體驗尚不成熟、對用戶研究不熟悉、沒有跟用戶研究員合作過」的團隊或公司。很多在這類公司工作的人,會說在工作中根本沒有機會影響產品或組織,連要進行個研究都得費盡唇舌說服利害關係人。事實上,如果能透過你的宣傳與教育,讓團隊漸漸對用戶研究有所理解,甚至開始討論用戶需求、向你詢問用戶洞察、讓你加入產品討論等,即便對產品成效還沒有直接影響,也是影響的一種。

跟認知度相關連的是「觀點」(Point of View)。若能透過用戶研究改變團隊成員對用戶或這研究員這個角色的看法,進而改變文化,也是很值得註記的影響。

多年前我負責一個政府專案,當時該部門的大老對用戶研究嗤之以鼻,不管如何勸服都對其效用不買帳。某次用戶研究時,該大老因為部署強力邀請,勉為其難地出現在一場研究中。看了十分鐘後說『這人不是我們主要的用戶』便調頭就走。原本以為我們未能順利扭轉局勢,幾天後,對口的部屬私下告訴我,老闆自從參與了那次用戶研究後,時不時就在會議上提到那名用戶的需求。

在這個案例中,雖然沒有透過該專案而讓整個產品或部門有重大改變,但在專案過程中讓用戶需求烙印在決策者腦海中,也是不可忽視的影響。


總結以上,用戶研究的影響力除了展現在產品上,也能反映在組織架構與文化之中。在工作中記得注意並追蹤你的研究所帶來的變化,以便作為對內或對外的談判籌碼。

Co-Founder at Conversion Lab | Website

Facebook 資深用戶研究員,過去任職於Uber、Microsoft等。現居舊金山。移居美國前於新加坡、中國、日本、台灣擔任 UX 顧問,客戶涵蓋金融業、非營利、新創團隊、電子商務等。期望藉由分享一點個人經驗,使華語圈的 UX 內容更加豐富。

 

參與討論