在開始數據分析的第一步文中，提到網站數據分析的目的可分為兩種：①確認每月的狀況並進行微調改善；②檢測改版或措施的效果。後者在我們對網站進行改版或微調後，扮演著重要的驗證角色。文中將介紹在進行此舉時常見的迷思，以及有效檢測的技巧。
其中最常見的錯誤是，直接藉由檢測網站最後的轉換率（CV），來衡量網站改版或調整的成效。然而，從「合計」的結果無法得知各個措施的效用，必須為各措施一一設定KPI（Key Performance Indicator，關鍵績效指標），並分別確認結果才行。
以網站改版為例，假設我們改善了首頁的主要訊息與導覽列架構、增加了商品頁的內容，並改善了表格的易用性。此時，若僅檢測改版後的最終轉換率，則無法得知究竟是哪個部份的調整促成了轉換率的提升（或下降）。進而，無法將成功或失敗的經驗延續至下一次的網站調整。
比較理想的情況是，除了檢測轉換率之外，亦依據網站改善內容查驗對應的指標。例如首頁改善了主要訊息，則可看「跳出率」是否有下降；改善了導覽列，則可查看「從首頁進入第二層頁面的轉移率」是否有提升。
此外，一個措施可設定不只一個指標。例如，增加了商品頁的內容，除了追蹤頁面的瀏覽量（PV，Page View）外，亦可以檢測豐富的商品頁是否讓更多用戶點入申購表單等。
延伸至網站外的集客措施（如關鍵字廣告、Banner廣告等），在衡量集客效果時，亦須將不同通路的成效分開來檢查，方能理解各個集客管道的成效。以下圖為例，若僅看「透過廣告等集客措施獲得的轉換數」78件，則無法判斷究竟是哪個措施帶來較好的結果。反之，將結果拆開來看後，便發現Banner的表現是明顯較好的，此時方可進一步決定是否放棄成效不佳的EDM，轉而將更多的資源投入Banner廣告。
查看細節數據似乎是天經地義的事，卻出乎意料地經常遭到忽略。最後，也要確KPI數據是基於對網站調整的項目而定的。若網站的調整措施跟擬定的KPI並無明顯關連（例如將網站中訂購的按鈕變得更明顯，卻去計測該頁面的瀏覽量是否提高），則無法達到透過數據進行「驗證」的目的。
Lab Memo: 在網站更動或調整的同時，別忘了對每個改善點設定適當的KPI，並在一段時間後（通常需累積至少一個月的數據）一一檢測各個KPI，避免僅查看整體的轉換率，見林而不見樹。
