如何用A/B測試分析分析A/B測試結果

已發表: 2022-12-15

任何人最不想要的就是誤報——無論測試如何！ 通過轉化率優化 (CRO) ，誤報可能會導致死胡同。

當您進行A/B 測試時，您想知道您的測試頁面 (B) 是否真的優於您的控制頁面 (A)，然後再花時間調整表單、頁面或網站的其他方面。

A/B 測試分析技術將有助於確定您的測試是否具有統計顯著性，以及您手頭是否有一組成功的數據。

您如何知道您的 A/B 測試是否具有統計顯著性？

統計顯著性意味著您可以重複測試並始終如一地收到相同或相似的結果。

例如，假設您更改了號召性用語 (CTA) 按鈕的位置。 該按鈕過去位於您的著陸頁內容下方，但您假設如果將按鈕放在前面和中間，您會收到更多潛在客戶。 因此，您調整了頁面並將按鈕放在主標題上方。

接下來，您對 1000 名訪問者測試了之前的登錄頁面（控制頁面）。 從那裡開始，您對另外 1000 名訪問者測試了調整後的頁面。 在使用 A/B 測試計算器測量結果後，它顯示在頁面上向上移動 CTA 按鈕後點擊次數增加了 25%。

如果您多次重複測試並繼續獲得大約 25% 的點擊次數增加，您可以合理地假設您的結果具有統計顯著性。 您還可以假設更改 CTA 按鈕的位置是導致更改的原因。

你如何分析你的 A/B 測試？

雖然 A/B 計算器並不是 A/B 測試分析的萬能工具，但它們可以幫助您理解所收集的數據。

假設您擁有一家小型企業。 您的平均網站訪問者數量在每週100至500 名用戶之間。 您對著陸頁的 CTA 按鈕進行了類似的 A/B 測試——但樣本量為 100 人而不是 1000 人。

您的結果發現 100 人中有 50 人點擊了原始頁面的 CTA 按鈕。 在測試頁面上，有 58 人點擊了按鈕。 雖然這種增加對於樣本量來說似乎很重要，但根據 A/B 計算器，它只有 16% 的變化。

在運行 A/B 測試之前你應該做什麼？

在我們開始我們的示例場景之前，這裡是您在收集任何數據之前應該做的事情的簡要說明。

1. 了解你的目標

您的關鍵績效指標(KPI) 是什麼？ 換句話說，哪些對話能為您的業務帶來最顯著的成果？ 這些指標可以是從銷量到客戶保留率的任何指標。 專注於針對您的 KPI 的變化將帶來最佳結果。

2. 知道你在哪裡——以及你想去哪裡

一旦你知道你想要衡量什麼，找出你目前的立場。 如果您衡量過廣告點擊次數、打開的電子郵件數量或每月有多少潛在客戶填寫您的聯繫表，您可能已經有了大致的了解。

查看您的CRM和Google Analytics以衡量數據的現狀。 當前數據應該讓您了解哪些改進是必要和現實的。

如何知道您的測試是否具有統計意義（不使用 A/B 計算器）

現在進入有趣的部分——A/B 測試分析。 執行上述步驟後，除了運行試驗和收集數據外，您還可以確定結果是否足夠重要以進行更改。

好消息是您仍然可以使用 A/B 計算器作為起點。 在我們之前談到的小型企業的 100 名網站訪問者中，由於移動了 CTA 按鈕的位置，點擊次數增加了 16%——據推測。 現在，我們怎麼知道這是不是真的？

1.重新運行測試

每當您運行 A/B 測試時，如果變化不顯著，您將需要重新運行測試 — 例如，如果結果差異低於 36%。

一般來說，最好重新運行 A/B 測試，這樣您就有足夠的數據來斷定結果是您所做更改的直接結果。

2.再次分析數據

假設在這次重新運行之後，結果是 100 人中有 60 人點擊了測試頁面的 CTA 按鈕，52 人點擊了原始頁面。 根據計算器，增加了 15.38%。

3. 再運行一次測試（並分析結果）

這個結果與第三次 15-16% 的變化相似。 但是，在您開始實施更改之前，請再測試一次您的結果。

當您使用較小的樣本量時，很難知道一致的變化是否是巧合。 通常，樣本量越大，您的統計能力就越大。

4. 運行另一個 A/B 測試——針對自身測試您的控制頁面

從技術上講，這樣的評估將被視為 A/A 測試。 在一組 100 名訪問者上測試您的控制頁面，並在另一組 100 名訪問者上測試同一頁面。 您可以在測試更改之前或之後執行此操作。

在未實施任何更改的情況下，您的 CTA 點擊次數的自然差異不應超過 2%。 此範圍說明了您的網頁收到的點擊次數的自然波動。 任何超出此範圍的變化都可以合理地假設為顯著。

現在您有足夠的數據，是時候看看它是否勾選了三個框。 判斷數據是否：

  • Sufficient：是的，我們跑了三遍測試。
  • 一致：是的，我們三次收到類似的結果。
  • 差異化：是的，我們針對自身測試了控制頁面，發現自然變化介於 -2% 和 2% 之間——這意味著我們測試頁面的點擊次數持續增加 15% 是很重要的。

根據這些結果，我們可以確定數據具有統計顯著性。 我們還可以合理地假設 CTA 按鈕位置的變化是點擊次數增加的原因。

WebFX 是企業信賴的合作夥伴。

聽聽 HydroWorx 的說法，他們發現使用 WebFX 服務的有機會話增加了236% 。

觀看視頻見證

與 WebFX 合作進行 A/B 測試分析

如您所見，A/B 測試分析可能是一項艱鉅的任務，尤其是當您不確定哪些更改會帶來最佳結果時。 我們在 WebFX 的 500 多名主題專家團隊使用數據驅動的 SEO 策略通過我們的 A/B 測試服務創建有影響力的登陸頁面。 我們已經為客戶帶來了超過 30 億美元的收入，我們已準備好將您的目標網頁提升到一個新的水平。

立即在線聯繫我們或致電888-601-5359與我們的策略師交談！