使用古印度占星術預測 A/B 測試結果

我們 VWO 的使命是幫助營銷和產品團隊減少確定什麼最適合他們的業務以及什麼不適合所需的時間和精力。 2010 年，我們為業務團隊開創了 Do-It-Yourself 可視化編輯器，用於編輯網頁並為 A/B 測試創建變體，而無需 IT 團隊參與。 這項創新將啟動 A/B 測試的工作從數週縮短到數小時，而 A/B 測試行業從那時起就變得不一樣了。

但是，任何進行過 A/B 測試的人都知道，您仍然需要等待數週才能開始獲得關於哪個版本更好的統計顯著結果。

我們一直在想是否有辦法縮短這個等待時間。 如果有一種方法可以立即知道哪個版本會勝出，而無需等待數週或數月的數據到達，那​​不是很好嗎？

人工智能可以提供幫助嗎？

我們首先轉向的研究方向是蓬勃發展的人工智能技術。 你肯定聽說過神經網絡、機器學習和數據科學。 一種這樣的技術可以幫助我們嗎？ 如果今天神經網絡可以駕駛汽車，也許他們也可以預測哪個網站版本更好？

在過去的幾年裡，我們嘗試了幾種技術並投入了大量資金來試圖讓其中一種人工智能技術發揮作用。 幾個月前，我們確實取得了一些進展，我們推出了一個由人工智能驅動的網站文案，幫助營銷人員提出新的替代標題、CTA 和產品描述進行測試。

但是，不幸的是，類似的基於 AI 的技術在 A/B 測試結果的預測上表現並不令人滿意。 與預測哪個網站設計將是更好的選擇相比，駕駛汽車、擊敗世界圍棋冠軍和檢測腫瘤似乎是一個更容易的問題。

進入 IA

當我們幾乎要放棄我們夢想的項目時，有人指給我們看房間裡的大象：占星術。 我們的第一反應是立即駁回這個荒謬的建議。 我們是一群持懷疑態度的人，在像我們這樣嚴肅的企業中，這種偽科學是沒有容身之地的。

但我們絕望了，決定最後一次嘗試這個完全荒謬的想法。 我們被告知，全世界有數百萬人使用占星術或塔羅牌等技術預測各種現象。 如果人們用一種技術來預測他們的婚姻是否會成功，難道不能用它來預測A版是否優於B版嗎？

在查看了成本收益方程後，我們決定進行一個小型試點。 如果像我們預測的那樣，占星術不起作用，我們只會損失一些投資和時間。 但是，如果它確實奏效了，它將永遠改變營銷和用戶研究行業。
因此，我們認真地啟動了試點。 在對最具預測性的占星術技術進行初步研究後，我們選擇了印度占星術 (IA)。 特別是，我們選擇了鸚鵡占星術。 讓我們對它充滿信心的是，它甚至還有一個維基百科頁面。

在鸚鵡占星術中，占星家在籠中的寵物鸚鵡面前列出了多種選擇。 當鸚鵡被放出籠子時，它會選擇其中一個選項作為預測。 簡單明了。 我們已經很喜歡了。

我們為我們的飛行員所做的如下：

• 從我們的數據庫中進行 100 個 A/B 測試，其中有一個明確的、統計上顯著的獲勝者（A 或 B）
• 打印他們的截圖
• 用一隻鸚鵡招募一名印度占星家，並在 100 次試驗的截圖對之間挑選鸚鵡（每個 A/B 測試一個）

我們的零假設是鸚鵡不能比隨機機會更好地選擇。 也就是說，鸚鵡應該以大約 50% 的機會選擇正確的贏家和輸家。

然而，令我們驚訝的是，鸚鵡從 100 次中選出了 80 次獲勝者。 使用任何標準的二項式計算器（無論是常客還是貝葉斯），您都會很快發現發生這種情況的可能性幾乎為零。 印度占星術真的很管用！

我們顯然在這裡有所作為。 我們很快計劃就此撰寫一篇科學論文，並將我們的發現提交給頂級期刊。 這一切都非常令人興奮和神秘。 鸚鵡如何知道哪個版本效果最好？ 好吧，我們不知道，但它不應該阻止我們在現實世界中使用該技術（就像我們仍然不知道為什麼深度學習在各種問題上如此有效但它被廣泛使用一樣） .

儘早訪問基於鸚鵡的 A/B 測試預測

我們正在積極嘗試擴展該試點項目，最終目標是通過 VWO 內部的簡單用戶界面或 API 將其提供給全球所有企業。 主要的挑戰是找到足夠的鸚鵡並確保我們這樣做是合乎道德的。 一旦我們這樣做了，世界上的任何企業都將能夠快速收斂到最佳用戶界面，而無需進行任何 A/B 測試。

我們為希望儘早使用這項技術的人準備了一些名額。 如果您想試一試，請在此處給我們發送電子郵件：[email protected]

等等，什麼？

好吧，我們不是說我們是一群持懷疑態度的人嗎？ 事實證明，沒有科學證據表明占星術有效。 此外，我們強烈譴責將任何鳥類或動物關在籠子裡用於臨床或醫學研究以外的任何事情（即使在臨床研究中，我們希望計算和物理模型越來越多地取代實際的動物）。

如果您對 A/B 測試結果的預測前景感到興奮，那麼您並不孤單。 我們對同一件事感到興奮，即使鸚鵡占星術不起作用，我們仍致力於繼續取得進展，幫助業務團隊在每個 A/B 測試中獲得更高的成功概率。

在去年推出 AI 驅動的網站文案後，我們最近推出了 AI 驅動的熱圖預測器。 在您輸入您的網頁 URL 後，我們會截取屏幕截圖並使用深度學習來預測網站上的點擊分佈。 這可以幫助您在網站上線或使用熱圖工具之前發現網站上明顯的死區或乾擾因素。

這個工具是免費使用的。 因此，請隨時在盡可能多的網站上嘗試多次。

很抱歉讓您希望您可以擺脫 A/B 測試，但希望您在閱讀這篇文章時玩得開心

愚人節快樂！

有笑嗎？ 請發送郵件至 [email protected]。 我閱讀並回复所有電子郵件。