古代インド占星術を使用してA/Bテスト結果を予測する

公開: 2021-04-01

私たちVWOには、マーケティングチームと製品チームが、ビジネスに最適なものとそうでないものを理解するために必要な時間と労力を削減できるよう支援するという使命があります。 2010年には、ITチームを関与させずに、Webページを編集し、A / Bテスト用のバリエーションを作成するために、ビジネスチーム向けの日曜大工ビジュアルエディターを開発しました。その革新により、A / Bテストを開始するための労力が数週間から数時間に短縮され、それ以来、A/Bテスト業界は同じではありませんでした。

ただし、A / Bテストを実行したことがある人なら誰でも知っているように、どちらのバージョンが優れているかについて統計的に有意な結果を得るには、まだ数週間待つ必要があります。

この待ち時間を短縮する方法もあるのではないかと考えてきました。データが到着するのを数週間または数か月待たずに、どのバージョンが勝つかを即座に知る方法があれば素晴らしいと思いませんか？

AIは役に立ちますか？

私たちが最初に向けた研究の方向性は、急成長しているAIテクノロジーでした。ニューラルネットワーク、機械学習、データサイエンスについては確かに聞いたことがあるでしょう。そのようなテクニックの1つが私たちを助けることができますか？ニューラルネットワークが今日車を運転できるのであれば、おそらくどのWebサイトのバージョンが優れているかを予測することもできますか？

過去数年間、私たちはいくつかの手法を試し、AI手法の1つを機能させるために多額の資金を投資しました。数か月前に、マーケターがテストする新しい代替ヘッドライン、CTA、および製品の説明を考え出すのに役立つAIを利用したWebサイトコピーライターを立ち上げたとき、私たちはある程度の進歩を遂げました。

しかし、残念ながら、同様のAIベースの手法では、A/Bテスト結果の予測を十分に行うことができませんでした。車を運転し、世界のGoチャンピオンを打ち負かし、腫瘍を検出することは、どのWebサイトのデザインがより良い選択になるかを予測するよりも簡単な問題のようです。

IAを入力してください

私たちが夢のプロジェクトをあきらめようとしていたとき、誰かが私たちを部屋の中の象、占星術に向けました。私たちの最初の反応は、このばかげた提案をすぐに却下することでした。私たちは懐疑的な集団であり、私たちのような真面目なビジネスにはそのような疑似科学の場所はありません。

しかし、私たちは必死で、このまったくばかげたアイデアを最後の一撃にすることにしました。世界中の何百万人もの人々が、星占いやタロットカードなどの技術を使用してあらゆる種類の現象を予測していると言われました。結婚が成功するかどうかを予測する手法を使用している場合、AバージョンがBバージョンよりも優れているかどうかを予測するために使用することはできませんか？

費用便益方程式を検討した後、私たちは小さなパイロットを行うことにしました。私たちが予測したように、占星術がうまくいかなかった場合、私たちは投資と時間を失うだけです。しかし、それがうまくいったら、それはマーケティングとユーザー調査業界を永遠に変えるでしょう。
それで、真剣にパイロットをキックスタートしました。最も予測的な占星術の技術に関する最初の研究を行った後、私たちはインド占星術（IA）に落ち着きました。特に、オウム占星術に落ち着きました。 私たちに自信を与えたのは、ウィキペディアのページさえあるということでした。

オウム占星術では、占星術師はケージに入れられたペットのオウムの前に複数のオプションを配置します。オウムがケージから出されると、予測としてオプションの1つが選択されます。シンプルでわかりやすい。私たちはすでにそれを愛していました。

パイロットのために行ったことは次のとおりです。

明確で統計的に有意な勝者（AまたはBのいずれか）があったデータベースから100のA/Bテストを取得します
スクリーンショットを印刷する
オウムを持ったインドの占星術師を募集し、100回の試行でスクリーンショットのペアからオウムを選んでもらいます（A / Bテストごとに1つ）

私たちの帰無仮説は、オウムはランダムなチャンスよりもうまく選ぶことができないだろうというものでした。つまり、オウムは正しい勝者と敗者をそれぞれ大まかに50％の確率で選ぶ必要があります。

しかし、驚いたことに、オウムは100回中80回勝者を選びました。標準の二項計算機（頻度主義またはベイジアン）を使用すると、その可能性がほぼゼロであることがすぐにわかります。インド占星術は本当にうまくいきました！

私たちは明らかにここで何かに取り組んでいます。間もなく、これに関する科学論文を執筆し、調査結果をトップジャーナルに投稿する予定です。それはすべて非常にエキサイティングで神秘的です。オウムはどのバージョンが最も効果的かをどうやって知るのですか？それはわかりませんが、現実の世界でこの手法を使用することを妨げるものではありません（ディープラーニングがさまざまな問題でこれほど効果的である理由がわからないのと同じように、広く使用されています）。

オウムを利用したA/Bテスト予測への早期アクセスを取得

私たちは、VWO内のシンプルなユーザーインターフェイスまたはAPIを介して、世界中のすべてのビジネスでパイロットを利用できるようにするという最終的な目標を掲げて、パイロットを積極的に拡大しようとしています。主な課題は、十分な数のオウムを見つけ、これを倫理的に行っていることを確認することです。そうすれば、世界中のどの企業も、A / Bテストを行うことなく、最適なユーザーインターフェイスに迅速に収束できるようになります。

このテクノロジーへの早期アクセスを希望する人々のために、いくつかのスロットがあります。試してみたい場合は、こちらからメールでお問い合わせください：[email protected]

待って、何？

さて、私たちは懐疑的な集団だとは言いませんでしたか？占星術が機能するという科学的証拠はないことが判明しました。さらに、臨床研究または医学研究以外の目的で鳥や動物をケージに入れることを強く非難します（臨床研究においても、計算モデルと物理モデルが実際の動物に取って代わることを望んでいます）。

A / Bテスト結果の予測の見通しに興奮しているのなら、あなただけではありません。私たちは同じことに興奮しており、オウム占星術は機能しませんが、ビジネスチームが各A/Bテストでより高い成功確率を達成できるように支援するために前進し続けることを約束します。

昨年、AIを利用したウェブサイトコピーライターを立ち上げた後、最近、AIを利用したヒートマップ予測機能を立ち上げました。 WebページのURLを入力すると、スクリーンショットが撮られ、ディープラーニングを使用してWebサイトでのクリックの分布が予測されます。これにより、Webサイトを公開したり、ヒートマップツールを使用したりする前でも、Webサイト上の明らかなデッドゾーンや気を散らすものを見つけることができます。

このツールは無料で使用できます。ですから、多くのWebサイトで何度でも試してみてください。

A / Bテストを廃止できることを期待して申し訳ありませんが、投稿を読んで楽しんでいただければ幸いです。

ハッピーエイプリルフール！

笑いましたか？ [email protected]で私にメモを送ってください。私はすべてのメールを読んで返信します。