توقع نتائج اختبار A / B باستخدام علم التنجيم الهندي القديم

لدينا في VWO مهمة لمساعدة فرق التسويق والمنتجات على تقليل الوقت والجهد اللازمين لمعرفة ما هو الأفضل لأعمالهم وما لا يناسب أعمالهم. في عام 2010 ، ابتكرنا محرر "افعل ذلك بنفسك" لفرق العمل لتحرير صفحات الويب وإنشاء أشكالها المختلفة لاختبارات A / B دون إشراك فرق تكنولوجيا المعلومات. قطع هذا الابتكار الجهد المبذول لإطلاق اختبار A / B من أسابيع إلى ساعات ، ولم تعد صناعة اختبار A / B هي نفسها منذ ذلك الحين.

ولكن ، كما يعلم أي شخص أجرى اختبار A / B ، لا يزال عليك الانتظار لأسابيع من أجل البدء في الحصول على نتائج إحصائية مهمة حول الإصدار الأفضل.

كنا نتساءل عما إذا كانت هناك طريقة لتقليص فترة الانتظار هذه أيضًا. ألن يكون رائعًا إذا كانت هناك طريقة لمعرفة الإصدار الذي سيفوز على الفور دون انتظار أسابيع أو شهور حتى تصل البيانات؟

هل يمكن للذكاء الاصطناعي المساعدة؟

كان الاتجاه البحثي الأول الذي لجأنا إليه هو تقنية الذكاء الاصطناعي المزدهرة. من المؤكد أنك سمعت عن الشبكات العصبية والتعلم الآلي وعلوم البيانات. هل يمكن أن تساعدنا إحدى هذه التقنيات؟ إذا كانت الشبكات العصبية قادرة على قيادة السيارات اليوم ، فربما يمكنها أيضًا التنبؤ بإصدار موقع الويب الأفضل؟

على مدى السنوات القليلة الماضية ، جربنا العديد من التقنيات واستثمرنا الكثير من المال في محاولة تشغيل إحدى تقنيات الذكاء الاصطناعي. لقد أحرزنا بعض التقدم عندما أطلقنا منذ شهرين مؤلف إعلانات لمواقع الويب مدعوم بالذكاء الاصطناعي ساعد المسوقين على ابتكار عناوين بديلة جديدة وعبارات الحث على اتخاذ إجراء وأوصاف المنتجات لاختبارها.

ولكن ، لسوء الحظ ، لم تكن التقنيات المماثلة القائمة على الذكاء الاصطناعي تعمل بشكل مرضٍ في التنبؤ بنتائج اختبار A / B. يبدو أن قيادة السيارات والتغلب على بطل العالم في Go Go واكتشاف الأورام هي مشكلة أسهل من توقع تصميم موقع الويب الذي سيكون اختيارًا أفضل.

أدخل IA

بينما كنا على وشك التخلي عن مشروع أحلامنا ، وجهنا أحدهم إلى الفيل في الغرفة: علم التنجيم. كان رد فعلنا الأول هو رفض هذا الاقتراح السخيف على الفور. نحن مجموعة متشككة وليس هناك مكان لمثل هذا العلم الزائف في عمل جاد مثل أعمالنا.

لكننا كنا يائسين وقررنا إعطاء هذه الفكرة السخيفة تمامًا طلقة أخيرة. قيل لنا أن ملايين الأشخاص في جميع أنحاء العالم يتنبأون بجميع أنواع الظواهر باستخدام تقنيات مثل الأبراج أو بطاقات التارو. إذا كان الناس يستخدمون تقنية للتنبؤ بما إذا كان زواجهم سينجح أم لا ، ألا يمكن استخدامه للتنبؤ بما إذا كانت النسخة أ أفضل من النسخة ب؟

بعد النظر في معادلة التكلفة والفائدة ، قررنا إجراء تجربة صغيرة. إذا لم ينجح علم التنجيم ، كما توقعنا ، فسنخسر بعض الاستثمار والوقت. ومع ذلك ، إذا نجحت ، فستغير صناعة التسويق وأبحاث المستخدم إلى الأبد.
لذلك ، بدأنا الطيار بكل جدية. بعد إجراء بحث أولي حول تقنية التنجيم الأكثر تنبؤًا ، استقرنا على علم التنجيم الهندي (IA). على وجه الخصوص ، استقرنا على علم التنجيم الببغاء. ما أعطانا الثقة فيه هو وجود صفحة على موقع ويكيبيديا.

في علم تنجيم الببغاء ، يضع المنجم خيارات متعددة أمام ببغاء أليف محبوس في قفص. عندما يخرج الببغاء من القفص ، فإنه يختار أحد الخيارات كتوقع. بسيط ومباشر. لقد أحببناه بالفعل.

ما فعلناه لطيارنا هو ما يلي:

• قم بإجراء 100 اختبار A / B من قاعدة بياناتنا حيث كان هناك فائز واضح وإحصائي مهم (إما A أو B)
• اطبع لقطات الشاشة الخاصة بهم
• قم بتجنيد منجم هندي بببغاء واختيار الببغاء بين أزواج لقطات الشاشة عبر 100 تجربة (واحدة لكل اختبار أ / ب)

كانت فرضيتنا الصفرية هي أن الببغاء لن يكون قادرًا على الاختيار أفضل من الفرصة العشوائية. وهذا يعني أن الببغاء يجب أن يختار الفائز الصحيح والخاسر لكل منهما تقريبًا بفرصة 50٪.

ومع ذلك ، ولدهشتنا ، اختار الببغاء الفائز 80 مرة من أصل 100 مرة . باستخدام أي آلة حاسبة قياسية ذات الحدين (سواء كانت متكررة أو بايزية) ، ستكتشف بسرعة أن فرص حدوث ذلك قريبة من الصفر. نجح علم التنجيم الهندي حقًا!

من الواضح أننا بصدد شيء ما هنا. نخطط قريبًا لكتابة ورقة علمية حول هذا الموضوع وتقديم نتائجنا في مجلة رفيعة المستوى. كل شيء مثير للغاية وغامض. كيف يعرف الببغاء أي إصدار يعمل بشكل أفضل؟ حسنًا ، لا نعرف ذلك ، لكن لا ينبغي أن يمنعنا ذلك من استخدام التقنية في العالم الحقيقي (بنفس الطريقة التي ما زلنا لا نعرف لماذا يكون التعلم العميق فعالًا للغاية في أنواع مختلفة من المشاكل ولكنه يستخدم على نطاق واسع) .

احصل على وصول مبكر إلى تنبؤات اختبار A / B التي تعمل بببغاء

نحن نحاول بنشاط توسيع نطاق البرنامج التجريبي بهدف نهائي يتمثل في إتاحته لجميع الشركات في العالم عبر واجهة مستخدم بسيطة داخل VWO أو عبر واجهة برمجة تطبيقات. التحدي الرئيسي هو العثور على ما يكفي من الببغاوات والتأكد من أننا نفعل ذلك بشكل أخلاقي. بمجرد القيام بذلك ، ستتمكن أي شركة في العالم من الالتقاء بسرعة على واجهة المستخدم المثلى دون الحاجة إلى إجراء أي اختبار A / B.

لدينا بعض الفتحات للأشخاص الذين يريدون الوصول المبكر إلى هذه التكنولوجيا. إذا كنت ترغب في تصويرها ، راسلنا عبر البريد الإلكتروني هنا: [email protected]

انتظر ماذا؟

حسنًا ، ألم نقول إننا مجموعة متشككة؟ اتضح أنه لا يوجد دليل علمي على أن علم التنجيم يعمل. علاوة على ذلك ، فإننا ندين بشدة وضع أي طائر أو حيوان في أقفاص لأي شيء آخر غير الأبحاث السريرية أو الطبية (حتى في الأبحاث السريرية ، نتمنى أن تحل النماذج الحسابية والفيزيائية محل الحيوانات الفعلية بشكل متزايد).

إذا كنت متحمسًا بشأن توقع نتائج اختبار A / B ، فأنت لست وحدك. نحن متحمسون لنفس الشيء ، وعلى الرغم من أن علم التنجيم الببغاء لا يعمل ، فنحن ملتزمون بمواصلة إحراز تقدم نحو مساعدة فرق العمل على تحقيق احتمالية أعلى للنجاح في كل اختبار من اختبارات A / B الخاصة بهم.

بعد إطلاق مؤلف إعلانات مواقع الويب المدعوم بالذكاء الاصطناعي العام الماضي ، أطلقنا مؤخرًا أداة توقع خرائط الحرارة التي تعمل بالذكاء الاصطناعي. بعد إدخال عنوان URL لصفحة الويب الخاصة بك ، نأخذ لقطة شاشة ونستخدم التعلم العميق للتنبؤ بتوزيع النقرات على موقع الويب. يمكن أن يساعدك هذا في اكتشاف المناطق الميتة أو عوامل التشتيت الواضحة على موقع الويب الخاص بك حتى قبل تشغيله أو استخدام أداة خريطة التمثيل اللوني عليه.

هذه الأداة مجانية للاستخدام. لذلك لا تتردد في تجربته عدة مرات على العديد من مواقع الويب.

نأسف لإعطائك الأمل في أنه يمكنك التخلص من اختبار A / B ، ولكن نأمل أن تكون قد استمتعت بقراءة المنشور

كذبة ابريل السعيد!

ضحكت؟ أرسل لي ملاحظة على [email protected]. قرأت وأرد على جميع رسائل البريد الإلكتروني.