การทดสอบ A/B แบบเบย์: โมเดลการใช้เหตุผลอันทรงพลัง

การทดสอบ A/B ไปพร้อมกับกลยุทธ์ CRO ของนักการตลาดทุกคน การเป็นนักการตลาดหรือผู้ปฏิบัติงาน CRO คุณไม่สามารถประเมินคุณค่าของการยอมรับวัฒนธรรมแห่งการทดลองในองค์กรของคุณต่ำเกินไปได้ ทว่าการค้นหารูปแบบที่เหมาะสมที่สุดเพื่อให้ได้ Conversion ที่สูงขึ้นยังคงเป็นความท้าทายที่คงอยู่สำหรับธุรกิจออนไลน์ตลอดมา

ในรูปแบบคลาสสิก การทดสอบ A/B ทำงานเป็นแบบจำลองไบนารี—สมมติฐานว่างที่ต้องปฏิเสธเพื่อยอมรับสมมติฐานทางเลือก เนื่องจากกระบวนการที่ซับซ้อนในการรับข้อมูลเชิงลึกจากการทดลองและการตัดสินใจทางธุรกิจที่สำคัญโดยอิงจากสิ่งเหล่านี้ ผู้ปฏิบัติงาน CRO ได้นำรูปแบบที่น่าเชื่อถือและใช้งานง่ายขึ้นมาแทนที่รูปแบบ Frequentist แบบคลาสสิก มันคือรุ่นเบย์เซียน

แบบจำลองเบย์เซียนพิสูจน์หลักฐานของเหตุผลเบื้องหลังการทดลองที่คุณดำเนินการ ในบล็อกโพสต์นี้ เราได้สำรวจรายละเอียดโมเดล Bayesian เปรียบเทียบกับแนวทาง Frequentist แบบคลาสสิก และกล่าวถึงกรณีการใช้งาน

วิธีการแบบเบย์เซียนคืออะไร?

การให้เหตุผลแบบเบย์นั้นเป็นแนวทางพื้นฐานที่มีพื้นฐานมาจากความเชื่อ โดยมีรากฐานอยู่ในทฤษฎีบทของเบส์ ทฤษฎีบทนำเสนอกรอบทางคณิตศาสตร์เพื่อปรับปรุงความเชื่อที่มีอยู่ของคุณด้วยการไหลเข้าของข้อมูลใหม่

นี่คือตัวอย่างสำหรับคุณ แพทย์สามารถวินิจฉัยปัญหาทางการแพทย์ในผู้ป่วยได้ด้วยวิธีใดวิธีหนึ่ง ในฐานะที่เป็น Frequentist เขาจะมีแบบจำลองตายตัวที่จัดตั้งขึ้นเพื่อต่อต้านอาการเฉพาะของผู้ป่วยสำหรับการวินิจฉัยของเขา เขาอาจสอบสวนผู้ป่วยเพื่อหาสาเหตุและระบุสาเหตุตามแบบจำลองคงที่ที่เขามีอยู่

ในทางตรงกันข้าม ในฐานะชาวเบย์เซียน แพทย์ยังคงมีหุ่นจำลองอยู่ เขาจะสอบสวนผู้ป่วยเพื่อวัดอาการและระบุอาการ นอกจากนี้ เขาต้องการทราบประวัติความเจ็บปวดในอดีตของผู้ป่วย ดังนั้นการวินิจฉัยของเขาจะรวมถึงอาการปัจจุบันและอาการในอดีตในการระบุสาเหตุที่แท้จริง วิธีการนี้จะอัปเดตโมเดลที่มีอยู่ด้วยข้อมูลใหม่ ซึ่งสามารถนำไปสู่นวัตกรรมที่เร็วขึ้นโดยไม่มีค่าใช้จ่าย เวลา หรือพลังงานเพิ่มเติมในกระบวนการวินิจฉัย

ตัวอย่างจาก StackExchange ทำให้แนวคิดนี้ง่ายยิ่งขึ้น

สมมติว่าคุณวางโทรศัพท์ผิดที่ และเนื่องจากสิ่งนี้เกิดขึ้นตลอดเวลา คุณจึงมีเครื่องระบุตำแหน่งโทรศัพท์สำหรับตัวคุณเอง โทรศัพท์ของคุณมีเครื่องมือติดอยู่ที่ฐาน ซึ่งจะส่งสัญญาณให้เริ่มส่งเสียงบี๊บเมื่อคุณกดปุ่มบนตัวระบุตำแหน่งโทรศัพท์ ปัญหาคือ คุณควรเริ่มค้นหาบ้านจากที่ไหน

หากคุณเป็น Frequentist โมเดลในตัวของคุณจะระบุพื้นที่ตามทิศทางของเสียงบี๊บ ดังนั้น คุณจะวิ่งตามเสียงบี๊บเพื่อค้นหาตำแหน่งของอุปกรณ์ในบ้าน

แต่ในฐานะชาวเบย์ คุณจะจำสถานที่ที่คุณพบมันครั้งสุดท้ายที่มันหายไป คุณพบมันบนแผ่นพื้นห้องครัวหรือฝังอยู่ใต้ซักรีดหรือไม่? คุณจะมีเหตุผลเบื้องหลังการวางโทรศัพท์ไว้ในสถานที่เหล่านั้น นอกเหนือจากเสียงบี๊บ การเรียกคืนข้อมูลนี้จะทำหน้าที่เหมือนก่อนหน้าที่จะช่วยคุณในการตัดสินใจตามหลักฐาน ในกรณีนี้ มันจะหาตำแหน่งที่จะเริ่มต้นการค้นหา

ลักษณะสำคัญของการคิดแบบเบย์คือช่วยให้คุณสามารถสำรวจความเชื่อที่มีอยู่ก่อน (ก่อน) ระหว่างการวิจัยของคุณ และความเชื่อเหล่านี้ได้รับการปรับปรุงด้วยข้อมูลหลักฐานที่ส่งผลให้เกิดความเชื่อใหม่ (หลัง)

ในบริบทของการทดสอบ A/B เหตุใดแนวทางแบบเบย์จึงมีประโยชน์มากกว่า Frequentist

คุณสามารถได้ยิน Frequentist ที่ไม่ชอบพูดคุยเกี่ยวกับเหตุการณ์ที่เกิดขึ้นครั้งเดียวบ่นว่า—”ฉันมาที่ความจริงถูกต้องหรือเปล่า?” ในทางตรงกันข้าม ชาวเบย์ที่ใส่ใจในการปรับปรุงความคิดเห็นโดยอาศัยข้อมูลมากกว่าการค้นหาความจริงขั้นสุดท้าย สามารถได้ยินเสียงประกาศดังๆ ว่า—”ฉันไม่รู้ว่าความจริงคืออะไร แต่ฉันเชื่อว่าความเห็นเริ่มต้นของฉันจะเปลี่ยนไปตั้งแต่ตอนนี้ ฉันมีข้อมูลใหม่กับฉัน!” ค่อนข้างมั่นใจ? ใช่แล้ว!

เราทำการทดสอบ A/B โดยใช้ VWO เพื่อตรวจสอบว่าแบนเนอร์ที่ปรากฏตามความตั้งใจในการออกจากผู้เข้าชมสามารถเพิ่มการสร้างโอกาสในการขายในบล็อกของเราได้หรือไม่ เมื่อมองผ่านเลนส์ Bayesian เราจะเห็นระดับความเชื่อมั่นที่แตกต่างกันไปของอัตราการแปลงที่เป็นไปได้ทั้งหมดในการแสดงแบบกราฟิก เราสรุปได้ว่ากลุ่มควบคุม (ไม่มีแบนเนอร์) เป็นผู้ชนะ และยังมีอัตรา Conversion ที่ทับซ้อนกันระหว่าง 0.25% ถึง 0.6%

ในทางกลับกัน แนวทางของ Frequentist คืนค่า p =0.042 และสรุปว่ากลุ่มควบคุมเป็นผู้ชนะ

แนวทางของ Frequentist นั้นแน่วแน่ในการเข้าถึงผู้เข้าชมจำนวนมากเพื่อคืนค่า p ซึ่งยากที่จะใส่ในบริบททางธุรกิจ คุณแยกแยะอะไรกับ p =0.042 ที่นี่? มีแนวโน้มที่จะทำให้คุณสับสน

ในฐานะนักการตลาดหรือผู้นำด้านการเติบโต คุณต้องการให้เครื่องมือของคุณทำงานอย่างหนักเมื่อพูดถึงสถิติและให้ผลลัพธ์ที่ช่วยให้คุณตัดสินใจทางธุรกิจได้ดี

Bayesian เป็นวิธีที่สมเหตุสมผลและใช้งานง่ายยิ่งขึ้นในการเพิ่มประสิทธิภาพความพยายาม CRO ของคุณ โดยจะอัปเดตความคิดเห็นของคุณซึ่งมีหลักฐานสนับสนุนเมื่อคุณสรุปการคาดคะเนและกระตุ้นการเรียนรู้ในวงจรการทดลองด้วยการอัปเดตความรู้ดังที่แสดงในภาพด้านล่าง

VWO SmartStats—วิถีเบส์

VWO ก้าวไปสู่วิถีเบเซียนด้วย SmartStats ซึ่งเป็นเอ็นจิ้นสถิติที่ขับเคลื่อนโดยเบย์สำหรับการทดสอบ A/B เอ็นจิ้นนี้ให้ผลลัพธ์อันชาญฉลาดแก่คุณในการตัดสินใจทางธุรกิจที่ชาญฉลาดยิ่งขึ้น และลดเวลาการทดสอบของคุณ

วิธีการแบบเบย์ทำให้คุณสามารถรวมความรู้เข้ากับการทดลองของคุณซ้ำๆ SmartStats กระตุ้นแนวทางนี้โดยใช้ข้อมูลที่ไม่ให้ข้อมูลก่อน ซึ่งความเป็นไปได้ของอัตราการแปลงทั้งหมดมีโอกาสเท่าเทียมกัน นอกจากนี้ ยังช่วยให้แน่ใจว่าคุณอยู่ในการควบคุมและสามารถตรวจสอบการทดสอบในขณะที่ดำเนินการและบรรลุถึงความสำคัญในช่วงระยะเวลาหนึ่งก่อนที่จะสรุปผล

กลับไปที่ตัวอย่างแบนเนอร์เจตนาทางออกที่กล่าวถึงในบล็อก สำหรับการทดสอบ เราสังเกตว่าการแจกแจงนั้นกว้างกว่าในตอนแรก อย่างไรก็ตาม ดังที่แสดงด้านล่าง คุณสามารถทราบได้ว่าพวกเขาเริ่มลดขนาดลงเมื่อมีข้อมูลเพิ่มเติม
ความน่าจะเป็นที่จะเอาชนะการตรวจวัดพื้นฐานในช่วงเริ่มต้นของการทดสอบนั้นเกือบ 50% แต่เมื่อการทดสอบดำเนินไป ก็มีความมั่นใจถึง 95% หลังจากมีผู้เข้าชมถึง 1,000 คน โดยประกาศว่ากลุ่มควบคุมนั้นเป็นผู้ชนะ

หากคุณดูความคืบหน้าของการทดสอบนี้ในแง่ของเวลาและการเข้าชม ดูเหมือนว่านี้จะมีผู้เข้าชมน้อยที่สุด โดยแสดงรูปแบบที่นำหน้า (ไม่มีนัยสำคัญ):

และด้วยผู้เข้าชมประมาณ 1,000 คน การเปลี่ยนแปลงลดลงอย่างมากและการควบคุมที่ขยายตัว:

กราฟสุดท้ายประกาศการควบคุมเป็นผู้ชนะ:

การทดสอบ A/B แบบเบย์ช่วยให้สร้างนวัตกรรมได้เร็วขึ้นอย่างไร

ด้วยความสามารถในการรวมความเชื่อเข้าเป็นส่วนหนึ่งของการทดลอง วิธีแบบเบย์ช่วยให้คุณตัดสินใจได้เร็วขึ้นด้วยค่าใช้จ่ายในการทดลองที่ต่ำกว่าเมื่อเทียบกับแนวทางที่ใช้บ่อย

เป็นเรื่องปกติที่จะใช้แนวทางแบบเบย์เซียนซึ่งการดำเนินการทดลองจะมีต้นทุนที่สูงกว่า และคุณไม่มีข้อมูลเพียงพอในการตัดสินใจ ไม่ว่าจะเป็นการทดสอบวินิจฉัยทางการแพทย์เพื่อระบุความน่าจะเป็นที่จะเป็นมะเร็งหรืออีเมลที่เป็นสแปม

นอกจากนี้ วิธีการแบบเบย์ยังทำให้คุณสามารถป้อนอาหารส่วนหลังของการทดลองหนึ่งได้เหมือนก่อนหน้าอีกการทดสอบหนึ่ง ดังนั้น เครื่องมือทดสอบ A/B ที่อิงตามรูปแบบนี้จะช่วยให้คุณเพิ่มประสิทธิภาพการทดสอบสำหรับ Conversion ได้อย่างสม่ำเสมอและรวดเร็ว คุณไม่จำเป็นต้องเรียนรู้ข้อมูลใหม่จากการทดสอบของคุณทุกครั้ง แต่ให้ป้อนข้อมูลย้อนหลัง (อ่าน: อัปเดต) ไปซ้ำ ๆ เพื่อพิจารณาการปรับปรุงอย่างมีนัยสำคัญโดยมีข้อมูลน้อยลง

ด้วยการทดสอบแบนเนอร์ที่ตั้งใจจะออกจากงานซึ่งมีการพูดคุยกันอย่างกว้างขวางในบล็อก เราได้ตัดสินใจอย่างรวดเร็วเพื่อดูความคืบหน้าของการทดสอบทันทีที่การทดสอบถึงความสำคัญของการทดสอบ เราดำเนินการดังกล่าวเพื่อลดการสูญเสียเมตริกโอกาสที่เป็น MQL ในกรณีนี้ การทดสอบสิ้นสุดลงด้วยการสังเกตว่าแบนเนอร์เจตนาออกใช้ไม่ได้ในบล็อกของเรา การสังเกตนี้สามารถทำหน้าที่เป็นหลักฐานสนับสนุนข้อมูล (ด้านหลัง) เพื่อนำไปใช้ก่อนการทดลองครั้งต่อไปของเราในบล็อก

ดังนั้นอย่ารอช้า ลงมือ ล้มเหลวอย่างรวดเร็ว เรียนรู้อย่างมีประสิทธิภาพ และเติบโตแบบทวีคูณด้วยการทดสอบ A/B ซ้ำๆ ซึ่งให้โอกาสสำหรับนวัตกรรมในธุรกิจของคุณที่จะได้เห็นการเปลี่ยนแปลงทางดาราศาสตร์