นี่คือวิธีการทดสอบ MailChimp A/B ในแคมเปญอัตโนมัติ

โพสต์นี้เผยแพร่ครั้งแรกในปี 2016 โดยเป็นส่วนหนึ่งของซีรี่ส์ Edgar Learn ซึ่งเราได้แชร์กลยุทธ์ที่ช่วยให้เราประสบความสำเร็จ แม้ว่าจะมีการเปลี่ยนแปลงหลายอย่างตั้งแต่นั้นมา แต่ดูเหมือนว่าการแฮ็ก MailChimp สำหรับการทดสอบ A/B ที่เราค้นพบในปี 2016 จะยังคงใช้งานได้อยู่ในปัจจุบัน ดังนั้นเราจึงตัดสินใจที่จะเก็บไว้ออนไลน์เพื่อให้คุณได้ลองใช้

เราชื่นชอบ MailChimp อย่างแน่นอนที่ MeetEdgar ไม่ต้องสงสัยเลยว่าเป็นเครื่องมือที่สำคัญที่สุดอย่างหนึ่งสำหรับธุรกิจของเรา

แต่เมื่อเราเริ่มเจาะลึกในการทดสอบ MailChimp A/B และส่งอีเมลทดสอบ MailChimp เราก็พบปัญหาเล็กน้อย

MailChimp ไม่อนุญาตให้ทำการทดสอบ A/B ของแคมเปญอัตโนมัติและยังคงเป็นจริงในปี 2021 โดยจะอนุญาตการทดสอบหลายตัวแปรในอีเมลเดียวเท่านั้น

เป็นเรื่องที่สมเหตุสมผล – กฎสำคัญของการทดสอบ A/B คือคุณต้องการเปลี่ยนตัวแปรทีละตัวเท่านั้น และธรรมชาติของแคมเปญอัตโนมัติ (การส่งอีเมลหลายฉบับติดต่อกันโดยอัตโนมัติ) ทำให้ยากต่อการดำเนินการ

อย่างไรก็ตาม เมื่อมีเจตจำนง ย่อมมีทาง และเราค้นพบเคล็ดลับเล็กๆ น้อยๆ ที่คุณอาจต้องการเพิ่มในคลังแสงของแฮ็ก MailChimp

วิธีแฮ็กการทดสอบ MailChimp A/B

ตัวอย่างเช่น หากคุณมีชุดอีเมลสามฉบับ และต้องการทดสอบการเปลี่ยนแปลงทั้งสามฉบับ คุณต้องตั้งค่าการทดสอบที่มีลักษณะดังนี้:

โดยที่ "Control" เป็นเวอร์ชันมาตรฐานของอีเมล และ "Test" คืออีเมล

นั่นคือรูปแบบที่แตกต่างกันเก้าแบบ ซึ่งหมายความว่าเราจะแยกการเข้าชมเก้าวิธีที่แตกต่างกัน ซึ่งหมายความว่าจะใช้เวลาสักครู่เพื่อให้ได้ขนาดตัวอย่างที่มีความหมาย และเนื่องจากแต่ละชุดเหล่านี้ใช้เวลาหลายวันกว่าจะเสร็จสมบูรณ์ เราจึงใช้เวลานานมากในการทดสอบแต่ละครั้งอย่างเหมาะสม

ดังนั้นเราจึงตัดสินใจเหลวไหลเล็กน้อย และเพื่อให้การทดสอบของเรามีลักษณะดังนี้:

กรุณาอย่าเรียกตำรวจทดสอบมาที่เรา! เราทราบดีว่านี่ไม่ใช่วิธีที่ถูกต้องตามหลักวิทยาศาสตร์สำหรับการทดสอบ A/B MailChimp

เหตุผลอื่นนอกเหนือจากความเรียบง่ายทั่วไปและความเร็วในการทดสอบก็คือ เรายังมองหาการเปลี่ยนแปลงครั้งใหญ่กับอัตรา Conversion ของเราด้วย เมื่อคุณกำลังมองหาการเปลี่ยนแปลงครั้งใหญ่ การแยกความแตกต่างอย่างชัดเจนว่าองค์ประกอบใดที่คุณกำลังเปลี่ยนแปลงในการทดสอบนั้นมีความสำคัญน้อยลง

เราหลอกให้ MailChimp ใช้การทดสอบเหล่านี้อย่างไร

เนื่องจาก MailChimp ไม่ได้ถูกตั้งค่าเพื่อให้เราทำการทดสอบกับอีเมลอัตโนมัติได้เลย เราจึงต้องหาวิธีแก้ไขปัญหาชั่วคราว นี่คือสิ่งที่เราทำ…

การทดสอบของเรามุ่งเน้นไปที่ชุดคำเชิญของเราเป็นหลัก

เมื่อคุณเยี่ยมชม MeetEdgar.com คุณได้รับเชิญให้ลงทะเบียนเพื่อรับคำเชิญให้ใช้ Edgar เมื่อคุณสมัครรับคำเชิญ คุณได้รับมอบหมายหมายเลข (รูปแบบการทดสอบ) สิ่งนี้ทำผ่านความมหัศจรรย์เบื้องหลังเล็กน้อยที่ผู้เชี่ยวชาญ WordPress ของเราได้พัฒนาขึ้น

เมื่อเราสร้างกลุ่มสำหรับแคมเปญทดสอบใน MailChimp เราใช้หมายเลขรูปแบบการทดสอบนี้เพื่อแยกคุณออกเป็นกลุ่มทดสอบหรือกลุ่มควบคุม จากนั้นเราก็ส่งแคมเปญหยดที่เหมาะสมไปให้คุณ

ช่วงเวลาก่อนที่จะประดิษฐ์หมายเลขรูปแบบการทดสอบ

เพื่ออ้างอิงตัวอย่างของเราข้างต้นอีกครั้ง หากเรากำลังดำเนินการศึกษาทางวิทยาศาสตร์แบบรายเล่ม เราจำเป็นต้องมีกลุ่มดังกล่าวเก้ากลุ่มเพื่อทดสอบรูปแบบต่างๆ เก้ารูปแบบที่แตกต่างกันของขั้นตอนการทดสอบของเรา แต่ในเวอร์ชันที่เรียบง่ายนี้ เราต้องการเพียงสองรูปแบบการทดสอบเพื่อให้ได้ผลลัพธ์ที่เราต้องการ

ดังนั้นเราจึงสามารถมอบหมายให้ทุกคนได้หนึ่งหรือสองคน แต่นั่นไม่ใช่สิ่งที่ Hackerman จะทำ!

แต่เรากำหนดตัวเลขให้ทุกคนระหว่างหนึ่งถึงหก สิ่งนี้ช่วยให้แน่ใจว่ามีการแบ่ง (และสุ่ม) ที่เท่าเทียมกันมากขึ้น (และสุ่ม) ระหว่างกลุ่มและอนุญาตให้ทำการทดสอบแยกสามทางเช่นกันหากเรารู้สึกเป็นพิเศษ… ทดสอบ

หนึ่ง สอง และสามเข้าไปในกลุ่มควบคุมของเรา และได้รับอีเมลเดียวกันกับที่เราส่งไปตามปกติ สี่ ห้า และหกเข้าสู่กลุ่มทดลองและได้รับโฟลว์ใหม่ทั้งหมดของเรา

เครื่องมือ Segment ของ MailChimp มีลักษณะดังนี้:

เราใช้รูปแบบการทดสอบเพื่อแบ่งผู้ชมของเรา

โปรดทราบว่าคุณต้องดำเนินการนี้สำหรับอีเมลฉบับแรกในชุดอัตโนมัติเท่านั้น! อีเมลอื่นๆ ทั้งหมดเชื่อมต่อกับอีเมลนี้ ทำให้ง่ายต่อการแยกขั้นตอนสำหรับการทดสอบ ขอบคุณ MailChimp!

วิธีที่เราวัดความสำเร็จ

ส่วนที่ยากที่สุดของกระบวนการทดสอบที่ถูกแฮ็กร่วมกันของเราคือการวัดผลลัพธ์

เรากำลังดูสองสิ่งหลัก: อัตราการเปิดและอัตราการคลิก

Open Rate คือจำนวนคนที่เปิดอีเมลแต่ละฉบับ และ Click Rate คือจำนวนคนที่คลิกลิงก์ภายในอีเมลแต่ละฉบับ เห็นได้ชัดว่านี่เป็นสถิติที่สำคัญใช่ไหม?

สาเหตุที่วัดความสำเร็จได้ยากเพราะเราต้องการตัวเลขที่เป็นรูปธรรมเพื่อใช้งาน แต่ MailChimp ให้ตัวเลขเหล่านี้เป็นเปอร์เซ็นต์ ดังนั้นเราจึงสร้างสเปรดชีตที่ใช้อัตราร้อยละและจำนวนอีเมลทั้งหมดที่ส่ง และคืนตัวเลขจริงสำหรับการคลิกและการเปิด ดูเหมือนว่านี้:

ไม่ต้องกังวล เราจะอธิบายคอลัมน์ให้ทราบในไม่กี่วินาที!

เหตุใดเราจึงต้องการจำนวนการเปิดและคลิกที่แท้จริง เนื่องจากเรานำตัวเลขเหล่านั้นมาป้อนลงในเครื่องคำนวณ A/B Split Test Significance Calculator ของ VWO เพื่อดูว่าผลลัพธ์ของเรามีนัยสำคัญทางสถิติหรือไม่

นี่คือสิ่งที่ดูเหมือน:

โดยพื้นฐานแล้ว เครื่องคิดเลขนี้จะคำนวณว่าขนาดตัวอย่างของคุณใหญ่พอที่จะแสดงการเปลี่ยนแปลงจริงหรือไม่ โดยไม่ต้องคำนวณทางคณิตศาสตร์ ในตัวอย่างข้างต้น สิ่งเหล่านี้ไม่ใช่ – นั่นคือเหตุผลที่ “สำคัญ” ของเรา คอลัมน์ในสเปรดชีตยังแสดงคำว่า “ไม่”

เราทำการทดสอบและป้อนตัวเลขด้วยมือในสเปรดชีตและเครื่องคิดเลขจนกว่าจะแสดงนัยสำคัญ หรือเราตัดสินใจว่าจะใช้เวลานานพอที่จะแสดงว่าไม่มีผลกระทบที่แท้จริงจากการเปลี่ยนแปลง และบางครั้ง นั่นอาจเป็นบทเรียนที่มีค่าเช่นกัน!

บทเรียนที่ใหญ่ที่สุดของเราจนถึงตอนนี้

เราได้รวบรวมข้อมูลที่เป็นประโยชน์มากมายจากการทดสอบที่ถูกแฮ็กร่วมกัน ซึ่งรวมถึงการทดสอบหัวเรื่อง MailChimp แบบคลาสสิกและการเปลี่ยนแปลงเนื้อหาของอีเมลบางฉบับ แต่ในภาพรวมของสิ่งต่าง ๆ การเรียนรู้ที่มีค่าที่สุดของเราจนถึงตอนนี้มาจากการทดสอบที่แสดงให้เห็นว่าไม่มีการเปลี่ยนแปลงด้านประสิทธิภาพอย่างมีนัยสำคัญ ซึ่งเป็นการทดสอบเดียวกันกับที่เราใช้เป็นตัวอย่างในภาพด้านบน

ในการทดสอบนี้ สิ่งเดียวที่แตกต่างกันระหว่างสองแคมเปญของเราคือระยะเวลาระหว่างอีเมลแต่ละฉบับ ในการควบคุมของเรา เรามีอีเมลสามฉบับกระจายออกไปประมาณหนึ่งเดือน ในการทดสอบของเรา เราได้ย่อตารางเวลานั้นลงเหลือ 10 วัน

และคาดเดาอะไร? ผลลัพธ์ก็ค่อนข้างเหมือนกัน

โดยพื้นฐานแล้ว เราได้เรียนรู้ว่าเราสามารถลดระยะเวลาของแคมเปญอีเมลแนะนำของเราให้เหลือประมาณหนึ่งในสามของความยาวเดิมโดยไม่มีผลกระทบด้านลบ แน่นอนว่านั่นกลายเป็นมาตรฐานใหม่ของเรา! ไม่ได้ช่วยให้ลูกค้าใหม่เข้ามาเร็วขึ้น แต่ยังทำให้การทดสอบในอนาคตของเราทำงานเร็วขึ้นด้วย และนั่นคือสิ่งที่จ่ายเงินปันผลได้ดีตลอดทาง

ต้องการสนุกกับ MailChimp ด้วยหรือไม่? จากนั้นลองใช้เคล็ดลับการทดสอบแคมเปญอัตโนมัตินี้ดู!

คุณได้ลองทดสอบแคมเปญอัตโนมัติใน MailChimp แล้วหรือยัง?

หากคุณอ่านโพสต์นี้ในปี 2016 และได้ให้คำแนะนำในการทดสอบของเรา เรายินดีรับฟังความคิดเห็นของคุณ คุณค้นพบสิ่งที่มีประโยชน์ สนุก น่าสนใจหรือไม่?

หากคุณกำลังลองแฮ็คเล็ก ๆ นี้เป็นครั้งแรก โปรดแจ้งให้เราทราบความคิดเห็นของคุณในความคิดเห็น! เราชอบที่จะเรียนรู้จากการทดลองของคุณ