ทดสอบอีเมลแบบ A/B: อะไรเปลี่ยนไปหลังชั่วโมงแรก

ในนาทีที่ 60 มี 4,712 จาก 5,743 คู่ที่เข้าเกณฑ์ซึ่งเวอร์ชันหนึ่งนำอยู่ หมายถึงมีค่าคลิกที่บันทึกไว้ตามตัวชี้วัดสูงกว่าอีกเวอร์ชัน เมื่อนาทีที่ 1,440 หรือ 24 ชั่วโมงหลังส่งแต่ละเวอร์ชัน มี 3,510 คู่ที่เวอร์ชันเดิมยังนำ อีก 991 คู่สลับเป็นอีกเวอร์ชันนำ และ 211 คู่เสมอกัน คิดเป็นคงฝั่งที่นำ 74.5% สลับฝั่ง 21.0% และเสมอ 4.5% ในกลุ่มคู่ที่เริ่มต้นด้วยการมีเวอร์ชันนำ ^[2]

การเปรียบเทียบนี้ใช้ค่าที่บันทึกไว้ตามตัวชี้วัดหนึ่งโดยเฉพาะ เราหารค่าคลิกที่ไม่ซ้ำของแต่ละเวอร์ชันด้วยจำนวนอีเมลที่รายงานว่าส่งแล้ว แล้วคูณ 100 หน่วยที่ได้คือคลิกที่บันทึกไว้ต่ออีเมลที่ส่ง 100 ฉบับ การนำหมายถึงมีค่านี้สูงกว่า ไม่ว่าส่วนต่างจะเล็กเพียงใด ไม่ได้หมายความว่าผลมีนัยสำคัญทางสถิติ

ควรเห็นผลของกลุ่มส่วนใหญ่ด้วย ข้อมูลชุดนี้ไม่ได้แสดงว่ารายงานชั่วโมงแรกมักพลิกกลับ แต่แสดงว่ามีทั้งกรณีที่เวอร์ชันเดิมยังนำ สลับฝั่งที่นำ และเสมอในภายหลัง รายงานที่เก็บเพียงลำดับในช่วงแรกจะไม่เห็นความแตกต่างของผลที่ตามมาเหล่านี้

รายงานชั่วโมงแรกอาจอธิบายข้อมูลที่บันทึกในขณะนั้นได้ถูกต้อง แม้ลำดับจะเปลี่ยนในภายหลัง การเรียกการสลับฝั่งว่า “เลือกผู้ชนะผิด” เป็นข้อสรุปที่ไกลกว่านั้น เพราะถือว่าลำดับครั้งหลังคือความจริง และสมมติว่ารายงานครั้งแรกอ้างมากกว่าการนำอยู่ในขณะนั้น การศึกษานี้เก็บทั้งสองการสังเกตไว้ การเปรียบเทียบแสดงการเปลี่ยนลำดับที่บันทึก ไม่ใช่อัตราความผิดพลาดของระบบตัดสินใจ

ขอบเขตข้อมูลยังแคบกว่าคำทั่วไปว่า “การทดสอบอีเมลแบบ A/B” ในคู่ที่เข้าเกณฑ์ มี 5,647 คู่ระบุว่าเป็นการทดสอบชื่อผู้ส่ง และ 96 คู่เป็นการทดสอบหัวข้อ การทดสอบชื่อผู้ส่งจึงคิดเป็น 98.3% ของการวิเคราะห์นี้ ไม่ควรนำผลไปอ้างเป็นเกณฑ์เปรียบเทียบหัวเรื่องอีเมลหรือค่าประมาณสำหรับทุกแพลตฟอร์มอีเมล

กราฟด้านล่างใช้ทั้ง 5,743 คู่เป็นฐานคำนวณ รวม 1,031 คู่ที่เริ่มต้นด้วยการเสมอ เพื่อให้เห็นผลทุกแบบที่พบ การสลับฝั่ง 991 คู่คิดเป็น 17.3% ของทุกคู่ แต่เป็น 21.0% ของ 4,712 คู่ที่มีเวอร์ชันนำในช่วงแรก ทั้งสองตัวเลขถูกต้อง แต่ตอบคนละคำถาม

รายงานที่เสมอในชั่วโมงแรกยังไม่มีเวอร์ชันนำให้คงอยู่หรือสลับฝั่ง ในข้อมูลชุดนี้ 588 จาก 1,031 คู่ที่เสมอในช่วงแรกมีเวอร์ชันหนึ่งนำในภายหลัง ส่วน 443 คู่ยังเสมอ คิดเป็น 57.0% ของคู่ที่เสมอในช่วงแรก ไม่ควรนำเปอร์เซ็นต์นี้ไปบวกกับเปอร์เซ็นต์การสลับฝั่ง เพราะเริ่มจากคนละกลุ่ม

หลายคู่ที่เสมอในช่วงแรกมีการตอบสนองที่บันทึกไว้น้อยด้วย ใน 655 จาก 1,031 คู่ที่เสมอ ตัวนับคลิกที่ไม่ซ้ำของทั้งสองเวอร์ชันเป็นศูนย์ในชั่วโมงแรก คู่ที่เสมออื่นอาจมีตัวนับเป็นบวกแต่มีอัตราส่วนเท่ากันพอดี เราจัดว่าเสมอจากตัวนับและยอดส่งจริงในข้อมูล ไม่ใช่จากเปอร์เซ็นต์ที่ปัดเศษบนกราฟ ^[3]

สำหรับทีมที่ทำรายงาน ควรแยก “ไม่มีเวอร์ชันนำตามค่าที่บันทึก” ออกจาก “สองเวอร์ชันทำผลงานได้เท่ากัน” ข้อแรกเป็นสิ่งที่สังเกต ณ เวลาหนึ่งหลังส่ง ส่วนข้อหลังต้องมีหลักฐานที่การเปรียบเทียบเชิงพรรณนานี้ไม่ได้ให้ไว้ การที่บางคู่มีเวอร์ชันหนึ่งนำในภายหลังไม่ได้ยืนยันว่าควรเลือกเวอร์ชันใดตั้งแต่ก่อนหน้านั้น

ตรวจฐานคำนวณได้จากตัวเลขจริงด้วยการคำนวณสั้น ๆ หาร 588 ด้วย 1,031 เพื่ออธิบายสิ่งที่เกิดกับคู่ที่เสมอในช่วงแรก หาร 991 ด้วย 4,712 เพื่ออธิบายการสลับฝั่งในกลุ่มที่มีเวอร์ชันนำตั้งแต่แรก หารตัวเลขใดตัวเลขหนึ่งด้วย 5,743 เฉพาะเมื่อคำถามครอบคลุมทุกคู่ที่เข้าเกณฑ์ หัวข้อรายงานควรบอกให้ชัดว่ากำลังเริ่มจากกลุ่มใด

ใน 991 คู่ที่สลับฝั่งที่นำ ค่ามัธยฐานของส่วนต่างสัมบูรณ์อยู่ที่ 0.062 คลิกที่บันทึกไว้ต่ออีเมลที่ส่ง 100 ฉบับในชั่วโมงแรก และ 0.110 เมื่อครบ 24 ชั่วโมง ตัวเลขเหล่านี้เป็นความต่างระหว่างค่าของสองเวอร์ชัน ไม่ใช่จำนวนคนที่เพิ่มขึ้น ยอดซื้อที่มาจากแคมเปญ หรือเปอร์เซ็นต์การเปลี่ยนแปลงของรายได้ ^[3]

จำนวนส่งที่เป็นฐานคำนวณมีความสำคัญต่อการอ่านส่วนต่างนี้ ผลต่างของตัวนับคลิกดิบยังไม่เพียงพอสำหรับเปรียบเทียบเวอร์ชันที่ส่งไม่เท่ากัน ต้องหารตัวนับแต่ละเวอร์ชันด้วยจำนวนส่งที่รายงานของเวอร์ชันนั้นก่อน ส่วนต่าง 0.110 ตามตัวชี้วัดนี้ก็ไม่ควรถูกเรียกว่าเพิ่มขึ้น 0.110% ในเชิงสัมพัทธ์ เพราะเป็นผลต่างสัมบูรณ์บนสเกลต่ออีเมลที่ส่ง 100 ฉบับ โดยไม่ได้ระบุมูลค่ายอดขาย

ส่วนต่างในการวัดครั้งหลังมีขนาดหลากหลาย สำหรับคู่ที่สลับฝั่ง ครึ่งกลางของส่วนต่างอยู่ระหว่างประมาณ 0.025 ถึง 0.336 คลิกที่บันทึกไว้ต่ออีเมลที่ส่ง 100 ฉบับ ค่ามัธยฐานจึงบอกตำแหน่งตรงกลางในกลุ่มนี้ ไม่ได้หมายความว่าทุกการสลับฝั่งมีส่วนต่างน้อย ลำดับอาจเปลี่ยนได้เมื่อส่วนต่างเล็ก และบางส่วนต่างที่บันทึกก็ใหญ่กว่านั้นมาก

ผลแบบอื่นช่วยให้เห็นบริบท คู่ที่เวอร์ชันเดิมยังนำมีค่ามัธยฐานของส่วนต่างครั้งหลัง 0.291 ส่วนคู่ที่จากเสมอเปลี่ยนเป็นมีเวอร์ชันนำอยู่ที่ 0.444 ถ้าครั้งหลังเสมอ ส่วนต่างจะเป็นศูนย์พอดีตามนิยาม ตารางแสดงผลทั้งห้าแบบไว้ด้วยกัน แทนที่จะเน้นเฉพาะคู่ที่สลับฝั่ง

คอลัมน์ครั้งแรกและครั้งหลังเป็นค่ามัธยฐานแยกกันภายในแต่ละแถว ไม่ได้ติดตามคู่ตัวอย่างที่เป็นตัวแทนหนึ่งคู่ และการลบสองค่านี้ไม่ใช่ค่ามัธยฐานของการเปลี่ยนแปลงรายคู่ ควรอ่านเป็นสรุปส่วนต่าง ณ แต่ละเวลาที่วัด ส่วนทิศทางของการเปรียบเทียบให้อ่านชื่อผลที่เกิดขึ้นควบคู่กับขนาดของส่วนต่าง

กลุ่มเหล่านี้นิยามจากสิ่งที่เกิดขึ้นในการวัดทั้งสองครั้ง จึงนำค่ามัธยฐานของส่วนต่างไปใช้เป็นกฎคาดการณ์การสลับฝั่งในแคมเปญใหม่ไม่ได้ โดยเฉพาะค่ามัธยฐานช่วงแรกที่เล็กกว่าในกลุ่มที่สลับฝั่ง ไม่ใช่จุดตัดที่ผ่านการยืนยันแล้วว่าจะบอกได้เมื่อใดว่าตัดสินใจจากรายงานได้อย่างปลอดภัย

ควรอ่านจำนวนที่ใช้คำนวณควบคู่กับส่วนต่าง ใน 4,712 คู่ที่มีเวอร์ชันนำในชั่วโมงแรก ค่ามัธยฐานของผลรวมตัวนับคลิกที่ไม่ซ้ำจากทั้งสองเวอร์ชันเท่ากับเก้า และใน 488 คู่ ผลรวมมีเพียงหนึ่ง ตัวเลขนี้อธิบายหลักฐานตั้งต้นในกลุ่มที่มีเวอร์ชันนำ ไม่ได้แสดงว่าคู่เหล่านั้นเป็นคู่ที่ทำให้เกิดจำนวนการสลับฝั่ง หรือว่าจำนวนคลิกน้อยเป็นสาเหตุของการเปลี่ยนแปลง

เรากำหนดการเปรียบเทียบเพิ่มเติมไว้ก่อนคำนวณผล เมื่อเริ่มที่ 30 นาทีแทน 60 นาที มี 4,507 คู่ที่เวอร์ชันหนึ่งนำอยู่ และ 24.3% ของกลุ่มนี้สลับฝั่งที่นำภายในนาทีที่ 1,440 ส่วนผลที่เริ่มจากชั่วโมงแรกคือ 21.0% จาก 4,712 คู่ที่มีเวอร์ชันนำ ฐานคำนวณที่ต่างกันมีความสำคัญ เพราะบางคู่เสมอในเวลาหนึ่ง แต่มีเวอร์ชันนำในอีกเวลา ^[4]

ผลนี้ไม่ได้แสดงว่าการรอเพิ่มอีก 30 นาทีช่วยป้องกันการตัดสินใจผิดได้เป็นสัดส่วนเท่าใด การคำนวณสองชุดอธิบายลำดับที่พบในเวลาหลังส่งต่างกัน ไม่ได้สุ่มกำหนดนโยบายการรอหรือประเมินผลของการตัดสินใจส่งไปยังผู้รับส่วนที่เหลือ

เรายังจำกัดการเปรียบเทียบจากชั่วโมงแรกไว้ที่ 686 คู่ซึ่งทั้งสองเวอร์ชันมีวันเวลาส่งที่บันทึกตรงกันทุกประการ ใน 560 คู่ที่มีเวอร์ชันนำช่วงแรก มี 19.6% สลับฝั่งในภายหลัง การตรวจนี้ลดความต่างด้านเวลาที่บันทึกไว้หนึ่งด้าน แต่เวลาที่ตรงกันไม่ได้ยืนยันว่าผู้รับได้รับอีเมลพร้อมกันหรือมีโอกาสเห็นอีเมลเท่ากัน

รหัสลูกค้าบางรหัสมีคู่ในข้อมูลมากกว่ารหัสอื่นมาก การคำนวณหลักให้น้ำหนักแต่ละคู่เท่ากัน ส่วนการตรวจแยกอีกแบบคำนวณสัดส่วนการสลับฝั่งภายในแต่ละรหัสจาก 403 รหัสที่มีอย่างน้อยหนึ่งคู่ซึ่งมีเวอร์ชันนำในชั่วโมงแรก จากนั้นให้น้ำหนักแต่ละรหัสเท่ากัน ค่าเฉลี่ยคือ 19.2% ซึ่งเป็นค่าเฉลี่ยของสัดส่วนรายรหัส ไม่ใช่เปอร์เซ็นต์ของลูกค้าที่เคยมีการสลับฝั่ง ^[4]

เมื่อพิจารณารวมกัน การตรวจที่กำหนดไว้ยังคงชี้ถึงประเด็นในการใช้งานว่า การนำที่พบในช่วงแรกอาจคงอยู่ สลับฝั่ง หรือกลายเป็นเสมอ แต่ไม่ได้ให้ค่าความน่าจะเป็นการสลับฝั่งที่ใช้ได้ทั่วไป ข้อมูลมีหลายบันทึกภายในรหัสลูกค้าเดียวกัน และรหัสเหล่านี้ไม่ได้รับการยืนยันว่าเป็นกลุ่มตัวอย่างของธุรกิจที่เป็นอิสระจากกัน

รายงานที่ใช้ประโยชน์ได้เริ่มจากการระบุว่าต้องตัดสินใจเรื่องอะไร ผู้รับกำลังเลือกอีเมลรอบถัดไป บันทึกผลการทดสอบที่จบแล้ว หรือทบทวนการทดสอบที่ผ่านมาเพื่อประชุมวางแผน? การสังเกตในชั่วโมงแรกอาจเกี่ยวข้องกับทุกงาน แต่รายงานที่เตรียมไว้เพื่องานหนึ่งอาจขาดข้อมูลที่อีกงานต้องใช้

ระบุตัวแปรที่ทดสอบและตัวชี้วัดก่อนบอกว่าเวอร์ชันใดนำ ในที่นี้คือตัวแปรชื่อผู้ส่งหรือหัวข้อ ตามด้วยตัวนับคลิกที่ไม่ซ้ำต่ออีเมลที่รายงานว่าส่งแล้ว 100 ฉบับ ถ้าทีมใช้อีเมลที่ส่งถึงผู้รับแล้ว คลิกที่ยืนยันว่ามาจากคน หรือยอดซื้อ ก็ควรระบุนิยามนั้นแทน การแสดงตัวชี้วัดไว้ชัดเจนยังช่วยให้อ่านการเปรียบเทียบในภายหลังได้ง่ายขึ้น

จากนั้นใส่เวลาที่วัดไว้ข้างเวอร์ชันที่นำหรือผลเสมอ พร้อมส่วนต่างระหว่างสองค่าและตัวนับกับยอดส่งของทั้งสองเวอร์ชัน ผู้อ่านจึงเห็นทั้งทิศทาง ส่วนต่าง และกิจกรรมที่บันทึกไว้ซึ่งรองรับผล โดยไม่ต้องเดาทั้งสามอย่างจากแถวที่ถูกไฮไลต์

ตัวอย่างประโยคสำหรับส่งต่อรายงานคือ “ณ [เวลาที่วัด] [เวอร์ชันหรือผลเสมอ] แสดงลำดับปัจจุบันตาม [ตัวชี้วัดที่กำหนด] โดยมีส่วนต่าง [ค่า] จาก [ตัวนับและยอดส่ง]” ข้อความในวงเล็บเป็นช่องให้กรอกจากรายงานจริง ไม่ใช่ผลแคมเปญจากการศึกษานี้ ควรใช้ประโยคแยกเพื่อบันทึกการตัดสินใจและเหตุผลที่เลือก

ถ้ามีการวัดครั้งหลัง ให้เก็บสิ่งที่สังเกตครั้งแรกไว้และแสดงว่าเวอร์ชันเดิมยังนำ สลับฝั่ง หรือเสมอ วิธีนี้ทำให้การทบทวนย้อนหลังแยกได้ระหว่างข้อมูลที่รู้ในตอนนั้นกับสิ่งที่บันทึกในภายหลัง รวมคู่ที่เริ่มต้นด้วยการเสมอด้วย เว้นแต่รายงานจะระบุชัดว่าพิจารณาเฉพาะคู่ที่มีเวอร์ชันนำอยู่แล้ว

การเลือกเวอร์ชันยังขึ้นอยู่กับเป้าหมายแคมเปญ ข้อจำกัดในการส่ง คุณภาพการวัด และต้นทุนของแต่ละทางเลือก ข้อมูลชุดนี้ไม่ได้กำหนดกฎตัดสินใจนั้น แต่ให้เหตุผลที่จะไม่ใช้คำเดียวว่า “ชนะ” แทนทั้งสิ่งที่สังเกตและการตัดสินใจ

งานวิจัยก่อนหน้านี้มองผลของอีเมลว่าเป็นสิ่งที่ค่อย ๆ เกิดขึ้นตามเวลาแล้ว งาน “Real-Time Evaluation of E-mail Campaign Performance” ของ Bonfrer และ Drèze ซึ่งเผยแพร่ออนไลน์ในปี 2008 และอยู่ในวารสาร Marketing Science ปี 2009 อธิบายวิธีพยากรณ์และกรอบตัดสินใจตามลำดับ โดยประเมินจาก 25 แคมเปญ แนวคิดทั่วไปที่ว่าผลช่วงแรกอาจต่างจากผลครั้งหลังจึงไม่ใช่เรื่องใหม่ ^[5]

การวิเคราะห์นี้ใช้ข้อมูลอีกชุดเพื่อตอบคำถามเชิงพรรณนาที่แคบกว่า: ในคู่ที่เข้าเกณฑ์ ลำดับที่บันทึกคงเดิม สลับฝั่ง หรือเสมอบ่อยเพียงใด และมีส่วนต่างขนาดใดประกอบผลแต่ละแบบ? เราเก็บคู่ที่เสมอในช่วงแรกให้เห็นในผล และตรวจว่าคำอธิบายเปลี่ยนหรือไม่เมื่อใช้เวลาและวิธีให้น้ำหนักที่กำหนดไว้

ความแตกต่างนี้สำคัญต่อการอ่านผล แบบจำลองพยากรณ์พยายามประมาณสิ่งที่จะเกิดขึ้นภายใต้สมมติฐานของมัน ส่วนตารางของเราอธิบายสิ่งที่บันทึกในข้อมูลที่เผยแพร่ ณ เวลาหลังส่งที่ระบุ เปอร์เซ็นต์ที่พบช่วยให้ทีมอธิบายรายงานได้ แต่ไม่ใช่แบบจำลองสำหรับเลือกเวอร์ชันของแคมเปญถัดไป

SendGuard900K มีบันทึกแคมเปญที่เผยแพร่ 908,229 รายการ คำอธิบายแหล่งข้อมูลระบุว่าเป็นเมทาดาทาจากระบบใช้งานจริงช่วงปี 2022–2024 เราคัดกรอง 6,801 กลุ่มที่ระบุด้วยรหัสลูกค้าร่วมกับรหัสการทดสอบ แล้วเก็บ 5,743 กลุ่มที่มีบันทึกส่วนทดสอบที่พบและเข้าเกณฑ์พอดีสองรายการ พร้อมจำนวนส่งที่รายงานเป็นบวก การเปรียบเทียบคู่ไม่รวมบันทึกการส่งรอบสุดท้าย และไม่กำหนดว่าต้องมีบันทึกรอบสุดท้าย ^{[1] [6]}

คู่ที่เก็บไว้ครอบคลุมรหัสลูกค้า 473 รหัส การพบบันทึกที่เข้าเกณฑ์พอดีสองรายการไม่ได้ยืนยันว่าเดิมแต่ละการทดลองตั้งไว้เพียงสองเวอร์ชัน ข้อมูลถูกเก็บครบ หรือสุ่มแบ่งผู้รับ เราจึงอธิบายว่าเป็นคู่ที่พบในข้อมูล ไม่ใช่ชุดการทดลองแบบสุ่มที่ยืนยันแล้วว่าครบถ้วน

การคำนวณใช้ตัวนับคลิกที่ไม่ซ้ำของแต่ละเวอร์ชันที่ 30, 60 หรือ 1,440 นาที และใช้จำนวนส่งที่รายงานค่าเดิมในบันทึกทุกครั้ง เวลาแต่ละครั้งนับจากการส่งของเวอร์ชันนั้น คู่ในการวิเคราะห์หลักไม่จำเป็นต้องส่งในเวลาเดียวกันจริง การตรวจเฉพาะเวลาที่ตรงกันเป็นข้อจำกัดแยก ไม่ใช่สมมติฐานที่ใช้กับทุกคู่

ตัวนับที่ต้องใช้ทั้งหมดในคู่ที่เข้าเกณฑ์มีข้อมูล ใช้งานได้ และไม่ติดลบ ไม่มีค่าใดเกินจำนวนส่งที่รายงานของตัวเอง และไม่มีตัวนับลดลงระหว่างเวลาที่ตรวจทั้งสามครั้ง การตรวจเหล่านี้รองรับการคำนวณจากบันทึก แต่ไม่ได้ยืนยันนิยามของคลิกที่ไม่ซ้ำ การกรองบอต การส่งถึงผู้รับ หรือว่าการสังเกตครั้งหลังครอบคลุมการตอบสนองทั้งหมดที่จะเกิดขึ้น ^[6]

เราตัดสินการนำและการเสมอจากการเปรียบเทียบอัตราส่วนอย่างแม่นตรงก่อนปัดเศษ ส่วนต่างเป็นผลต่างสัมบูรณ์ของคลิกที่บันทึกไว้ต่ออีเมลที่ส่ง 100 ฉบับ ค่ามัธยฐานและควอนไทล์อื่นใช้กฎ nearest-rank โดยเรียงค่าแล้วเลือกค่าที่ตำแหน่งที่กำหนด ไม่ใช้การประมาณค่าระหว่างตำแหน่ง รูปแสดงเปอร์เซ็นต์หนึ่งตำแหน่งทศนิยมและมัธยฐานของส่วนต่างสามตำแหน่ง ส่วนไฟล์ดาวน์โหลดค่ารูปเก็บทศนิยมหกตำแหน่งเมื่อเกี่ยวข้อง

วิธีการกำหนดโครงสร้างที่เข้าเกณฑ์ เวลาที่วัด ผลห้าแบบ สรุปจำนวนและส่วนต่าง การตรวจเวลา และการคำนวณที่ให้น้ำหนักลูกค้าแต่ละรหัสเท่ากันไว้ก่อนอ่านผลลัพธ์ ไฟล์งานวิจัยที่ดาวน์โหลดได้เก็บตารางสรุปตามที่กำหนดทั้งหมด รวมค่าศูนย์และการตรวจคุณภาพ การคำนวณซ้ำจากต้นทางอย่างเป็นอิสระให้ผลตรงกับผลสรุปทั้งหมด ผลเหล่านี้อธิบายข้อมูลย้อนหลัง โดยไม่มีช่วงความเชื่อมั่น การทดสอบนัยสำคัญ หรือข้ออ้างว่าเป็นตัวอย่างที่เป็นตัวแทนอุตสาหกรรม ^[7]