อัตราคลิกกับอัตราคอนเวอร์ชัน: เปรียบเทียบจากรายการข้อมูลเดียวกัน

อัตราคลิกนำจำนวนคลิกมาเทียบกับจำนวนโอกาสที่จะคลิกตามที่ระบุไว้ ส่วนอัตราคอนเวอร์ชันนำผลลัพธ์ที่กำหนดมาเทียบกับฐานที่ระบุ ฐานอาจเป็นจำนวนครั้งที่แสดงโฆษณา ข้อความที่ส่งถึง การเข้าชม คนที่คลิก หรือกลุ่มอื่นที่เข้าเกณฑ์ ขึ้นอยู่กับรายงาน การเปรียบเทียบที่ใช้ประโยชน์ได้จึงเริ่มจากบอกให้ชัดว่ากำลังวัดการกระทำใด และใช้อะไรเป็นตัวหาร

ตัวอย่างเช่น “ผู้สมัครในกลุ่มคนที่คลิก” เป็นคนละคำถามกับ “ผู้สมัครในกลุ่มทุกคนที่ได้รับการส่งข้อความ” รายงานใช้คำนิยามแบบใดก็ได้ แต่ชื่อต้องบอกว่าหมายถึงแบบไหน อีกทั้งจำนวนคลิกไม่ใช่จำนวนคนที่คลิกแบบไม่ซ้ำ เพราะคนเดิมอาจคลิกหลายครั้งจนยอดรวมเปลี่ยนไป

ในการศึกษานี้ ฐานร่วมคือข้อมูลหนึ่งรายการของคู่ผู้รับ–จดหมายข่าวในชุดข้อมูลที่เผยแพร่ เรานับว่ารายการนั้นระบุว่ามีการคลิกและมีการลงทุนหรือไม่ เราไม่มีฐานจำนวนข้อความที่ส่งถึง หรือข้อมูลลำดับเหตุการณ์พร้อมเวลา จึงเรียกค่าที่ได้ว่าอัตราที่บันทึกไว้และสัดส่วนที่ทับซ้อนกัน

ความแตกต่างนี้ช่วยธุรกิจตัดสินใจว่าควรปรับข้อความ ข้อเสนอ หรือวิธีวัดผล ยอดรวมแยกกันสองยอดไม่ได้บอกว่าคนหนึ่งหยุดอยู่ตรงขั้นตอนไหน การเชื่อมรายการที่เข้าเกณฑ์เป็นขั้นตอนหนึ่งในการตอบคำถามนี้ ส่วนการยืนยันลำดับและเวลาของเหตุการณ์เป็นอีกขั้นตอนหนึ่ง

นักวิจัย Lars Hornuf และ Christoph Siemroth ร่วมงานกับ bettervest แพลตฟอร์มคราวด์ฟันดิงแบบให้กู้ยืมในเยอรมนี การทดลองเปรียบเทียบวิธีอธิบายโครงการลงทุนสิบโครงการในจดหมายข่าว ชุดข้อมูลที่เผยแพร่มีข้อมูลคู่ผู้รับ–จดหมายข่าว 55,357 รายการ และรหัสผู้รับ 7,864 รหัส ผู้รับหนึ่งรายอาจปรากฏในจดหมายข่าวได้ถึงสิบฉบับ^[1][2]

ผู้วิจัยบันทึกว่าผู้รับคลิกลิงก์เฉพาะของโครงการในจดหมายข่าวหรือไม่ และลงทุนเป็นจำนวนเงินมากกว่าศูนย์ในโครงการนั้นหรือไม่ แต่ละผลลัพธ์เก็บเป็นตัวระบุแบบมีหรือไม่มี การระบุว่ามีการลงทุนไม่ใช่จำนวนธุรกรรม มูลค่าการซื้อ หรือยอดขายอีคอมเมิร์ซที่เสร็จสมบูรณ์

บทความต้นฉบับศึกษาผลของวิธีนำเสนอเนื้อหาในจดหมายข่าว การวิเคราะห์ใหม่ของเราถามอีกเรื่องหนึ่ง คือผลลัพธ์ที่บันทึกไว้สองอย่างทับซ้อนกันมากเพียงใดสำหรับผู้รับและจดหมายข่าวคู่เดียวกัน เรารวมกลุ่มการทดลองเดิมทั้งสามกลุ่มและเก็บตัวอย่างที่เผยแพร่ไว้ทั้งหมด โดยไม่ได้ประมาณผลของวิธีนำเสนอเนื้อหาใหม่

นี่คือข้อมูลในอดีตจากแพลตฟอร์มคราวด์ฟันดิงแห่งหนึ่ง ซึ่งเผยแพร่ในปี 2023 เอกสารที่ตรวจสอบไม่ได้ยืนยันช่วงเวลาสังเกตร่วมกัน หรือลำดับของการคลิกและการลงทุน การศึกษานี้จึงเป็นตัวอย่างการวัดผล ไม่ใช่เกณฑ์อ้างอิงอัตราคอนเวอร์ชันของอีเมลมาร์เก็ตติ้งในปัจจุบัน

จากข้อมูล 55,357 รายการ มี 327 รายการที่บันทึกทั้งการคลิกและการลงทุน อีก 1,499 รายการมีการคลิกโดยไม่ระบุว่ามีการลงทุน 284 รายการมีการลงทุนโดยไม่ระบุว่ามีการคลิก และ 53,247 รายการไม่มีทั้งสองอย่าง ตารางเก็บทั้งสี่กรณีไว้ให้เห็นครบ

เมื่อดูทั้งไฟล์ มี 1,826 รายการที่ระบุว่าคลิก คิดเป็น 3.30% และ 611 รายการที่ระบุว่าลงทุน คิดเป็น 1.10% นี่คืออัตราของแต่ละผลลัพธ์เมื่อดูแยกกัน ซึ่งบอกว่าพบแต่ละอย่างบ่อยเพียงใด แต่ไม่ได้บอกว่าทั้งสองอย่างอยู่ในรายการเดียวกันบ่อยแค่ไหน

ใน 611 รายการที่ระบุว่าลงทุน มี 327 รายการที่ระบุว่าคลิกด้วย คิดเป็น 53.52% ส่วนที่เหลือ 46.48% ไม่มีการคลิกที่บันทึกไว้ หากกลับด้านคำถาม ตัวหารจะเปลี่ยนไป: ใน 1,826 รายการที่ระบุว่าคลิก มี 327 รายการที่ระบุว่าลงทุนด้วย คิดเป็น 17.91%

ทั้งสองเปอร์เซ็นต์ถูกต้อง เพราะตอบคนละคำถาม ค่าแรกเริ่มจากรายการลงทุนแล้วดูว่ามีการคลิกหรือไม่ ค่าที่สองเริ่มจากรายการคลิกแล้วดูว่ามีการลงทุนหรือไม่ ไม่ควรนำค่าใดไปอธิบายว่าเป็นโอกาสที่การคลิกจะนำไปสู่การลงทุนในภายหลัง

รายการที่มีเฉพาะการลงทุนไม่ได้อธิบายว่าเกิดขึ้นมาอย่างไร จึงบอกไม่ได้ว่าคนนั้นข้ามจดหมายข่าว ระบบติดตามพลาดเหตุการณ์ หรือช่องทางอื่นเป็นสาเหตุให้ลงทุน คำอธิบายเหล่านั้นต้องอาศัยหลักฐานเรื่องการเก็บข้อมูล เวลา และกิจกรรมอื่น ซึ่งข้อมูลที่เผยแพร่ชุดนี้ไม่มีให้

สำหรับผู้ดูแลแคมเปญ สิ่งที่นำไปใช้ได้ทันทีมีขอบเขตชัดเจน: แสดงจำนวนรายการที่ตรงกันควบคู่กับยอดรวมแยกกัน หากคำถามทางธุรกิจเกี่ยวกับคนที่ทำทั้งสองอย่าง ส่วนที่ทับซ้อนกันก็เป็นส่วนหนึ่งของคำตอบ การหารยอดรวมสองยอดที่ไม่ได้จับคู่กันใช้แทนไม่ได้

ส่วนที่ทับซ้อนกันแตกต่างไปในจดหมายข่าวต้นทางทั้งสิบฉบับ เมื่อเริ่มจากรายการที่ระบุว่าลงทุน สัดส่วนที่ระบุว่าคลิกด้วยอยู่ระหว่าง 29.55% ถึง 78.43% เราแสดงทุกฉบับ เพื่อไม่ให้ค่าต่ำสุดหรือสูงสุดถูกนำไปใช้แทนผลของการศึกษาทั้งหมด

หมายเลขจดหมายข่าวด้านล่างเป็นรหัสจากแหล่งข้อมูล ไม่ใช่ลำดับเวลา หรืออันดับผลงาน ฐานรายการลงทุนที่เล็กที่สุดมี 31 รายการ และใหญ่ที่สุดมี 118 รายการ เมื่ออ้างเปอร์เซ็นต์สูงจากฐานขนาดเล็ก ควรระบุขนาดฐานนั้นไว้ด้วยเสมอ

จำนวนครบทุกกรณีด้านล่างช่วยให้ตรวจสอบการเปรียบเทียบได้ สำหรับแต่ละฉบับ ให้นำ “ทั้งสองอย่าง” บวกกับ “ลงทุนอย่างเดียว” เพื่อหาฐานรายการลงทุน และนำ “ทั้งสองอย่าง” บวกกับ “คลิกอย่างเดียว” เพื่อหาฐานรายการคลิก ทั้งสี่ช่องรวมกันเท่ากับยอดทั้งหมดของจดหมายข่าวฉบับนั้น

ความแตกต่างนี้ไม่ได้ระบุว่างานสร้างสรรค์ของจดหมายข่าวฉบับใดดีที่สุด โครงการแตกต่างกัน ผู้รับคนเดิมอาจปรากฏซ้ำ และการวิเคราะห์ใหม่นี้รวมกลุ่มทดลองเดิมไว้ด้วยกัน ไม่มีการทดสอบนัยสำคัญรายฉบับ หรือข้ออ้างว่าโครงการใดทำให้เกิดส่วนทับซ้อนมากกว่า

ธุรกิจที่มีหลายแคมเปญควรเก็บรายละเอียดรายแคมเปญไว้คู่กับรายงานรวม หากกำลังตัดสินใจปรับแคมเปญใด ให้เริ่มจากแถวและจำนวนของแคมเปญนั้น ส่วนการรายงานภาพรวมยังควรใช้ตารางรวม ไม่ควรเลือกแคมเปญที่ดูดีหลังจากเห็นผลแล้ว

การเปรียบเทียบหลักให้น้ำหนักข้อมูลคู่ผู้รับ–จดหมายข่าวแต่ละรายการเท่ากัน ผู้รับที่อยู่ในสิบฉบับจึงมีส่วนร่วมสิบรายการ ส่วนผู้รับที่ปรากฏครั้งเดียวมีส่วนร่วมหนึ่งรายการ วิธีนี้เหมาะกับการอธิบายรายการข้อมูลที่เผยแพร่ แต่ไม่ใช่วิธีสรุปเพียงแบบเดียว

ในการเปรียบเทียบรองที่กำหนดไว้ล่วงหน้า เราให้รหัสผู้รับแต่ละรหัสมีน้ำหนักรวมเท่ากับหนึ่ง หากปรากฏในสิบฉบับ แต่ละรายการจะมีน้ำหนักหนึ่งในสิบ หากปรากฏครั้งเดียว รายการนั้นมีน้ำหนักหนึ่ง รหัสผู้รับทุกรหัสจึงมีน้ำหนักรวมเท่ากัน แต่ไม่ได้ทำให้ตัวอย่างนี้เป็นตัวแทนของประเทศหรือตลาด

เมื่อถ่วงน้ำหนักแบบนี้ น้ำหนักของรายการลงทุนส่วนที่มีการคลิกด้วยคิดเป็น 51.69% เทียบกับ 53.52% ในการวิเคราะห์หลัก ส่วนสัดส่วนในทิศทางกลับกันเป็น 19.12% เทียบกับ 17.91% เราเก็บข้อสรุปทั้งสองแบบไว้ การวิเคราะห์รองตั้งใจสรุปข้อมูลอีกแบบหนึ่ง ไม่ใช่การปรับแก้ที่เลือกเพราะชอบผลลัพธ์มากกว่า

ยอดรวมถ่วงน้ำหนักในแต่ละช่องมีเศษส่วน เพราะนำส่วนร่วมอย่างหนึ่งในสองหรือหนึ่งในสิบมารวมกัน ทุกช่องรวมเป็น 7,864 ซึ่งเท่ากับจำนวนรหัสผู้รับ ไม่ควรเรียกว่าเป็นเศษส่วนของคน หรือจำนวนผู้ลงทุนแบบไม่ซ้ำที่ทำแต่ละอย่าง^[3]

ก่อนตีความแคมเปญเป็นขั้นตอนการเปลี่ยนผู้รับให้เป็นลูกค้า ลองเขียนแผนวัดผลสั้น ๆ แบบฟอร์มที่เปิดให้ใช้ได้โดยไม่ต้องลงทะเบียนด้านล่างมีไว้ช่วยวางแผนรายงานของคุณ ไม่ได้สมมติว่าชุดข้อมูลในอดีตนี้ใช้คำนิยามเดียวกัน หรือว่าการเปลี่ยนวิธีวัดผลจะเพิ่มยอดขาย

การตัดสินใจ: “เราต้องการตัดสินใจเรื่อง [ข้อความ ข้อเสนอ หรือรายงาน] สำหรับ [แคมเปญ]” กำหนดสิ่งที่จะตัดสินใจก่อนเลือกอัตราที่คำนวณได้สะดวก

หน่วยและฐาน: “หนึ่งแถวแทน [คู่ผู้รับ–แคมเปญ การเข้าชม หรือหน่วยอื่นที่มีข้อมูลรองรับ] ฐานที่เข้าเกณฑ์ของเราคือ [คำนิยาม] เราจัดการเหตุการณ์ซ้ำและผู้รับที่ปรากฏซ้ำด้วย [กติกา]” แยกจำนวนเหตุการณ์ออกจากจำนวนรหัสระบุตัวตน

การกระทำ: “การคลิกหมายถึง [เหตุการณ์ที่บันทึกไว้อย่างชัดเจน] ผลลัพธ์หมายถึง [การสมัคร การสอบถามที่เข้าเกณฑ์ การซื้อสำเร็จ หรือการกระทำอื่นที่กำหนดไว้]” ตัดสินใจว่าจะจัดการการยกเลิก การคืนเงิน เหตุการณ์ทดสอบ และข้อมูลซ้ำอย่างไร

การเชื่อมและเวลา: “เราเชื่อมรายการด้วย [รหัสระบุตัวตนที่ได้รับอนุญาตให้ใช้] เราสังเกตการคลิกใน [ช่วงเวลา] และผลลัพธ์ใน [ช่วงเวลา] เราตรวจลำดับได้จาก [เวลาที่มีการบันทึกไว้]” ถ้าไม่มีข้อมูลเชื่อมหรือเวลา ให้ระบุว่าไม่มี แทนการเติมช่องว่างด้วยเส้นทางลูกค้าที่สมมติขึ้น

การรายงาน: “เราจะแสดงกรณีคลิกอย่างเดียว ผลลัพธ์อย่างเดียว ทั้งสองอย่าง และไม่มีทั้งสองอย่าง พร้อมฐานที่เข้าเกณฑ์ เปอร์เซ็นต์ที่คำนวณเฉพาะกลุ่มจะระบุตัวหารเสมอ” แยกรายการที่ข้อมูลไม่พร้อมหรือเชื่อมไม่ได้ให้เห็นเป็นประเด็นของรายงาน อย่าจัดรวมเป็น “ไม่มีทั้งสองอย่าง” โดยไม่แจ้ง

การใช้ผล: “รายงานนี้อธิบาย [ความสัมพันธ์ที่สังเกตได้] หากจะอ้างว่า [แคมเปญทำให้เกิดผลลัพธ์มากขึ้น] เราต้องมี [รูปแบบการเปรียบเทียบที่เหมาะสม]” ตารางส่วนทับซ้อนเพียงอย่างเดียวไม่ได้ให้การเปรียบเทียบเพื่อยืนยันสาเหตุ

สมมติครีเอเตอร์หนึ่งรายมีข้อมูลคู่ผู้รับ–แคมเปญที่เข้าเกณฑ์ 1,000 รายการ เมื่อใช้ช่วงเวลาที่กำหนดและวิธีจับคู่ที่ได้รับอนุญาต พบ 80 รายการที่มีการคลิก 30 รายการที่มีการสมัคร และ 18 รายการที่มีทั้งสองอย่าง ตัวเลขเหล่านี้แต่งขึ้นเพื่ออธิบายวิธีคิด ไม่ใช่ผลเพิ่มเติมจากข้อมูลคราวด์ฟันดิง

ตารางครบทั้งสี่กรณีมี 18 รายการที่มีทั้งสองอย่าง 62 รายการที่คลิกอย่างเดียว 12 รายการที่สมัครอย่างเดียว และ 908 รายการที่ไม่มีทั้งสองอย่าง อัตราคลิกคือ 80 หารด้วย 1,000 เท่ากับ 8% อัตราสมัครคือ 30 หารด้วย 1,000 เท่ากับ 3%

ในรายการที่ระบุว่าคลิก มี 18 จาก 80 รายการที่มีการสมัครด้วย คิดเป็น 22.5% ในรายการที่ระบุว่าสมัคร มี 18 จาก 30 รายการที่มีการคลิกด้วย คิดเป็น 60% ครีเอเตอร์รายงานตัวเลขทั้งสี่ได้โดยไม่ทำให้เข้าใจว่ากำลังวัดสิ่งเดียวกัน

ควรอธิบาย 12 รายการที่มีเฉพาะการสมัครอย่างเป็นกลาง จนกว่าครีเอเตอร์จะมีหลักฐานเรื่องเส้นทางที่เกิดขึ้น แม้เวลาที่บันทึกไว้จะยืนยันว่าคลิกก่อนสมัคร ลำดับเพียงอย่างเดียวก็ยังพิสูจน์ไม่ได้ว่าจดหมายข่าวเป็นสาเหตุ ครีเอเตอร์ใช้ตารางตั้งคำถามถัดไปได้ โดยไม่ถือว่าเป็นการประมาณรายได้ที่เพิ่มขึ้นจากแคมเปญ

ตัวอย่างแผนที่กรอกแล้วและใช้ต่อได้คือ “เรากำลังอธิบายส่วนทับซ้อนของการสมัครที่บันทึกไว้ สำหรับแคมเปญและช่วงเวลาเหล่านี้ เราจะเก็บครบทั้งสี่กลุ่ม แสดงฐานของการคำนวณเฉพาะกลุ่มทั้งสองด้าน และแยกรายงานรายการที่จับคู่ไม่ได้” วิธีนี้นำไปใช้ได้มากกว่าชื่ออัตราคอนเวอร์ชันที่ไม่มีใครบอกได้ว่าใช้อะไรเป็นตัวหาร

เราใช้ไฟล์ Stata ฉบับสมบูรณ์ทั้งหมดจากข้อมูลสาธารณะรุ่นแรกของผู้วิจัย ก่อนคำนวณผลลัพธ์ที่เกิดร่วมกัน เราตรวจยืนยันตัวไฟล์ ฟิลด์ตัวเลขที่จำเป็นเจ็ดฟิลด์ คู่ผู้รับ–จดหมายข่าวที่ไม่ซ้ำทั้ง 55,357 คู่ รหัสผู้รับ 7,864 รหัส และรหัสจดหมายข่าวสิบรหัส ตัวระบุทั้งสองต้องมีข้อมูลและเข้ารหัสเป็นศูนย์หรือ 100 เท่านั้น^[2]

เราตรวจจำนวนรายการในกลุ่มทดลองทั้งสาม และคำนวณอัตราคลิกกับอัตราลงทุนแยกกันให้ได้ค่าปัดเศษตรงกับบทความต้นฉบับ ไม่มีการลบรายการ เติมค่าที่หายไป หรือตัดรายการซ้ำ จากนั้นนับทั้งสี่กรณีในภาพรวมและในจดหมายข่าวทุกฉบับ พร้อมคำนวณค่าเดียวกันโดยให้น้ำหนักรวมต่อผู้รับเท่ากันตามที่กำหนดไว้

โปรแกรมสองชุดที่เขียนแยกกันให้จำนวนและเศษส่วนตรงกันทุกประการ แพ็กเกจดาวน์โหลดมีโค้ดคำนวณที่เขียนขึ้นใหม่ วิธีการ และตารางข้อมูลสรุปรวมทั้งหมด ไม่รวมข้อมูลดิบหรือรหัสระบุตัวผู้รับ โปรดดาวน์โหลดไฟล์ต้นทางจากผู้วิจัยแยกต่างหากและคงการอ้างอิงเจ้าของข้อมูลไว้

เราไม่ใส่ช่วงความเชื่อมั่นจากการสุ่มตัวอย่างให้กับการนับรายการทั้งหมดในไฟล์ที่เผยแพร่นี้ จำนวนถูกต้องครบถ้วนสำหรับรายการเหล่านั้น แต่ไม่ได้ยืนยันความแม่นยำเมื่อนำไปใช้กับประชากรที่กว้างกว่า การมีผู้รับและโครงการร่วมกันจะมีผลต่อการสรุปข้ามไปยังกลุ่มอื่น ซึ่งไม่ใช่เป้าหมายของการศึกษานี้

ประโยชน์ที่นำไปใช้ได้คือการเห็นส่วนทับซ้อนที่บันทึกไว้ครบถ้วน และมีวิธีตั้งคำถามวัดผลถัดไปให้ชัดเจน งานนี้เสริมการทดลองเดิมของผู้วิจัย ไม่ได้แทนที่ สำหรับการตัดสินใจเรื่องแคมเปญ ควรกำหนดผลลัพธ์ ฐาน กติกาการจับคู่ และช่วงเวลาให้ชัด ก่อนตัดสินว่าอัตราคอนเวอร์ชันในรายงานหมายถึงอะไร