בדיקות A/B בדוא״ל: מה השתנה אחרי השעה הראשונה
דוח בדיקת דוא״ל מראה שגרסה אחת מובילה אחרי שעה. האם היא עדיין תוביל בהמשך, ומה גודל ההבדל? בארכיון ההיסטורי הזה רוב ההובלות נשמרו, אבל היפוכים ותוצאות תיקו נותנים סיבה להשאיר בדוח את נקודת הבדיקה ואת המספרים.
ניתוח של Influence IQ ל-SendGuard900K, שהמקור שלו מצהיר על רשומות קמפיינים מהשנים 2022–2024. המחקר כולל 5,743 צמדים שנצפו על פני 473 מזהי לקוחות, בעיקר בדיקות של שם השולח. הוא מתאר מדדי הקלקה מתועדים, ולא הקלקות אנושיות בלבד, הכנסות או אמת מידה מייצגת לדוא״ל.
תקציר
דוח מוקדם של בדיקת A/B בדוא״ל יכול לזהות איזו גרסה מובילה בלי לבסס איך ההשוואה תיראה בהמשך. מתוך 4,712 צמדים שנצפו עם הובלה מספרית לאחר 60 דקות ב-SendGuard900K, 74.5% שמרו על ההובלה אחרי 1,440 דקות, ב-21.0% ההובלה התהפכה ו-4.5% הפכו לתיקו. המדד הוא מונה ההקלקות הייחודיות המתועד חלקי מספר הודעות הדוא״ל שדווח שנשלחו, כפול 100. כל גרסה משתמשת במספר ההודעות הקבוע שלה. המקור מצהיר על רשומות מהשנים 2022–2024; 5,647 מתוך 5,743 הצמדים שעומדים בתנאי ההכללה היו בדיקות של שם השולח. [1]
1,031 הצמדים האחרים היו בתיקו בשעה הראשונה; ב-57.0% הייתה בהמשך הובלה מספרית. בצמדים שבהם ההובלה התהפכה, חציון הפער המאוחר היה 0.110 הקלקות מתועדות לכל 100 הודעות שנשלחו. הממצאים האלה תומכים בדיווח משותף על הזמן שחלף עד לתצפית, ההובלה או התיקו, הפער והקשר הספירות. הם אינם מזהים מנצחים אמיתיים, זמן המתנה מיטבי או את השפעת הדחייה של השליחה המלאה.
נניח שאתם מכינים את השליחה הבאה של ניוזלטר. אתם פותחים את דוח ה-A/B, רואים שגרסה אחת מובילה וצריכים לומר לעמית מה לעשות בהמשך. ״זאת ניצחה״ היא הודעה מהירה. היא גם מדלגת על 2 שאלות: בכמה היא מובילה, ומתי ההשוואה הזאת תועדה?
השווינו בין רשומות השעה הראשונה לרשומות אחרי 24 שעות של אותם צמדי דוא״ל. רוב ההובלות מהשעה הראשונה נשמרו. התמונה המלאה כוללת גם הובלות שהתהפכו, הובלות שהפכו לתיקו ותוצאות תיקו שנפרדו בהמשך. המסלולים האלה עוזרים להסביר מה דוח מוקדם אומר לפני שמשתמשים בו לבחירת השליחה הבאה.
אותו צמד דוא״ל ב-2 נקודות בדיקה

רוב ההובלות מהשעה הראשונה נשמרו, אבל לא כולן
אחרי 60 דקות, ב-4,712 מתוך 5,743 הצמדים שעומדים בתנאי ההכללה הייתה הובלה: לגרסה אחת היה מדד הקלקה מתועד גבוה משל האחרת. אחרי 1,440 דקות, כלומר 24 שעות משליחת כל גרסה, 3,510 עדיין היו לטובת אותה גרסה. 991 נוספים היו לטובת הגרסה האחרת, ו-211 היו בתיקו. כלומר 74.5% נשמרו, 21.0% התהפכו ו-4.5% הסתיימו בתיקו בקרב הצמדים שהתחילו בהובלה. [2]
אלה השוואות של מדד מתועד מסוים. אנו מחלקים את מונה ההקלקות הייחודיות של כל גרסה במספר הודעות הדוא״ל שדווח שנשלחו בה ומכפילים ב-100. היחידה שמתקבלת היא הקלקות מתועדות לכל 100 הודעות שנשלחו. הובלה פירושה ערך גבוה יותר של המדד, קטן ככל שיהיה ההפרש. אין פירושה תוצאה מובהקת סטטיסטית.
כדאי להשאיר את הרוב בתמונה. הארכיון הזה אינו מראה שדוחות השעה הראשונה התהפכו בדרך כלל. הוא מראה שגם שימור הובלה, גם היפוך וגם תיקו מאוחר התרחשו. דוח שמתעד רק את הסדר המוקדם מאבד את ההבחנה בין המסלולים המאוחרים האלה.
דוח מהשעה הראשונה יכול לתאר במדויק את המידע שתועד אז, גם כשהסדר המאוחר שונה. כינוי היפוך בשם ״מנצח שגוי״ ירחיק לכת: הוא יתייחס לסדר המאוחר כאמת ויניח שהדוח המוקדם טען ליותר מהובלה נוכחית. כאן שתי התצפיות נשמרות. ההשוואה מראה שינוי בסדר המתועד, ולא שיעור שגיאות של מערכת החלטות.
המקור גם מצומצם יותר מכפי שהביטוי הכללי ״בדיקות A/B בדוא״ל״ מרמז. מתוך הצמדים שעומדים בתנאי ההכללה, 5,647 סומנו כשם שולח ו-96 כנושא. לכן בדיקות שם שולח מהוות 98.3% מהניתוח הזה. אין להציג את הממצאים כאמת מידה לשורות נושא או כאומדן לכל פלטפורמת דוא״ל.
התרשים בהמשך משתמש בכל 5,743 הצמדים כמכנה, כולל 1,031 שהתחילו בתיקו. כך כל מסלול שנצפה נשאר גלוי. 991 ההיפוכים הם 17.3% מכלל הצמדים, אבל 21.0% מתוך 4,712 הצמדים עם הובלה מוקדמת. שני המספרים נכונים; הם עונים על שאלות שונות.
5 מסלולים כוללים את כל 5,743 צמדי הדוא״ל שנצפו
מ-60 עד 1,440 דקות לאחר שליחת כל גרסה ב-SendGuard900K, שהמקור שלו מתארך את הארכיון ל-2022–2024. הובלה היא מונה הקלקות ייחודיות גבוה יותר לכל הודעת דוא״ל שדווח שנשלחה; תיקו נקבע לפי יחסים מדויקים.
| המסלול שנצפה | צמדים שנצפו | שיעור מכל 5,743 הצמדים (%) |
|---|---|---|
| ההובלה המוקדמת נשמרה | 3,510 | 61.1% |
| ההובלה המוקדמת התהפכה | 991 | 17.3% |
| הובלה מוקדמת הפכה לתיקו | 211 | 3.7% |
| תיקו מוקדם הפך להובלה | 588 | 10.2% |
| תיקו מוקדם נשאר תיקו | 443 | 7.7% |
תיקו מוקדם הוא נקודת פתיחה אחרת
בדוח מהשעה הראשונה שמציג תיקו אין גרסה מובילה שהובלתה יכולה להישמר או להתהפך. בארכיון הזה, 588 מתוך 1,031 תוצאות התיקו המוקדמות הפכו בהמשך להובלה, ו-443 נשארו בתיקו. זהו שיעור של 57.0% מתוצאות התיקו המוקדמות. אין להוסיף אותו לאחוז ההיפוכים, שמתחיל מקבוצה אחרת.
בתוצאות תיקו מוקדמות רבות הייתה גם מעט פעילות מתועדת. ב-655 מתוך 1,031 הצמדים שבתיקו, שני מוני ההקלקות הייחודיות בשעה הראשונה היו 0. תוצאות תיקו אחרות יכלו לכלול מונים חיוביים עם יחסים שווים בדיוק. אנו מסווגים שוויון לפי הספירות ומספרי ההודעות שנשלחו שבבסיס הנתונים, ולא לפי אחוזים מעוגלים בתרשים. [3]
לצוות שמכין דוחות, זה מפריד בין ״אין הובלה במדד המתועד״ לבין ״ל-2 הגרסאות ביצועים שווים״. הראשון הוא תצפית לאחר זמן מוגדר. השני ידרוש ראיות שההשוואה התיאורית הזאת אינה מספקת. ההיפרדות המאוחרת של חלק מתוצאות התיקו אינה מבססת איזו גרסה היה צריך לבחור מוקדם יותר.
אפשר לבדוק את המכנה בחישוב קצר עם ספירות הארכיון בפועל. חלקו 588 ב-1,031 כדי לתאר מה קרה לתוצאות תיקו מוקדמות. חלקו 991 ב-4,712 כדי לתאר היפוכים בקרב הובלות מוקדמות. חלקו כל אחת מהספירות ב-5,743 רק כשהשאלה עוסקת בכל הצמדים שעומדים בתנאי ההכללה. כותרת הדוח צריכה לציין את קבוצת הפתיחה הזאת במפורש.
שינוי בגרסה המובילה אינו מתאר את גודל הפער
ב-991 הצמדים שהתהפכו, חציון הפער המוחלט בשעה הראשונה היה 0.062 הקלקות מתועדות לכל 100 הודעות שנשלחו, ואחרי 24 שעות היה 0.110. אלה הפרשים בין המדדים המתועדים של 2 הגרסאות, ולא אנשים נוספים, רכישות מיוחסות או שינויי אחוזים בהכנסות. [3]
מכנה ההודעות שנשלחו חשוב בקריאת הפער. הפרש במוני הקלקות גולמיים אינו מספיק להשוואת גרסאות עם מספרים שונים של הודעות שנשלחו. תחילה צריך לחלק כל מונה במספר ההודעות הכולל שדווח שנשלחו באותה גרסה. גם אין לתאר פער של 0.110 במדד הזה כשיפור יחסי של 0.110%: זהו הפרש מוחלט בסולם של כל 100 הודעות שנשלחו, ללא ערך מכירות מצורף.
גודל הפער המאוחר השתנה. בצמדים שהתהפכו, המחצית האמצעית הייתה בין כ-0.025 ל-0.336 הקלקות מתועדות לכל 100 הודעות שנשלחו. לכן החציון מתאר מיקום טיפוסי בקבוצה הזאת; אין פירושו שכל היפוך היה קטן. סדר יכול להשתנות גם בפער קטן, וחלק מהפערים המתועדים היו גדולים בהרבה.
המסלולים האחרים מספקים הקשר מועיל. בצמדים ששמרו על ההובלה, חציון הפער המאוחר היה 0.291. בצמדים שעברו מתיקו להובלה, חציון הפער המאוחר היה 0.444. בתיקו מאוחר הפער הוא בדיוק 0 מעצם ההגדרה. הטבלה משאירה את כל 5 המסלולים יחד במקום להבליט רק את ההיפוכים.
העמודות המוקדמות והמאוחרות הן חציונים נפרדים בתוך כל שורה. הן אינן עוקבות אחרי צמד טיפוסי אחד, וחיסור שלהן אינו נותן את חציון השינוי בין צמדים. קראו אותן כסיכומים של הפער בכל נקודת בדיקה. כדי לתאר את כיוון ההשוואה, השתמשו בתווית המסלול לצד הגודל.
הקבוצות האלה מוגדרות לפי מה שקרה בשתי נקודות הבדיקה. אי אפשר להשתמש בחציוני הפערים שלהן ככללים לחיזוי מראש של היפוך בקמפיין חדש. בפרט, החציון המוקדם הקטן יותר בצמדים שהתהפכו אינו סף מאומת להחלטה מתי בטוח לפעול לפי דוח.
הקשר הספירות שייך לצד הפער. בקרב כל 4,712 הצמדים עם הובלה בשעה הראשונה, חציון מונה ההקלקות הייחודיות המשולב של 2 הגרסאות היה 9. ב-488 מהצמדים האלה, המונה המשולב היה בדיוק 1. זה מתאר את ראיות הפתיחה אצל המובילים המוקדמים; הוא אינו מראה שהצמדים המסוימים האלה גרמו למספר ההיפוכים הכולל או שספירות נמוכות מסבירות את השינויים.
חציון הפער משתנה בין 5 המסלולים שנצפו
הפרשים מוחלטים בין מדדי ההקלקה המתועדים של 2 הגרסאות אחרי 60 ו-1,440 דקות ב-SendGuard900K, שהמקור שלו מתארך את הארכיון ל-2022–2024. כל מדד הוא מונה ההקלקות הייחודיות חלקי מספר הודעות הדוא״ל שדווח שנשלחו, כפול 100.
| המסלול שנצפה | צמדים שנצפו | חציון הפער אחרי 60 דקות (הקלקות מתועדות לכל 100 הודעות שנשלחו) | חציון הפער אחרי 1,440 דקות (הקלקות מתועדות לכל 100 הודעות שנשלחו) |
|---|---|---|---|
| ההובלה המוקדמת נשמרה | 3,510 | 0.175 | 0.291 |
| ההובלה המוקדמת התהפכה | 991 | 0.062 | 0.110 |
| הובלה מוקדמת הפכה לתיקו | 211 | 0.295 | 0.000 |
| תיקו מוקדם הפך להובלה | 588 | 0.000 | 0.444 |
| תיקו מוקדם נשאר תיקו | 443 | 0.000 | 0.000 |
מה השתנה כשבדקנו את התזמון ואת הרכב הלקוחות
קבענו השוואות נוספות לפני חישוב התוצאות. התחלה אחרי 30 דקות במקום 60 נתנה 4,507 צמדים עם הובלה מוקדמת. מתוכם, ב-24.3% ההובלה התהפכה עד 1,440 דקות. תוצאת השעה הראשונה הייתה 21.0% בקרב 4,712 צמדים עם הובלה. המכנים השונים חשובים: חלק מהצמדים היו בתיקו בנקודת בדיקה אחת ובהובלה באחרת. [4]
אין בכך הוכחה שהמתנה של 30 דקות נוספות מונעת שיעור מסוים של החלטות שגויות. 2 החישובים מתארים סדרים שנצפו לאחר פרקי זמן שונים. הם אינם מקצים באקראי מדיניות המתנה ואינם מעריכים את ההשלכות של החלטת שליחה מלאה.
הגבלנו גם את השוואת השעה הראשונה ל-686 הצמדים שבהם ל-2 הגרסאות היו חותמות זמן מתועדות זהות של שליחה. מתוך 560 עם הובלה מוקדמת, ב-19.6% ההובלה התהפכה בהמשך. הבדיקה הזאת מצמצמת הבדל תזמון אחד בנתונים המתועדים. חותמות זמן תואמות אינן מוכיחות מסירה בו-זמנית או חשיפה שווה של הקהל.
חלק ממזהי הלקוחות תורמים הרבה יותר צמדים מאחרים. החישוב הראשי נותן לכל צמד משקל שווה. בדיקה נפרדת מוצאת תחילה את שיעור ההיפוכים בתוך כל אחד מ-403 מזהי הלקוחות עם לפחות הובלה 1 בשעה הראשונה, ואז נותנת לכל מזהה כזה משקל שווה. הממוצע הוא 19.2%. זהו ממוצע שיעורי ההיפוכים שלהם, ולא אחוז הלקוחות שחוו היפוך. [4]
יחד, הבדיקות הקבועות משמרות את הסוגיה המעשית: הובלה מוקדמת שנצפתה יכולה להישמר, להתהפך או להפוך לתיקו. הן אינן יוצרות הסתברות אוניברסלית להיפוך. בארכיון יש רשומות חוזרות בתוך מזהי לקוחות, והמזהים האלה אינם מדגם מאומת של עסקים בלתי תלויים.
שיעורי היפוך ב-3 השוואות קבועות
ב-SendGuard900K, שהמקור שלו מתארך את הארכיון ל-2022–2024, כל אחוז מחלק היפוכים מאוחרים בצמדים עם הובלה מספרית בנקודת הבדיקה המוקדמת. נקודת הבדיקה המאוחרת היא תמיד 1,440 דקות לאחר שליחת כל גרסה.
| השוואה | צמדים עם הובלה מספרית מוקדמת | היפוכים מאוחרים בקרב הובלות מספריות מוקדמות (%) |
|---|---|---|
| 60 עד 1,440 דקות: כל הצמדים שעומדים בתנאי ההכללה | 4,712 | 21.0% |
| 30 עד 1,440 דקות: כל הצמדים שעומדים בתנאי ההכללה | 4,507 | 24.3% |
| 60 עד 1,440 דקות: חותמות זמן מתועדות זהות של שליחה | 560 | 19.6% |
תנו למי שבוחר את השליחה הבאה יותר מתווית ״מנצח״
דוח מועיל מתחיל בהחלטה שצריך לקבל. האם מקבל הדוח בוחר את השליחה הבאה, מתעד בדיקה שהושלמה או סוקר בדיקות עבר לקראת פגישת תכנון? תצפית מהשעה הראשונה עשויה להיות רלוונטית לכל משימה, אבל דוח שהוכן לאחת יכול להשמיט מידע הדרוש לאחרת.
ציינו את המשתנה שנבדק ואת המדד לפני שמציינים את המוביל. כאן מדובר בשם שולח או בנושא, ואחריהם מונה ההקלקות הייחודיות לכל 100 הודעות שדווח שנשלחו. צוות שמשתמש בהודעות שנמסרו, בהקלקות אנושיות מאומתות או ברכישות צריך לציין את ההגדרה הזאת במקום. שמירת המדד גלוי גם מקלה לפרש השוואות מאוחרות יותר.
לאחר מכן הציבו את נקודת הבדיקה לצד ההובלה או התיקו. כללו את ההפרש בין 2 המדדים ואת המונים ומספרי ההודעות שנשלחו שבבסיס שתי הגרסאות. כך מי שקורא את הדוח יכול לראות כיוון, פער והפעילות המתועדת שמאחוריו, במקום להסיק את כל 3 הפרטים משורה מודגשת.
משפט מסירה להמחשה יכול להיות: ״ב[נקודת בדיקה], [גרסה או תיקו] מתארים את הסדר הנוכחי ב[מדד מוגדר]; הפער הוא [ערך], בהתבסס על [מונים ומספרי הודעות שנשלחו]״. הסוגריים הם שדות להשלמה מדוח אמיתי, ולא תוצאות קמפיין מהמחקר הזה. משפט נפרד צריך לתעד את הפעולה שנבחרה ואת הסיבה לה.
אם זמינה נקודת בדיקה מאוחרת יותר, שמרו את התצפית המוקדמת והראו אם ההובלה נשמרה, התהפכה או הפכה לתיקו. כך סקירה בדיעבד יכולה להבחין בין מה שהיה ידוע אז למה שתועד בהמשך. כללו גם צמדים שהתחילו בתיקו, אלא אם הדוח עוסק במפורש רק בצמדים שכבר הייתה בהם הובלה.
בחירת גרסה עדיין תלויה במטרת הקמפיין, באילוצי המסירה, באיכות המדידה ובעלות של כל בחירה. הארכיון אינו קובע את הכלל הזה. הוא נותן סיבה מועילה להימנע מלתת למילה אחת, ״מנצח״, לייצג גם את התצפית וגם את ההחלטה.
שמרו על הקשר בין התצפית להחלטה

הגדירו את ההשוואה
זהו את המשתנה שנבדק, המדד המתועד ונקודת הבדיקה.
שמרו את הראיות יחד
דווחו על ההובלה או התיקו לצד הפער והמונים שמאחוריו.
ציינו את ההחלטה בנפרד
הפרידו בין כלל ההחלטה של הקמפיין לבין ההובלה או התיקו שנצפו.
הערכה מוקדמת של דוא״ל היא שאלת מחקר מוכרת
מחקרים קודמים כבר מתייחסים לביצועי דוא״ל כדבר שמתפתח לאורך זמן. המאמר ״Real-Time Evaluation of E-mail Campaign Performance״ של Bonfrer ו-Drèze, שפורסם ברשת ב-2008 וב-Marketing Science ב-2009, מתאר שיטת חיזוי ומסגרת החלטה סדרתית שנבדקו על 25 קמפיינים. הרעיון הכללי שתוצאות מוקדמות ומאוחרות יכולות להיות שונות אינו חדש. [5]
הניתוח הזה עונה על שאלה תיאורית מצומצמת יותר באמצעות ארכיון אחר: באיזו תדירות סדרים מתועדים נשמרו, התהפכו או הסתיימו בתיקו בצמדים שעומדים בתנאי ההכללה, ואילו פערים ליוו את המסלולים האלה? הוא משאיר תוצאות תיקו מוקדמות גלויות ובודק אם התמונה משתנה לפי בחירות תזמון ושקלול קבועות.
ההבחנה חשובה בקריאת הממצאים. מודל חיזוי מנסה לאמוד מה יקרה בהמשך לפי הנחותיו. הטבלאות שלנו מתארות מה הרשומות שפורסמו מכילות לאחר פרקי זמן מוגדרים. האחוזים שנצפו יכולים לעזור לצוות להסביר דוח; הם אינם מודל לבחירת הגרסה בקמפיין הבא.
איך הושוו הצמדים המתועדים
SendGuard900K מכיל 908,229 רשומות קמפיינים שפורסמו. תיאור המקור שלו מצהיר על מטא-נתונים מסביבת ייצור מהשנים 2022–2024. סיננו 6,801 קבוצות המזוהות בצירוף מזהה לקוח ומזהה בדיקה, ואז שמרנו 5,743 קבוצות עם בדיוק 2 רשומות נצפות של חלקי בדיקה שעומדות בתנאי ההכללה ועם מספרים חיוביים של הודעות שדווח שנשלחו. רשומות השליחה המלאה הסופית הוחרגו מהשוואת הצמדים; נוכחותן לא נדרשה. [1] [6]
הצמדים שנשמרו משתרעים על 473 מזהי לקוחות. בדיוק 2 רשומות נצפות שעומדות בתנאי ההכללה אינן מבססות שבכל ניסוי מקורי הוגדרו רק 2 גרסאות, שהארכיון שלו מלא או שהקהלים הוקצו באקראי. לכן אנו מתארים צמדים שנצפו, ולא אוסף מאומת של ניסויים אקראיים מלאים.
לכל גרסה, החישוב משתמש במונה ההקלקות הייחודיות שלה אחרי 30, 60 או 1,440 דקות ובאותו מכנה ארכיוני של הודעות שדווח שנשלחו. כל נקודת בדיקה נמדדת ביחס לשליחת הגרסה הזאת. צמד בניתוח הראשי אינו חייב לחלוק שעת שליחה זהה לפי השעון. בדיקת חותמת הזמן הזהה היא הגבלה נפרדת, ולא הנחה שמוחלת על כל צמד.
כל המונים הנדרשים בצמדים שעומדים בתנאי ההכללה היו זמינים, תקפים ולא שליליים; אף אחד לא עלה על מספר ההודעות שדווח שנשלחו עבורו. אף מונה לא ירד לאורך 3 נקודות הבדיקה. הבדיקות האלה תומכות בחשבון המתועד, אבל אינן יכולות לבסס את משמעות ההקלקה הייחודית, סינון הבוטים, המסירה או אם תצפיות מאוחרות יותר לוכדות כל תגובה עתידית. [6]
אנו קובעים הובלות ותוצאות תיקו בהשוואות מדויקות של היחסים הבסיסיים לפני עיגול. פערים הם הפרשים מוחלטים בהקלקות מתועדות לכל 100 הודעות שנשלחו. חציונים וקוונטילים אחרים משתמשים בכלל הדירוג הקרוב ביותר: ממיינים את הערכים ובוחרים את הדירוג המצוין, ללא אינטרפולציה. התרשימים מעגלים אחוזים לספרה עשרונית 1 ופערי חציון ל-3; הורדת התרשים שומרת 6 ספרות עשרוניות כשמתאים.
השיטה קבעה את מבנה ההכללה, נקודות הבדיקה, 5 המסלולים, סיכומי הספירות והפערים, בדיקות התזמון וחישוב המשקל השווה ללקוח לפני קריאת התוצאות. כל הטבלאות המצטברות הקבועות נשארות בהורדת המחקר, כולל ספירות אפס ובדיקות איכות. שחזור עצמאי מהמקור תאם לפלטים המצטברים המלאים. אלה תוצאות תיאוריות של ארכיון, ללא רווחי סמך, בדיקות מובהקות או טענה לדגימה מייצגת של הענף. [7]
קובץ ה-CSV של התרשימים כולל 31 ערכים מספריים, 1 לכל שורת נתונים, מתוך 13 השורות המוצגות על פני 3 תרשימים. קובץ ה-ZIP שומר את כל 11 הטבלאות המצטברות, בדיקות המקור וקוד השחזור. הוא אינו כולל שורות ברמת הקמפיין או מזהי לקוחות/בדיקות. כלולות הוראות מתורגמות; שחזור הניתוח דורש את קובץ המקור שמורידים בנפרד. הורדות מספריות משתמשות בנקודה עשרונית.
מקורות והערות
- מקור: Bobek, Nalepa, Obara, Suszalski ו-Bałec, SendGuard900K: Massive Dataset for Metadata-Based Quality Assurance of Email Marketing, גרסה 1.0.0. המקור מצהיר על מטא-נתונים של קמפיינים מהשנים 2022–2024 ומייחס זכויות יוצרים ל-Freshmail, 2025. הניתוח הזה משתמש ב-5,743 צמדים נצפים שעומדים בתנאי ההכללה, ולא בכל 908,229 שורות הקמפיינים. מתוך הצמדים האלה, 5,647 מסומנים sender_name ו-96 מסומנים topic.
- מתוך 4,712 הובלות מספריות בשעה הראשונה, 3,510 שמרו על ההובלה, 991 התהפכו ו-211 הפכו לתיקו בהמשך: 74.5%, 21.0% ו-4.5%. מתוך 1,031 תוצאות תיקו מוקדמות, 588 הפכו להובלה מספרית ו-443 נשארו בתיקו: 57.0% ו-43.0%. תרשים 5 המסלולים מחלק לעומת זאת כל ספירה בכל 5,743 הצמדים. הערכים מחושבים לפני עיגול התצוגה.
- המדד הוא מונה ההקלקות הייחודיות חלקי מספר ההודעות הקבוע שדווח שנשלחו בגרסה, כפול 100. סיווגי הובלה ותיקו משתמשים ביחסים מדויקים, ולא בתצוגות מעוגלות. לפערים המוחלטים יש יחידות של הקלקות מתועדות לכל 100 הודעות שנשלחו. בצמדים שהתהפכו, החציון המאוחר הוא 0.109543, והרבעונים הראשון והשלישי הם 0.024817 ו-0.336215. כל האפסים המוצגים בטבלת חציוני הפערים של 5 המסלולים הם אפסים מדויקים.
- בהשוואת 30 הדקות יש 4,507 הובלות מספריות מוקדמות, כולל 1,093 היפוכים מאוחרים. בהגבלה לחותמת זמן מתועדת זהה יש 686 צמדים, כולל 560 הובלות מספריות מוקדמות ו-110 היפוכים. התוצאה הראשית במשקל שווה ללקוח מחשבת ממוצע של שיעורי ההיפוך בתוך כל לקוח על פני 403 מזהי לקוחות עם לפחות הובלה מספרית מוקדמת 1. הממוצע הוא 19.227847%; הוא אינו אחוז ממספר הלקוחות ואינו אומדן לעסקים מייצגים.
- Bonfrer ו-Drèze, Real-Time Evaluation of E-mail Campaign Performance, Marketing Science 28(2), 251–263; פורסם ברשת ב-7 באוקטובר 2008, בגיליון משנת 2009. תקציר המפרסם מתאר גישת חיזוי מסוג split-hazard, 25 קמפיינים ומסגרת החלטה סדרתית. הוא תומך בהיסטוריה הקודמת של הערכה מוקדמת של דוא״ל, ולא באימות אחוזי הארכיון התיאוריים שלנו.
- סינון המקור הקבוע שומר בדיוק 2 רשומות נצפות של חלקי בדיקה שעומדות בתנאי ההכללה לכל קבוצת לקוח/בדיקה משולבת, ומחריג שורות של שליחה מלאה סופית. השדות הציבוריים אינם מבססים במלואם את מוסכמת תחילת/סיום שעון השליחה או את משך השליחה, את מפתח הייחודיות של ההקלקות, פעילות אנושית בלבד, מכנים של הודעות שנמסרו, הקצאה מלאה בניסוי המקורי או בשלות חילוץ הנתונים. מונים תקפים שאינם יורדים אינם פותרים את המגבלות האלה. חותמות זמן מתועדות זהות של שליחה אינן מוכיחות מסירה בו-זמנית.
- SendGuard900K פורסם ברישיון Creative Commons Attribution 4.0 International. חבילת המחקר כוללת קוד ניתוח, את השיטה הקבועה וטבלאות מצטברות נגזרות; היא אינה מפיצה מחדש רשומות ברמת הקמפיין או מזהי לקוחות/בדיקות. שחזור מהמקור דורש הורדה נפרדת של הקובץ המקורי. החבילה המשותפת כוללת הוראות מתורגמות.
המאמר באנגלית הוא מהדורת המקור. כל מהדורות השפה מתארות את אותו ארכיון SendGuard900K היסטורי, שהמקור שלו מצהיר על רשומות מהשנים 2022–2024. תרגום אינו הופך את התוצאות לאמת מידה לשוק מקומי או לענף בהווה.