ईमेल A/B परीक्षण: पहले घंटे के बाद क्या बदला
ईमेल परीक्षण की रिपोर्ट में 1 घंटे के बाद एक संस्करण आगे दिखता है. क्या वह बाद में भी आगे रहेगा और अंतर कितना बड़ा है? इन ऐतिहासिक रिकॉर्ड में अधिकांश बढ़त बनी रही, लेकिन क्रम पलटने और बराबरी की स्थितियाँ बताती हैं कि रिपोर्ट में अवलोकन का समय और संख्याएँ साथ रखना क्यों उपयोगी है.
SendGuard900K का Influence IQ द्वारा विश्लेषण. इसके स्रोत के अनुसार, अभियान रिकॉर्ड 2022–2024 के हैं. अध्ययन में 473 क्लाइंट ID के 5,743 देखे गए जोड़े शामिल हैं, जिनमें मुख्य रूप से भेजने वाले के नाम के परीक्षण हैं. यह दर्ज क्लिक के मापों का वर्णन करता है, केवल मानवों के क्लिक, राजस्व या प्रतिनिधि ईमेल मानक का नहीं.
सार
ईमेल A/B परीक्षण की शुरुआती रिपोर्ट बता सकती है कि कौन-सा संस्करण आगे है, लेकिन इससे यह स्थापित नहीं होता कि बाद में तुलना कैसी होगी. SendGuard900K में 60 मिनट पर बढ़त वाले, यानी बराबरी वाले नहीं, 4,712 देखे गए जोड़ों में से 74.5% ने 1,440 मिनट पर वही बढ़त बनाए रखी, 21.0% में क्रम पलटा और 4.5% में बराबरी हो गई. माप निकालने के लिए दर्ज यूनिक-क्लिक काउंटर को भेजे गए ईमेल की बताई गई संख्या से भाग देकर 100 से गुणा किया जाता है. हर संस्करण के लिए उसके भेजे गए ईमेल की बताई गई तय संख्या का उपयोग होता है. स्रोत के अनुसार रिकॉर्ड 2022–2024 के हैं; 5,743 पात्र जोड़ों में से 5,647 भेजने वाले के नाम के परीक्षण थे. [1]
बाकी 1,031 जोड़े पहले घंटे में बराबर थे; उनमें से 57.0% में बाद में बढ़त थी. जिन जोड़ों में क्रम पलटा, उनमें बाद के अंतर की माध्यिका भेजे गए हर 100 ईमेल पर 0.110 दर्ज क्लिक थी. ये निष्कर्ष अवलोकन तक बीता समय, बढ़त या बराबरी, अंतर और संख्याओं का संदर्भ साथ देने का आधार देते हैं. वे असली विजेता, प्रतीक्षा की सर्वोत्तम अवधि या बड़े पैमाने पर भेजना टालने का असर नहीं बताते.
मान लें कि आप अगला न्यूज़लेटर भेजने की तैयारी कर रहे हैं. आप A/B रिपोर्ट खोलते हैं, एक संस्करण आगे देखते हैं और सहकर्मी को बताना चाहते हैं कि आगे क्या करना है. “यह जीत गया” कहना आसान है. लेकिन इसमें 2 सवाल छूट जाते हैं: वह कितने अंतर से आगे है और यह तुलना कब दर्ज की गई थी?
हमने ईमेल के उन्हीं जोड़ों के पहले घंटे और 24 घंटे के रिकॉर्ड की तुलना की. पहले घंटे की अधिकांश बढ़त बनी रही. पूरे विवरण में बढ़त का क्रम पलटना, बढ़त से बराबरी होना और शुरुआती बराबरी के बाद किसी का आगे होना भी शामिल है. इन स्थितियों से समझ आता है कि अगला ईमेल भेजने का निर्णय लेने के लिए रिपोर्ट का उपयोग करने से पहले, शुरुआती रिपोर्ट वास्तव में क्या बताती है.
ईमेल का वही जोड़ा 2 अवलोकन समयों पर

पहले घंटे की अधिकांश बढ़त बनी रही, लेकिन सभी नहीं
60 मिनट पर 5,743 पात्र जोड़ों में से 4,712 में बढ़त थी: एक संस्करण का दर्ज क्लिक माप दूसरे से अधिक था. हर संस्करण के भेजे जाने के 1,440 मिनट, यानी 24 घंटे बाद, 3,510 में वही संस्करण आगे रहा. अन्य 991 में दूसरा संस्करण आगे था, जबकि 211 में बराबरी थी. शुरुआत में बढ़त वाले जोड़ों में यह 74.5% में बढ़त बने रहना, 21.0% में क्रम पलटना और 4.5% में बराबरी होना है. [2]
ये एक खास दर्ज माप की तुलनाएँ हैं. हम हर संस्करण के यूनिक-क्लिक काउंटर को उसके भेजे गए ईमेल की बताई गई संख्या से भाग देकर 100 से गुणा करते हैं. इससे बनी इकाई है: भेजे गए हर 100 ईमेल पर दर्ज क्लिक. बढ़त का मतलब इस माप का अधिक होना है, चाहे अंतर कितना भी छोटा हो. इसका अर्थ सांख्यिकीय रूप से महत्त्वपूर्ण परिणाम नहीं है.
अधिकांश जोड़ों में बढ़त बने रहने की बात ध्यान में रखनी चाहिए. ये ऐतिहासिक रिकॉर्ड यह नहीं दिखाते कि पहले घंटे की रिपोर्टों का क्रम आम तौर पर पलट गया. इनमें बढ़त बने रहना, क्रम पलटना और बाद में बराबरी होना, सभी देखे गए. सिर्फ़ शुरुआती क्रम दर्ज करने वाली रिपोर्ट इन बाद की स्थितियों का अंतर खो देती है.
बाद में क्रम बदलने पर भी पहले घंटे की रिपोर्ट उस समय दर्ज जानकारी का सही वर्णन कर सकती है. क्रम पलटने को “गलत विजेता” कहना इससे आगे का दावा होगा: इसमें बाद के क्रम को सत्य माना जाएगा और यह मान लिया जाएगा कि शुरुआती रिपोर्ट ने सिर्फ़ मौजूदा बढ़त से अधिक दावा किया था. यहाँ दोनों अवलोकन बनाए रखे गए हैं. तुलना दर्ज क्रम में बदलाव दिखाती है, किसी निर्णय प्रणाली की त्रुटि दर नहीं.
स्रोत का दायरा “ईमेल A/B परीक्षण” जैसे सामान्य शब्दों से लगने वाले दायरे से भी संकरा है. पात्र जोड़ों में से 5,647 को भेजने वाले का नाम और 96 को विषय का लेबल दिया गया था. इसलिए इस विश्लेषण में 98.3% परीक्षण भेजने वाले के नाम के हैं. निष्कर्षों को ईमेल की विषय पंक्ति का मानक या हर ईमेल प्लेटफ़ॉर्म का अनुमान बनाकर पेश नहीं करना चाहिए.
नीचे दिए चार्ट में हर के रूप में सभी 5,743 जोड़ों का उपयोग हुआ है, जिनमें शुरुआत में बराबर रहे 1,031 जोड़े भी शामिल हैं. इससे हर देखी गई स्थिति सामने आती है. क्रम पलटने वाले 991 जोड़े सभी जोड़ों के 17.3% हैं, लेकिन शुरुआत में बढ़त वाले 4,712 जोड़ों के 21.0% हैं. दोनों संख्याएँ सही हैं; वे अलग सवालों के जवाब देती हैं.
5 स्थितियों में सभी 5,743 देखे गए ईमेल जोड़े शामिल हैं
SendGuard900K में हर संस्करण के भेजे जाने के 60 से 1,440 मिनट तक. स्रोत के अनुसार ये ऐतिहासिक रिकॉर्ड 2022–2024 के हैं. बढ़त का मतलब यूनिक-क्लिक काउंटर को भेजे गए ईमेल की बताई गई संख्या से भाग देने पर अधिक मान मिलना है; बराबरी सटीक अनुपातों से तय होती है.
| देखी गई स्थिति | देखे गए जोड़े | सभी 5,743 जोड़ों का हिस्सा (%) |
|---|---|---|
| शुरुआती बढ़त बनी रही | 3,510 | 61.1% |
| शुरुआती बढ़त का क्रम पलटा | 991 | 17.3% |
| शुरुआती बढ़त से बराबरी हुई | 211 | 3.7% |
| शुरुआती बराबरी से बढ़त बनी | 588 | 10.2% |
| शुरुआती बराबरी बनी रही | 443 | 7.7% |
शुरुआती बराबरी की स्थिति अलग है
पहले घंटे में बराबरी वाली रिपोर्ट में कोई संस्करण आगे नहीं होता जिसकी बढ़त बनी रहे या जिसका क्रम पलटे. इन रिकॉर्ड में शुरुआती बराबरी वाले 1,031 जोड़ों में से 588 में बाद में बढ़त बनी, जबकि 443 बराबर रहे. यह शुरुआती बराबरी वाले जोड़ों का 57.0% है. इसे क्रम पलटने के प्रतिशत में नहीं जोड़ना चाहिए, जिसका शुरुआती समूह अलग है.
शुरुआत में बराबरी वाले कई जोड़ों में दर्ज गतिविधि भी कम थी. बराबरी वाले 1,031 जोड़ों में से 655 में पहले घंटे के दोनों यूनिक-क्लिक काउंटर 0 थे. अन्य बराबरी वाले जोड़ों में काउंटर धनात्मक और अनुपात ठीक बराबर हो सकते थे. हम बराबरी तय करने के लिए मूल संख्याओं और भेजे गए ईमेल की कुल संख्या का उपयोग करते हैं, चार्ट में राउंड किए प्रतिशतों का नहीं. [3]
रिपोर्ट बनाने वाली टीम के लिए इससे “दर्ज माप में कोई बढ़त नहीं” और “2 संस्करणों का प्रदर्शन बराबर है” के बीच अंतर स्पष्ट होता है. पहली बात एक बताए गए समय तक का अवलोकन है. दूसरी बात के लिए ऐसे साक्ष्य चाहिए जो यह वर्णनात्मक तुलना नहीं देती. कुछ बराबरी वाले जोड़ों में बाद में किसी का आगे होना यह स्थापित नहीं करता कि कौन-सा संस्करण पहले चुनना चाहिए था.
ऐतिहासिक रिकॉर्ड की वास्तविक संख्याओं से छोटी-सी गणना करके हर जाँचा जा सकता है. शुरुआती बराबरी वाले जोड़ों का क्या हुआ, यह बताने के लिए 588 को 1,031 से भाग दें. शुरुआती बढ़त वाले जोड़ों में क्रम पलटने का हिस्सा बताने के लिए 991 को 4,712 से भाग दें. इनमें से किसी भी संख्या को 5,743 से तभी भाग दें जब सवाल सभी पात्र जोड़ों के बारे में हो. रिपोर्ट के शीर्षक में यह शुरुआती समूह स्पष्ट होना चाहिए.
आगे रहने वाला संस्करण बदलने से अंतर का आकार पता नहीं चलता
क्रम पलटने वाले 991 जोड़ों में निरपेक्ष अंतर की माध्यिका पहले घंटे में भेजे गए हर 100 ईमेल पर 0.062 दर्ज क्लिक और 24 घंटे पर 0.110 थी. ये 2 संस्करणों के दर्ज मापों के अंतर हैं, अतिरिक्त लोगों, इन ईमेल से जुड़ी मानी गई खरीद या राजस्व में प्रतिशत बदलाव की संख्याएँ नहीं. [3]
अंतर पढ़ते समय भेजे गए ईमेल का हर महत्त्वपूर्ण है. जिन संस्करणों की भेजी गई कुल संख्याएँ अलग हों, उनकी तुलना के लिए सिर्फ़ मूल क्लिक काउंटरों का अंतर काफ़ी नहीं है. पहले हर काउंटर को उसके अपने संस्करण के भेजे गए ईमेल की बताई गई कुल संख्या से भाग देना चाहिए. इस माप में 0.110 के अंतर को 0.110% सापेक्ष सुधार भी नहीं कहना चाहिए: यह भेजे गए हर 100 ईमेल के पैमाने पर निरपेक्ष अंतर है, जिससे कोई बिक्री मूल्य नहीं जुड़ा है.
बाद के अंतर का आकार अलग-अलग था. क्रम पलटने वाले जोड़ों में बीच के आधे जोड़ों के अंतर भेजे गए हर 100 ईमेल पर लगभग 0.025 से 0.336 दर्ज क्लिक के बीच थे. इसलिए माध्यिका इस समूह में एक सामान्य स्थिति बताती है; इसका मतलब यह नहीं कि क्रम पलटने के हर मामले में अंतर छोटा था. छोटे अंतर पर भी क्रम बदल सकता है और दर्ज किए गए कुछ अंतर कहीं बड़े थे.
अन्य स्थितियाँ उपयोगी संदर्भ देती हैं. जिन जोड़ों की बढ़त बनी रही, उनमें बाद के अंतर की माध्यिका 0.291 थी. बराबरी से बढ़त की ओर गए जोड़ों में बाद के अंतर की माध्यिका 0.444 थी. परिभाषा के अनुसार बाद में बराबरी होने पर अंतर ठीक 0 होता है. तालिका सिर्फ़ क्रम पलटने वाले जोड़ों को उभारने के बजाय सभी 5 स्थितियाँ साथ रखती है.
हर पंक्ति में शुरुआती और बाद के कॉलम अलग-अलग माध्यिकाएँ हैं. वे किसी 1 सामान्य जोड़े की यात्रा नहीं दिखाते और उन्हें घटाने से जोड़ों में बदलाव की माध्यिका नहीं मिलती. उन्हें हर अवलोकन समय पर अंतर के सार के रूप में पढ़ें. तुलना की दिशा बताने के लिए आकार के साथ स्थिति का लेबल भी दें.
ये समूह दोनों अवलोकन समयों पर हुई घटनाओं से तय होते हैं. इनके माध्यिका अंतर नए अभियान में क्रम पलटने को पहले से पहचानने के नियम नहीं बन सकते. खास तौर पर, क्रम पलटने वाले जोड़ों में छोटी शुरुआती माध्यिका ऐसा सत्यापित कटऑफ़ नहीं है जिससे तय किया जा सके कि रिपोर्ट के आधार पर कार्रवाई करना कब सुरक्षित है.
अंतर के साथ संख्याओं का संदर्भ भी होना चाहिए. पहले घंटे में बढ़त वाले सभी 4,712 जोड़ों में 2 संस्करणों के संयुक्त यूनिक-क्लिक काउंटर की माध्यिका 9 थी. इनमें से 488 जोड़ों में संयुक्त काउंटर ठीक 1 था. इससे शुरुआती बढ़त वाले जोड़ों के लिए उपलब्ध शुरुआती साक्ष्य का पता चलता है; यह नहीं दिखाता कि उन्हीं खास जोड़ों के कारण क्रम पलटने की कुल संख्या बनी या कम संख्याएँ बदलाव की वजह हैं.
अंतर की माध्यिका देखी गई 5 स्थितियों में अलग है
SendGuard900K में 60 और 1,440 मिनट पर 2 संस्करणों के दर्ज क्लिक मापों के निरपेक्ष अंतर. स्रोत के अनुसार ये ऐतिहासिक रिकॉर्ड 2022–2024 के हैं. हर माप यूनिक-क्लिक काउंटर को भेजे गए ईमेल की बताई गई संख्या से भाग देकर 100 से गुणा करने पर मिलता है.
| देखी गई स्थिति | देखे गए जोड़े | 60 मिनट पर अंतर की माध्यिका (भेजे गए हर 100 ईमेल पर दर्ज क्लिक) | 1,440 मिनट पर अंतर की माध्यिका (भेजे गए हर 100 ईमेल पर दर्ज क्लिक) |
|---|---|---|---|
| शुरुआती बढ़त बनी रही | 3,510 | 0.175 | 0.291 |
| शुरुआती बढ़त का क्रम पलटा | 991 | 0.062 | 0.110 |
| शुरुआती बढ़त से बराबरी हुई | 211 | 0.295 | 0.000 |
| शुरुआती बराबरी से बढ़त बनी | 588 | 0.000 | 0.444 |
| शुरुआती बराबरी बनी रही | 443 | 0.000 | 0.000 |
समय और क्लाइंटों की हिस्सेदारी जाँचने पर क्या बदला
परिणाम निकालने से पहले हमने अतिरिक्त तुलनाएँ तय कीं. 60 के बजाय 30 मिनट से शुरू करने पर शुरुआती बढ़त वाले 4,507 जोड़े मिले. इनमें से 24.3% में 1,440 मिनट तक क्रम पलट गया. पहले घंटे का परिणाम बढ़त वाले 4,712 जोड़ों में 21.0% था. इनके अलग-अलग हर महत्त्वपूर्ण हैं: कुछ जोड़ों में एक अवलोकन समय पर बराबरी और दूसरे पर बढ़त थी. [4]
इससे यह साबित नहीं होता कि अतिरिक्त 30 मिनट प्रतीक्षा करने से गलत निर्णयों के किसी खास हिस्से को रोका जा सकता है. ये 2 गणनाएँ अलग-अलग समय बीतने पर देखे गए क्रम का वर्णन करती हैं. वे प्रतीक्षा की कोई नीति यादृच्छिक रूप से लागू नहीं करतीं और न ही बड़े पैमाने पर भेजने के निर्णय के परिणामों का मूल्यांकन करती हैं.
हमने पहले घंटे की तुलना को उन 686 जोड़ों तक भी सीमित किया जिनके 2 संस्करणों के भेजने के दर्ज समय एक जैसे थे. शुरुआती बढ़त वाले 560 जोड़ों में से 19.6% में बाद में क्रम पलटा. इस जाँच से दर्ज डेटा में समय का 1 अंतर कम होता है. एक जैसे टाइमस्टैम्प एक साथ ईमेल पहुँचने या दर्शकों को बराबर एक्सपोज़र मिलने का प्रमाण नहीं हैं.
कुछ क्लाइंट ID से अन्य की तुलना में कहीं अधिक जोड़े आते हैं. मुख्य गणना में हर जोड़े का भार बराबर है. अलग जाँच में पहले उन 403 क्लाइंट ID में से हर एक के भीतर क्रम पलटने का हिस्सा निकाला जाता है जिनमें पहले घंटे पर कम से कम 1 जोड़े में बढ़त थी. फिर हर ऐसी ID को बराबर भार दिया जाता है. औसत 19.2% है. यह उनके क्रम पलटने के हिस्सों का माध्य बताता है, उन क्लाइंटों का प्रतिशत नहीं जिनमें क्रम पलटा. [4]
साथ देखने पर ये पहले से तय जाँचें व्यावहारिक मुद्दे को बनाए रखती हैं: देखी गई शुरुआती बढ़त बनी रह सकती है, उसका क्रम पलट सकता है या बराबरी हो सकती है. इनसे क्रम पलटने की सार्वभौमिक संभावना नहीं मिलती. इन ऐतिहासिक रिकॉर्ड में क्लाइंट ID के भीतर दोहराए गए रिकॉर्ड हैं और ये ID स्वतंत्र व्यवसायों का सत्यापित नमूना नहीं हैं.
पहले से तय 3 तुलनाओं में क्रम पलटने का हिस्सा
SendGuard900K में हर प्रतिशत, बाद में क्रम पलटने वाले जोड़ों की संख्या को शुरुआती अवलोकन समय पर बढ़त वाले जोड़ों की संख्या से भाग देकर निकाला जाता है. स्रोत के अनुसार ये ऐतिहासिक रिकॉर्ड 2022–2024 के हैं. बाद का अवलोकन समय हमेशा हर संस्करण के भेजे जाने के 1,440 मिनट बाद है.
| तुलना | शुरुआत में बढ़त वाले जोड़े | शुरुआत में बढ़त वाले जोड़ों में बाद में क्रम पलटने का हिस्सा (%) |
|---|---|---|
| 60 से 1,440 मिनट: सभी पात्र जोड़े | 4,712 | 21.0% |
| 30 से 1,440 मिनट: सभी पात्र जोड़े | 4,507 | 24.3% |
| 60 से 1,440 मिनट: भेजने के एक जैसे दर्ज टाइमस्टैम्प | 560 | 19.6% |
अगला ईमेल भेजने का निर्णय लेने वाले को सिर्फ़ विजेता का लेबल न दें
उपयोगी रिपोर्ट की शुरुआत उस निर्णय से होती है जो लिया जा रहा है. क्या रिपोर्ट पाने वाला अगली बार भेजे जाने वाला संस्करण चुन रहा है, पूरे हो चुके परीक्षण को दर्ज कर रहा है या योजना बैठक के लिए पिछले परीक्षणों की समीक्षा कर रहा है? पहले घंटे का अवलोकन हर काम के लिए प्रासंगिक हो सकता है, लेकिन 1 काम के लिए तैयार रिपोर्ट में दूसरे के लिए ज़रूरी जानकारी छूट सकती है.
आगे रहने वाला संस्करण बताने से पहले परीक्षण किए गए चर और माप को बताएँ. यहाँ इसका मतलब भेजने वाले का नाम या विषय, फिर भेजे गए ईमेल की बताई गई कुल संख्या के आधार पर हर 100 ईमेल का यूनिक-क्लिक काउंटर है. पहुँचे हुए ईमेल, सत्यापित मानव क्लिक या खरीद का उपयोग करने वाली टीम को उसकी जगह अपनी परिभाषा देनी चाहिए. माप सामने रहने से बाद की तुलनाएँ समझना भी आसान होता है.
इसके बाद बढ़त या बराबरी के साथ अवलोकन का समय दें. 2 मापों का अंतर और दोनों संस्करणों के मूल काउंटर व भेजे गए ईमेल की कुल संख्या शामिल करें. रिपोर्ट पढ़ने वाला तब दिशा, अंतर और उसके पीछे की दर्ज गतिविधि देख सकता है; उसे हाइलाइट की गई पंक्ति से इन 3 बातों का अनुमान नहीं लगाना पड़ेगा.
रिपोर्ट सौंपते समय उदाहरण के लिए यह वाक्य दिया जा सकता है: “[अवलोकन के समय] पर, [संस्करण या बराबरी] [परिभाषित माप] में मौजूदा क्रम बताता है; अंतर [मान] है और इसके पीछे [काउंटर और भेजे गए ईमेल की कुल संख्याएँ] हैं.” कोष्ठकों में वे फ़ील्ड हैं जिन्हें वास्तविक रिपोर्ट से भरना है, इस अध्ययन के अभियान परिणाम नहीं. चुनी गई कार्रवाई और उसका कारण अलग वाक्य में दर्ज करना चाहिए.
यदि बाद के समय का अवलोकन उपलब्ध है, तो शुरुआती अवलोकन बनाए रखें और दिखाएँ कि बढ़त बनी रही, क्रम पलटा या बराबरी हुई. इससे पिछली घटनाओं की समीक्षा में उस समय की जानकारी और बाद में दर्ज जानकारी के बीच अंतर किया जा सकता है. शुरुआत में बराबर रहे जोड़े भी शामिल करें, जब तक रिपोर्ट स्पष्ट रूप से सिर्फ़ उन्हीं जोड़ों के बारे में न हो जिनमें पहले से बढ़त थी.
संस्करण चुनना अब भी अभियान के उद्देश्य, ईमेल पहुँचाने की सीमाओं, मापन की गुणवत्ता और दोनों में से किसी भी चुनाव की लागत पर निर्भर करता है. ऐतिहासिक रिकॉर्ड यह नियम तय नहीं करते. वे बताते हैं कि अवलोकन और निर्णय, दोनों की जगह सिर्फ़ 1 शब्द, “विजेता”, रख देने से बचना क्यों उपयोगी है.
अवलोकन को निर्णय के साथ रखें

तुलना बताएँ
परीक्षण किया गया चर, दर्ज माप और अवलोकन का समय पहचानें.
साक्ष्य साथ रखें
बढ़त या बराबरी के साथ अंतर और उसके पीछे के काउंटर बताएँ.
निर्णय अलग बताएँ
अभियान के निर्णय नियम को देखी गई बढ़त या बराबरी से अलग रखें.
ईमेल का शुरुआती मूल्यांकन पहले से शोध का विषय है
पहले का शोध भी ईमेल के प्रदर्शन को समय के साथ सामने आने वाली चीज़ मानता है. Bonfrer और Drèze का “Real-Time Evaluation of E-mail Campaign Performance”, जो 2008 में ऑनलाइन और 2009 में Marketing Science में प्रकाशित हुआ, भविष्यवाणी की एक विधि और क्रमिक निर्णय का ढाँचा बताता है. इसका मूल्यांकन 25 अभियानों पर किया गया था. शुरुआती और बाद के परिणाम अलग हो सकते हैं, यह सामान्य विचार नया नहीं है. [5]
यह विश्लेषण अलग ऐतिहासिक रिकॉर्ड से एक अधिक सीमित वर्णनात्मक सवाल का जवाब देता है: पात्र जोड़ों में दर्ज क्रम कितनी बार बना रहा, पलटा या बराबरी में बदला और इन स्थितियों के साथ अंतर कितने बड़े थे? यह शुरुआती बराबरी को सामने रखता है और जाँचता है कि पहले से तय समय और भार के विकल्पों से विवरण बदलता है या नहीं.
निष्कर्ष पढ़ते समय यह अंतर महत्त्वपूर्ण है. भविष्यवाणी करने वाला मॉडल अपनी मान्यताओं के तहत आगे क्या होगा, इसका अनुमान लगाने की कोशिश करता है. हमारी तालिकाएँ बताती हैं कि जारी रिकॉर्ड में तय समय बीतने पर क्या दर्ज है. देखे गए प्रतिशत टीम को रिपोर्ट समझाने का तरीका तय करने में मदद कर सकते हैं; वे अगले अभियान का संस्करण चुनने का मॉडल नहीं हैं.
दर्ज जोड़ों की तुलना कैसे की गई
SendGuard900K में 908,229 जारी अभियान रिकॉर्ड हैं. इसके स्रोत विवरण के अनुसार, वास्तविक परिचालन का मेटाडेटा 2022–2024 का है. हमने क्लाइंट ID और टेस्ट ID के मेल से पहचाने गए 6,801 समूहों की छँटाई की. फिर ऐसे 5,743 समूह रखे जिनमें परीक्षण भाग के ठीक 2 पात्र देखे गए रिकॉर्ड और भेजे गए ईमेल की धनात्मक बताई गई संख्याएँ थीं. अंतिम बड़े पैमाने पर भेजे गए ईमेल के रिकॉर्ड जोड़ों की तुलना से बाहर रखे गए; उनका मौजूद होना ज़रूरी नहीं था. [1] [6]
रखे गए जोड़े 473 क्लाइंट ID से जुड़े हैं. ठीक 2 पात्र देखे गए रिकॉर्ड होने से यह स्थापित नहीं होता कि हर मूल प्रयोग में सिर्फ़ 2 वेरिएंट सेट किए गए थे, उसके ऐतिहासिक रिकॉर्ड पूरे हैं या दर्शक यादृच्छिक रूप से बाँटे गए थे. इसलिए हम इन्हें देखे गए जोड़े कहते हैं, पूरे यादृच्छिक प्रयोगों का सत्यापित संग्रह नहीं.
हर संस्करण की गणना में 30, 60 या 1,440 मिनट का उसका यूनिक-क्लिक काउंटर और हर के रूप में रिकॉर्ड में मौजूद भेजे गए ईमेल की वही बताई गई संख्या इस्तेमाल होती है. हर अवलोकन समय उस संस्करण के भेजे जाने से गिना जाता है. मुख्य विश्लेषण के जोड़े का घड़ी के अनुसार एक ही समय पर भेजा जाना ज़रूरी नहीं है. एक जैसे टाइमस्टैम्प वाली जाँच अलग प्रतिबंध है, हर जोड़े पर लागू मान्यता नहीं.
पात्र जोड़ों के सभी ज़रूरी काउंटर उपलब्ध, वैध और गैरऋणात्मक थे; कोई भी उसके बताए गए भेजे गए ईमेल की संख्या से अधिक नहीं था. 3 अवलोकन समयों के बीच कोई काउंटर घटा नहीं. ये जाँचें दर्ज संख्याओं की गणना का आधार देती हैं, लेकिन यूनिक क्लिक का अर्थ, बॉट फ़िल्टरिंग, ईमेल पहुँचना या बाद के अवलोकनों में अंततः मिलने वाली हर प्रतिक्रिया शामिल है या नहीं, यह स्थापित नहीं कर सकतीं. [6]
हम राउंड करने से पहले मूल अनुपातों की सटीक तुलना से बढ़त और बराबरी तय करते हैं. अंतर, भेजे गए हर 100 ईमेल पर दर्ज क्लिक के निरपेक्ष अंतर हैं. माध्यिका और अन्य क्वांटाइल निकटतम रैंक के नियम से निकाले जाते हैं: मान क्रम में लगाएँ और बीच का अनुमान लगाए बिना बताई गई रैंक का मान चुनें. चित्रों में प्रतिशत दशमलव के बाद 1 अंक और माध्यिका अंतर 3 अंकों तक राउंड किए गए हैं; चित्रों का डाउनलोड जहाँ लागू हो, दशमलव के बाद 6 स्थान रखता है.
विधि में पात्र संरचना, अवलोकन समय, 5 स्थितियाँ, संख्या और अंतर के सार, समय की जाँच और हर क्लाइंट को बराबर भार देने की गणना, परिणाम पढ़ने से पहले तय की गई थीं. पहले से तय सभी समेकित तालिकाएँ शोध डाउनलोड में मौजूद हैं, जिनमें 0 वाली संख्याएँ और गुणवत्ता जाँच भी शामिल हैं. स्रोत के आधार पर स्वतंत्र रूप से विश्लेषण दोहराने पर पूरे समेकित परिणाम मेल खाए. ये ऐतिहासिक रिकॉर्ड के वर्णनात्मक परिणाम हैं; इनके साथ विश्वास अंतराल, सांख्यिकीय महत्त्व परीक्षण या उद्योग के प्रतिनिधि नमूने का दावा नहीं है. [7]
- चित्रों के मान और दायरे के लेबल डाउनलोड करें (CSV)
- सभी तय समेकित तालिकाएँ, विधि और विश्लेषण कोड डाउनलोड करें (ZIP)
चित्रों की CSV में 31 संख्यात्मक मान हैं, हर डेटा पंक्ति में 1 मान, जो 3 चित्रों में दिखाई गई 13 पंक्तियों से लिए गए हैं. ZIP में सभी 11 समेकित तालिकाएँ, स्रोत जाँच और पुनर्गणना कोड हैं. इसमें अभियान स्तर की पंक्तियाँ या क्लाइंट/टेस्ट पहचानकर्ता नहीं हैं. अनुवादित निर्देश शामिल हैं; विश्लेषण दोबारा करने के लिए स्रोत फ़ाइल अलग से डाउनलोड करनी होगी. संख्यात्मक डाउनलोड दशमलव बिंदु इस्तेमाल करते हैं.
स्रोत और टिप्पणियाँ
- स्रोत: Bobek, Nalepa, Obara, Suszalski और Bałec, SendGuard900K: Massive Dataset for Metadata-Based Quality Assurance of Email Marketing, संस्करण 1.0.0. स्रोत के अनुसार अभियान मेटाडेटा 2022–2024 का है और कॉपीराइट Freshmail, 2025 का है. यह विश्लेषण सभी 908,229 अभियान पंक्तियों के बजाय 5,743 पात्र देखे गए जोड़ों का उपयोग करता है. इनमें से 5,647 जोड़ों का लेबल sender_name और 96 का topic है.
- पहले घंटे में बढ़त वाले 4,712 जोड़ों में से 3,510 में बढ़त बनी रही, 991 में क्रम पलटा और 211 में बाद में बराबरी हुई: 74.5%, 21.0% और 4.5%. शुरुआती बराबरी वाले 1,031 जोड़ों में से 588 में बढ़त बनी और 443 बराबर रहे: 57.0% और 43.0%. इसके विपरीत, 5 स्थितियों वाले चित्र में हर संख्या को सभी 5,743 जोड़ों से भाग दिया गया है. मान प्रदर्शन के लिए राउंड करने से पहले निकाले जाते हैं.
- माप निकालने के लिए यूनिक-क्लिक काउंटर को संस्करण के भेजे गए ईमेल की बताई गई तय संख्या से भाग देकर 100 से गुणा किया जाता है. बढ़त और बराबरी का वर्गीकरण सटीक अनुपातों से होता है, राउंड किए प्रदर्शन से नहीं. निरपेक्ष अंतर की इकाई भेजे गए हर 100 ईमेल पर दर्ज क्लिक है. क्रम पलटने वाले जोड़ों में बाद की माध्यिका 0.109543 है; पहला और तीसरा चतुर्थक 0.024817 और 0.336215 हैं. 5 स्थितियों वाली माध्यिका तालिका में दिखाए गए सभी 0 अंतर ठीक 0 हैं.
- 30 मिनट की तुलना में शुरुआती बढ़त वाले 4,507 जोड़े हैं, जिनमें बाद में क्रम पलटने वाले 1,093 जोड़े शामिल हैं. भेजने के एक जैसे दर्ज समय की शर्त वाले समूह में 686 जोड़े हैं, जिनमें शुरुआती बढ़त वाले 560 जोड़े और क्रम पलटने वाले 110 जोड़े शामिल हैं. हर क्लाइंट को बराबर भार देने वाला मुख्य परिणाम उन 403 क्लाइंट ID के भीतर क्रम पलटने के अनुपातों का औसत लेता है जिनमें शुरुआत में कम से कम 1 बढ़त वाला जोड़ा था. इसका माध्य 19.227847% है; यह न क्लाइंटों की संख्या का प्रतिशत है, न प्रतिनिधि व्यवसायों का अनुमान.
- Bonfrer और Drèze, Real-Time Evaluation of E-mail Campaign Performance, Marketing Science 28(2), 251–263; 7 अक्टूबर, 2008 को ऑनलाइन प्रकाशित, 2009 का अंक. प्रकाशक का सार भविष्यवाणी के लिए स्प्लिट-हैज़र्ड तरीका, 25 अभियान और क्रमिक निर्णय का ढाँचा बताता है. यह ईमेल के शुरुआती मूल्यांकन के पहले के इतिहास का आधार है, हमारे वर्णनात्मक ऐतिहासिक रिकॉर्ड के प्रतिशतों का सत्यापन नहीं.
- स्रोत की पहले से तय छँटाई में क्लाइंट/टेस्ट के हर संयुक्त समूह के परीक्षण भाग के ठीक 2 पात्र देखे गए रिकॉर्ड रखे जाते हैं; अंतिम बड़े पैमाने पर भेजे गए ईमेल की पंक्तियाँ बाहर रहती हैं. सार्वजनिक फ़ील्ड भेजने की घड़ी के शुरू/समाप्त होने के नियम या भेजने की अवधि, क्लिक को यूनिक मानने की कुंजी, केवल मानव गतिविधि, पहुँचे ईमेल का हर, मूल प्रयोग में पूरा आवंटन या डेटा निकालने के समय तक प्रतिक्रियाएँ पूरी तरह दर्ज हो चुकी थीं या नहीं, पूरी तरह स्थापित नहीं करते. वैध और न घटने वाले काउंटर इन सीमाओं को दूर नहीं करते. भेजने के एक जैसे दर्ज टाइमस्टैम्प एक साथ ईमेल पहुँचने का प्रमाण नहीं हैं.
- SendGuard900K, Creative Commons Attribution 4.0 International के तहत जारी किया गया है. शोध पैकेज में विश्लेषण कोड, तय विधि और उनसे बनी समेकित तालिकाएँ हैं; यह अभियान स्तर के रिकॉर्ड या क्लाइंट/टेस्ट पहचानकर्ता दोबारा वितरित नहीं करता. स्रोत से विश्लेषण दोबारा करने के लिए मूल फ़ाइल अलग से डाउनलोड करनी होगी. साझा पैकेज में अनुवादित निर्देश शामिल हैं.
अंग्रेज़ी लेख मूल संस्करण है. हर भाषा संस्करण उन्हीं ऐतिहासिक SendGuard900K रिकॉर्ड का वर्णन करता है, जो स्रोत के अनुसार 2022–2024 के हैं. अनुवाद इन परिणामों को स्थानीय बाज़ार या मौजूदा उद्योग का मानक नहीं बनाता.