E-posta A/B testi: ilk saatten sonra neler değişti?
Bir e-posta testi raporunda 1 saat sonra bir sürüm önde görünüyor. Daha sonra da önde kalacak mı, aradaki fark ne kadar? Bu tarihsel arşivde üstünlüklerin çoğu korundu. Ancak tersine dönüşler ve eşitlikler, ölçüm zamanını ve sayıları raporda birlikte tutmak için bir neden sunuyor.
Influence IQ tarafından SendGuard900K üzerinde yapılan analiz. Kaynak, kampanya kayıtlarının 2022–2024 dönemine ait olduğunu belirtiyor. Çalışma, 473 müşteri kimliğine bağlı, çoğunluğu gönderen adı testlerinden oluşan 5.743 gözlenen çifti kapsıyor. Kaydedilen tıklama ölçülerini betimliyor; yalnızca insanlara ait tıklamaları, geliri veya temsili bir e-posta karşılaştırma ölçütünü değil.
Özet
Erken bir e-posta A/B raporu, daha sonraki karşılaştırmanın nasıl görüneceğini ortaya koymadan hangi sürümün önde olduğunu gösterebilir. SendGuard900K arşivinde, 60. dakikada bir sürümün önde olduğu 4.712 gözlenen çiftin %74,5’inde aynı sürüm 1.440. dakikada da öndeydi; %21,0’inde öne geçen sürüm değişti, %4,5’inde sonuç eşitlendi. Ölçü, kaydedilen tekil tıklama sayacının gönderildiği bildirilen e-posta sayısına bölünüp 100 ile çarpılmasıyla hesaplanıyor. Her sürüm için kendisine ait sabit gönderim sayısı kullanılıyor. Kaynak, kayıtların 2022–2024 dönemine ait olduğunu belirtiyor; uygun bulunan 5.743 çiftin 5.647’si gönderen adı testiydi. [1]
Diğer 1.031 çift ilk saatte eşitti; bunların %57,0’ında daha sonra bir sürüm öne geçti. Öne geçen sürümün değiştiği çiftlerde sonraki farkın medyanı, 100 gönderim başına 0,110 kaydedilen tıklamaydı. Bu bulgular, gözlemin gönderimden ne kadar sonra yapıldığını, üstünlük veya eşitlik durumunu, farkı ve sayılara ilişkin bağlamı birlikte raporlamayı destekliyor. Gerçek kazananları, en uygun bekleme süresini veya kampanyanın genel gönderimini geciktirmenin etkisini belirlemiyor.
Bir bültenin sonraki gönderimini hazırladığınızı düşünün. A/B raporunu açtınız, bir sürümün önde olduğunu gördünüz ve bir çalışma arkadaşınıza sonraki adımı söylemeniz gerekiyor. “Bu kazandı” demek hızlıdır. Ama 2 soruyu atlar: Ne kadar önde ve bu karşılaştırma ne zaman kaydedildi?
Aynı e-posta çiftlerinin ilk saat ve 24. saat kayıtlarını karşılaştırdık. İlk saatteki üstünlüklerin çoğu sürdü. Ancak tam tablo; üstünlüğün tersine döndüğü, eşitliğe dönüştüğü ve başlangıçtaki eşitliğin daha sonra bozulduğu çiftleri de içeriyor. Bu yollar, birisi sonraki gönderimi seçmek için kullanmadan önce erken raporun ne söylediğini açıklamaya yardımcı oluyor.
Aynı e-posta çifti, 2 ölçüm zamanı

İlk saatteki üstünlüklerin çoğu korundu, ancak hepsi değil
60. dakikada uygun 5.743 çiftin 4.712’sinde bir sürüm öndeydi: Kaydedilen tıklama ölçüsü diğer sürümünkinden yüksekti. Her sürümün gönderiminden 1.440 dakika, yani 24 saat sonra, 3.510 çiftte aynı sürüm hâlâ öndeydi. 991 çiftte diğer sürüm öne geçmişti; 211 çift ise eşitti. Başlangıçta bir sürümün önde olduğu çiftlerde bu, üstünlüğün %74,5 oranında korunması, %21,0 oranında tersine dönmesi ve %4,5 oranında eşitliğe dönüşmesi demek. [2]
Kaydedilmiş belirli bir ölçüyü karşılaştırıyoruz. Her sürümün tekil tıklama sayacını gönderildiği bildirilen e-posta sayısına bölüp 100 ile çarpıyoruz. Elde edilen birim, 100 gönderim başına kaydedilen tıklama. Üstünlük, fark ne kadar küçük olursa olsun bu ölçünün daha yüksek olması demek. İstatistiksel olarak anlamlı bir sonuç olduğu anlamına gelmiyor.
Çoğunluğu gözden kaçırmamak gerekir. Bu arşiv, ilk saat raporlarındaki sıralamanın genellikle tersine döndüğünü göstermiyor. Üstünlüğün korunması, tersine dönmesi ve daha sonra eşitliğe dönüşmesi durumlarının hepsinin yaşandığını gösteriyor. Yalnızca erken sıralamayı kaydeden bir rapor, bu sonraki yollar arasındaki ayrımı kaybeder.
Sonraki sıralama farklı olsa bile ilk saat raporu o anda kaydedilen bilgiyi doğru biçimde anlatabilir. Bir tersine dönüşe “yanlış kazanan” demek daha ileri bir iddia olurdu: Sonraki sıralamayı gerçek kabul eder ve erken raporun yalnızca o anki üstünlükten fazlasını ileri sürdüğünü varsayardı. Burada her 2 gözlem de korunuyor. Karşılaştırma, bir karar sisteminin hata oranını değil, kaydedilen sıralamadaki değişimi gösteriyor.
Kaynağın kapsamı, genel “e-posta A/B testi” ifadesinin düşündürdüğünden daha dar. Uygun çiftlerin 5.647’si gönderen adı, 96’sı konu etiketi taşıyordu. Dolayısıyla gönderen adı testleri bu analizin %98,3’ünü oluşturuyor. Bulgular, e-posta konu satırları için bir karşılaştırma ölçütü veya her e-posta platformuna ilişkin bir tahmin olarak sunulmamalı.
Aşağıdaki grafiğin paydası, başlangıçta eşit olan 1.031 çift dâhil 5.743 çiftin tamamı. Böylece gözlenen her yol görünür kalıyor. 991 tersine dönüş, tüm çiftlerin %17,3’ü; ancak erken üstünlük bulunan 4.712 çiftin %21,0’i. Her 2 sayı da doğru; farklı soruları yanıtlıyorlar.
5 yol, gözlenen 5.743 e-posta çiftinin tamamını kapsıyor
Kaynağa göre 2022–2024 dönemine ait SendGuard900K arşivinde, her sürümün gönderiminden sonraki 60. dakikadan 1.440. dakikaya kadar olan karşılaştırma. Üstünlük, gönderildiği bildirilen e-posta başına tekil tıklama sayacının daha yüksek olması demek; eşitlikler tam oranlarla belirleniyor.
| Gözlenen yol | Gözlenen çiftler | 5.743 çiftin tamamı içindeki pay (%) |
|---|---|---|
| Erken üstünlük korundu | 3.510 | %61,1 |
| Erken üstünlük tersine döndü | 991 | %17,3 |
| Erken üstünlük eşitliğe dönüştü | 211 | %3,7 |
| Erken eşitlikten sonra bir sürüm öne geçti | 588 | %10,2 |
| Erken eşitlik sürdü | 443 | %7,7 |
Erken eşitlik farklı bir başlangıç noktasıdır
İlk saat raporu eşitse korunacak veya tersine dönecek bir üstünlük yoktur. Bu arşivde, başlangıçta eşit olan 1.031 çiftin 588’inde daha sonra bir sürüm öne geçti; 443’ü eşit kaldı. Bu, erken eşitliklerin %57,0’ı demek. Farklı bir grupla başlayan tersine dönüş yüzdesine eklenmemeli.
Birçok erken eşitlikte kaydedilen etkinlik de azdı. Eşit olan 1.031 çiftin 655’inde, her 2 sürümün ilk saat tekil tıklama sayacı 0’dı. Diğer eşitliklerde, oranları tam olarak aynı olan pozitif sayaçlar bulunabilirdi. Eşitliği, grafikteki yuvarlanmış yüzdelerden değil, temel sayımlardan ve gönderim toplamlarından belirliyoruz. [3]
Rapor hazırlayan bir ekip için bu ayrım, “kaydedilen ölçüde üstünlük yok” ile “2 sürüm aynı performansı gösteriyor” ifadelerini birbirinden ayırır. İlki, gönderimden belirli bir süre sonra yapılan gözlemdir. İkincisi ise bu betimsel karşılaştırmanın sağlamadığı kanıtı gerektirir. Bazı eşitliklerin daha sonra bozulması, hangi sürümün daha önce seçilmesi gerektiğini ortaya koymaz.
Payda, arşivdeki gerçek sayımlarla kısa bir hesap yapılarak kontrol edilebilir. Erken eşitliklere ne olduğunu anlatmak için 588’i 1.031’e bölün. Erken üstünlükler arasındaki tersine dönüşleri anlatmak için 991’i 4.712’ye bölün. Yalnızca soru uygun çiftlerin tamamıyla ilgiliyse bu sayımlardan birini 5.743’e bölün. Rapor başlığı bu başlangıç grubunu açıkça belirtmeli.
Öne geçen sürümün değişmesi, farkın büyüklüğünü anlatmaz
Öne geçen sürümün değiştiği 991 çiftte mutlak farkın medyanı, ilk saatte 100 gönderim başına 0,062 kaydedilen tıklama, 24. saatte ise 0,110’du. Bunlar 2 sürümün kaydedilen ölçüleri arasındaki farklar; ek kişi sayısı, ilişkilendirilmiş satın alımlar veya gelirdeki yüzde değişimleri değil. [3]
Bu farkı okurken gönderim paydası önemlidir. Gönderim toplamları farklı sürümleri karşılaştırmak için ham tıklama sayaçlarının farkı yeterli değildir. Önce her sayaç kendi bildirilen gönderim toplamına bölünmelidir. Bu ölçüdeki 0,110’luk fark da %0,110’luk göreli iyileşme diye anlatılmamalı: Bu, 100 gönderim başına kullanılan ölçekte mutlak bir farktır; kendisine atanmış bir satış değeri yoktur.
Sonraki farkın büyüklüğü değişiyordu. Öne geçen sürümün değiştiği çiftlerde, dağılımın ortadaki yarısı 100 gönderim başına yaklaşık 0,025 ile 0,336 kaydedilen tıklama arasındaydı. Dolayısıyla medyan bu grup içindeki tipik bir konumu anlatıyor; her tersine dönüşün küçük olduğu anlamına gelmiyor. Sıralama küçük bir farkla değişebilir; kaydedilen bazı farklar ise çok daha büyüktü.
Diğer yollar yararlı bir bağlam sunuyor. Üstünlüğün korunduğu çiftlerde sonraki farkın medyanı 0,291’di. Eşitlikten üstünlüğe geçen çiftlerde bu medyan 0,444’tü. Sonraki ölçümde eşitlik varsa tanım gereği fark tam olarak 0’dır. Tablo, yalnızca tersine dönüşleri öne çıkarmak yerine 5 yolun tamamını birlikte gösteriyor.
Erken ve sonraki sütunlar, her satırın kendi içinde hesaplanan ayrı medyanlar. Tek bir tipik çiftin izlediği yolu göstermiyorlar; bunları birbirinden çıkarmak da çiftlerdeki değişimin medyanını vermiyor. Her ölçüm zamanındaki farkın özeti olarak okuyun. Karşılaştırmanın yönünü anlatmak için büyüklüğün yanında yol etiketini de kullanın.
Bu gruplar, her 2 ölçüm zamanında ne olduğuna göre tanımlanıyor. Medyan farkları, yeni bir kampanyada tersine dönüşü önceden saptamak için kural olarak kullanılamaz. Özellikle tersine dönüş görülen çiftlerin erken medyanının daha küçük olması, bir rapora dayanarak ne zaman güvenle harekete geçilebileceğine ilişkin doğrulanmış bir eşik değildir.
Farkın yanında sayımlara ilişkin bağlam da yer almalı. İlk saatte bir sürümün önde olduğu 4.712 çiftin tamamında, 2 sürümün tekil tıklama sayaçları toplamının medyanı 9’du. Bu çiftlerin 488’inde sayaç toplamı tam olarak 1’di. Bu, erken üstünlük bulunan çiftlerin başlangıçtaki kanıtını anlatıyor; o belirli çiftlerin tersine dönüş toplamına neden olduğunu veya değişimleri düşük sayımların açıkladığını göstermiyor.
Medyan fark, gözlenen 5 yol arasında değişiyor
Kaynağa göre 2022–2024 dönemine ait SendGuard900K arşivinde, 2 sürümün 60 ve 1.440. dakikalardaki kaydedilen tıklama ölçüleri arasındaki mutlak farklar. Her ölçü, tekil tıklama sayacının gönderildiği bildirilen e-posta sayısına bölünüp 100 ile çarpılmasıyla elde ediliyor.
| Gözlenen yol | Gözlenen çiftler | 60. dakikadaki medyan fark (100 gönderim başına kaydedilen tıklama) | 1.440. dakikadaki medyan fark (100 gönderim başına kaydedilen tıklama) |
|---|---|---|---|
| Erken üstünlük korundu | 3.510 | 0,175 | 0,291 |
| Erken üstünlük tersine döndü | 991 | 0,062 | 0,110 |
| Erken üstünlük eşitliğe dönüştü | 211 | 0,295 | 0,000 |
| Erken eşitlikten sonra bir sürüm öne geçti | 588 | 0,000 | 0,444 |
| Erken eşitlik sürdü | 443 | 0,000 | 0,000 |
Zamanlamayı ve müşteri dağılımını kontrol ettiğimizde neler değişti?
Ek karşılaştırmaları sonuçları hesaplamadan önce sabitledik. 60 yerine 30. dakikadan başlayınca erken üstünlük bulunan 4.507 çift elde edildi. Bunların %24,3’ünde 1.440. dakikaya kadar üstünlük tersine döndü. İlk saat sonucu, üstünlük bulunan 4.712 çiftte %21,0’di. Paydalarının farklı olması önemli: Bazı çiftler bir ölçüm zamanında eşitken diğerinde bir sürüm öndeydi. [4]
Bu sonuç, 30 dakika daha beklemenin yanlış kararların belirli bir bölümünü önlediğini göstermiyor. 2 hesap, gönderimden farklı süreler sonra gözlenen sıralamaları betimliyor. Rastgele bir bekleme politikası atamıyor ve genel gönderim kararının sonuçlarını değerlendirmiyor.
İlk saat karşılaştırmasını ayrıca, 2 sürümünün kaydedilen gönderim zaman damgaları aynı olan 686 çiftle sınırladık. Erken üstünlük bulunan 560 çiftin %19,6’sında daha sonra üstünlük tersine döndü. Bu kontrol, kaydedilen verideki 1 zamanlama farkını azaltıyor. Zaman damgalarının eşleşmesi, aynı anda teslimatı veya kitlelerin eşdeğer biçimde maruz kalmasını kanıtlamıyor.
Bazı müşteri kimlikleri diğerlerinden çok daha fazla çift sağlıyor. Ana hesap her çifte eşit ağırlık veriyor. Ayrı bir kontrolde önce, ilk saatte en az 1 üstünlük bulunan 403 müşteri kimliğinin her biri için tersine dönüş payı hesaplanıyor; ardından bu kimliklerin her birine eşit ağırlık veriliyor. Ortalama %19,2. Bu, tersine dönüş yaşayan müşterilerin yüzdesini değil, kimliklere ait tersine dönüş paylarının ortalamasını anlatıyor. [4]
Bu sabit kontroller birlikte değerlendirildiğinde pratik sorun aynı kalıyor: Gözlenen erken üstünlük sürebilir, tersine dönebilir veya eşitliğe dönüşebilir. Kontroller evrensel bir tersine dönüş olasılığı üretmiyor. Arşivde aynı müşteri kimliği altında tekrarlanan kayıtlar var ve bu kimlikler bağımsız işletmelerden oluşan doğrulanmış bir örneklem değil.
3 sabit karşılaştırmada tersine dönüş payları
Kaynağa göre 2022–2024 dönemine ait SendGuard900K arşivinde, her yüzde sonraki tersine dönüşlerin erken ölçümde bir sürümün önde olduğu çiftlere bölünmesiyle hesaplanıyor. Sonraki ölçüm zamanı her zaman her sürümün gönderiminden 1.440 dakika sonra.
| Karşılaştırma | Erken ölçümde bir sürümün önde olduğu çiftler | Erken üstünlükler içinde sonraki tersine dönüşler (%) |
|---|---|---|
| 60. dakikadan 1.440. dakikaya: uygun çiftlerin tamamı | 4.712 | %21,0 |
| 30. dakikadan 1.440. dakikaya: uygun çiftlerin tamamı | 4.507 | %24,3 |
| 60. dakikadan 1.440. dakikaya: kaydedilen gönderim zaman damgaları aynı | 560 | %19,6 |
Sonraki gönderimi seçecek kişiye kazanan etiketinden fazlasını verin
Yararlı bir rapor, verilecek kararla başlar. Raporu alan kişi sonraki gönderimi mi seçiyor, tamamlanmış bir testi mi belgeliyor, yoksa planlama toplantısı için geçmiş testleri mi inceliyor? İlk saat gözlemi bu görevlerin her biriyle ilgili olabilir; ancak biri için hazırlanmış rapor, diğerinin gerektirdiği bilgiyi dışarıda bırakabilir.
Önde olan sürümü söylemeden önce test edilen değişkeni ve ölçüyü adlandırın. Burada bu, gönderen adı veya konu; ardından bildirilen her 100 gönderim başına tekil tıklama sayacı demek. Teslim edilen e-postaları, doğrulanmış insan tıklamalarını veya satın alımları kullanan bir ekip, kendi tanımını belirtmeli. Ölçüyü görünür tutmak, sonraki karşılaştırmaların yorumunu da kolaylaştırır.
Ardından üstünlük veya eşitlik durumunun yanına ölçüm zamanını koyun. 2 ölçü arasındaki farkı, her 2 sürümün dayanak sayaçlarını ve gönderim toplamlarını ekleyin. Böylece raporu okuyan kişi, vurgulanan bir satırdan 3’ünü de çıkarmaya çalışmak yerine yönü, farkı ve arkasındaki kaydedilen etkinliği görebilir.
Örnek bir aktarım cümlesi şöyle olabilir: “[checkpoint] anında [version or tie], [defined measure] ölçüsündeki mevcut sıralamayı anlatıyor; fark [value] ve dayanağı [counters & sent totals].” Köşeli parantezler gerçek bir rapordan doldurulacak alanlar; bu çalışmanın kampanya sonuçları değil. Seçilen eylemi ve nedenini ayrı bir cümleye kaydedin.
Daha sonraki bir ölçüm varsa erken gözlemi koruyun ve üstünlüğün sürdüğünü, tersine döndüğünü veya eşitlendiğini gösterin. Böylece geriye dönük inceleme, o anda bilinenlerle sonradan kaydedilenleri ayırt edebilir. Rapor açıkça yalnızca zaten üstünlük bulunan çiftlerle ilgili değilse başlangıçta eşit olan çiftleri de ekleyin.
Bir sürümü seçmek yine de kampanyanın amacına, teslimat kısıtlarına, ölçüm kalitesine ve her seçeneğin maliyetine bağlı. Arşiv bu kuralı belirlemiyor. Gözlemle kararı birlikte tek bir “kazanan” sözcüğüne yüklememek için yararlı bir gerekçe sunuyor.
Gözlem ile kararın bağını koruyun

Karşılaştırmayı adlandırın
Test edilen değişkeni, kaydedilen ölçüyü ve ölçüm zamanını belirtin.
Kanıtları bir arada tutun
Üstünlük veya eşitlik durumunu, fark ve dayanak sayaçlarla birlikte raporlayın.
Kararı ayrıca belirtin
Kampanyanın karar kuralını, gözlenen üstünlük veya eşitlik durumundan ayrı tutun.
E-postaları erken değerlendirmek yerleşik bir araştırma sorusudur
Önceki araştırmalar da e-posta performansını zaman içinde gelişen bir olgu olarak ele alıyor. Bonfrer ve Drèze’nin 2008’de çevrimiçi, 2009’da Marketing Science’ta yayımlanan “Real-Time Evaluation of E-mail Campaign Performance” çalışması, 25 kampanya üzerinde değerlendirilen bir tahmin yöntemini ve sıralı karar çerçevesini anlatıyor. Erken ve sonraki sonuçların farklılaşabileceği düşüncesi yeni değil. [5]
Bu analiz, farklı bir arşivle daha dar bir betimsel soruyu yanıtlıyor: Uygun çiftlerde kaydedilen sıralamalar ne sıklıkla korundu, tersine döndü veya eşitlendi ve bu yollara hangi farklar eşlik etti? Erken eşitlikleri görünür tutuyor; sabit zamanlama ve ağırlıklandırma seçimleri altında tablonun değişip değişmediğini kontrol ediyor.
Bulguları okurken bu ayrım önemli. Bir tahmin modeli, varsayımları altında sırada ne olacağını kestirmeye çalışır. Tablolarımız ise yayımlanan kayıtlarda gönderimden belirli süreler sonra ne bulunduğunu anlatıyor. Gözlenen yüzdeler, ekibin raporu nasıl açıkladığına katkı sağlayabilir; sonraki kampanyanın sürümünü seçmek için bir model değildir.
Kaydedilen çiftler nasıl karşılaştırıldı?
SendGuard900K, yayımlanmış 908.229 kampanya kaydı içeriyor. Kaynak açıklaması, üretim ortamı meta verilerinin 2022–2024 döneminden olduğunu belirtiyor. Müşteri kimliği ile test kimliği birleşimiyle tanımlanan 6.801 grubu taradık; ardından tam olarak 2 uygun gözlenen test parçası kaydı ve pozitif bildirilen gönderim sayıları bulunan 5.743 grubu tuttuk. Genel gönderim kayıtları çift karşılaştırmasından çıkarıldı; bu kayıtların bulunması koşul değildi. [1] [6]
Tutulan çiftler 473 müşteri kimliğini kapsıyor. Tam olarak 2 uygun gözlenen kaydın bulunması; her özgün deneyde yalnızca 2 varyant ayarlandığını, arşivin eksiksiz olduğunu veya kitlelerin rastgele atandığını ortaya koymuyor. Bu nedenle doğrulanmış, eksiksiz rastgele deneyler topluluğunu değil, gözlenen çiftleri betimliyoruz.
Her sürüm için hesap, 30, 60 veya 1.440. dakikadaki tekil tıklama sayacını ve arşivdeki aynı bildirilen gönderim paydasını kullanıyor. Her ölçüm zamanı o sürümün gönderimine göre belirleniyor. Ana karşılaştırmadaki bir çiftin sürümleri aynı saat anında gönderilmiş olmak zorunda değil. Aynı zaman damgası kontrolü, tüm çiftlere uygulanan bir varsayım değil, ayrı bir kısıtlama.
Uygun çiftlerde gereken bütün sayaçlar mevcut, geçerli ve negatif olmayan değerlerdi; hiçbiri kendisine ait bildirilen gönderim sayısını aşmıyordu. 3 ölçüm zamanı boyunca hiçbir sayaç azalmadı. Bu kontroller kaydedilen aritmetiği destekliyor; ancak tekil tıklamanın anlamını, bot filtrelemeyi, teslimatı veya sonraki gözlemlerin eninde sonunda oluşacak her yanıtı yakalayıp yakalamadığını ortaya koyamıyor. [6]
Üstünlükleri ve eşitlikleri, yuvarlamadan önce temel oranları tam olarak karşılaştırarak belirliyoruz. Farklar, 100 gönderim başına kaydedilen tıklamalar arasındaki mutlak farklar. Medyanlar ve diğer kantiller en yakın sıra kuralını kullanıyor: Değerler sıralanıyor ve ara değer hesaplanmadan belirtilen sıradaki değer seçiliyor. Şekiller yüzdeleri 1, medyan farkları 3 ondalık basamağa yuvarlıyor; şekil indirmesinde ise uygun yerlerde 6 ondalık basamak korunuyor.
Yöntem; uygun yapıyı, ölçüm zamanlarını, 5 yolu, sayım ve fark özetlerini, zamanlama kontrollerini ve eşit müşteri ağırlıklı hesabı sonuçlar okunmadan önce sabitledi. Sıfır sayımlar ve kalite kontrolleri dâhil, sabitlenmiş bütün toplulaştırılmış tablolar araştırma indirmesinde yer alıyor. Kaynaktan yapılan bağımsız yeniden üretim, toplulaştırılmış çıktıların tamamıyla eşleşti. Bunlar betimsel arşiv sonuçları; güven aralığı, anlamlılık testi veya sektörü temsil eden örneklem iddiası içermiyor. [7]
- Şekil değerlerini ve kapsam etiketlerini indirin (CSV)
- Önceden belirlenmiş tüm toplulaştırılmış tabloları, yöntemi ve analiz kodunu indirin (ZIP)
Şekillerin CSV dosyası, 3 şekilde gösterilen 13 satırdan gelen 31 sayısal değeri, her veri satırında 1 değer olacak şekilde içerir. ZIP, 11 toplulaştırılmış tablonun tamamını, kaynak kontrollerini ve yeniden üretim kodunu korur. Kampanya düzeyinde satırlar veya müşteri/test tanımlayıcıları içermez. Çevrilmiş yönergeler de dahildir; analizi yeniden üretmek için kaynak dosyanın ayrıca indirilmesi gerekir. Sayısal indirmelerde ondalık ayırıcı olarak nokta kullanılır.
Kaynaklar ve notlar
- Kaynak: Bobek, Nalepa, Obara, Suszalski ve Bałec, SendGuard900K: Massive Dataset for Metadata-Based Quality Assurance of Email Marketing, sürüm 1.0.0. Kaynak, kampanya meta verilerinin 2022–2024 dönemine ait olduğunu belirtiyor ve telif hakkını Freshmail, 2025 olarak veriyor. Bu analiz, 908.229 kampanya satırının tamamını değil, uygun 5.743 gözlenen çifti kullanıyor. Bu çiftlerin 5.647’si sender_name, 96’sı topic etiketli.
- İlk saatte bir sürümün önde olduğu 4.712 çiftin 3.510’unda üstünlük korundu, 991’inde tersine döndü, 211’inde sonraki sonuç eşitlendi: %74,5, %21,0 ve %4,5. Erken eşitlik bulunan 1.031 çiftin 588’inde bir sürüm öne geçti, 443’ünde eşitlik sürdü: %57,0 ve %43,0. Buna karşılık 5 yollu şekil, her sayımı 5.743 çiftin tamamına bölüyor. Değerler, gösterim için yuvarlanmadan önce hesaplanıyor.
- Ölçü, tekil tıklama sayacının sürümün sabit bildirilen gönderim sayısına bölünüp 100 ile çarpılmasıyla elde ediliyor. Üstünlük ve eşitlik sınıfları, yuvarlanmış gösterimleri değil, tam oranları kullanıyor. Mutlak farkın birimi, 100 gönderim başına kaydedilen tıklama. Üstünlüğün tersine döndüğü çiftlerde sonraki medyan 0,109543; 1. ve 3. çeyrekler 0,024817 ve 0,336215. 5 yollu medyan tablosunda gösterilen bütün sıfır farklar tam sıfır.
- 30. dakika karşılaştırmasında, daha sonra tersine dönen 1.093 çift dâhil, erken üstünlük bulunan 4.507 çift var. Aynı kaydedilen zaman damgası kısıtlamasında 686 çift bulunuyor; bunların 560’ında erken üstünlük, 110’unda tersine dönüş var. Eşit müşteri ağırlıklı ana sonuç, en az 1 erken üstünlüğü bulunan 403 müşteri kimliğinin her biri içindeki tersine dönüş oranlarının ortalamasını alıyor. Ortalaması %19,227847; bu ne müşteri sayısına dayalı bir yüzde ne de temsili işletme tahmini.
- Bonfrer ve Drèze, Real-Time Evaluation of E-mail Campaign Performance, Marketing Science 28(2), 251–263; çevrimiçi yayın 7 Ekim 2008, sayı yılı 2009. Yayıncı özeti, tahmine dayalı split-hazard yaklaşımını, 25 kampanyayı ve sıralı karar çerçevesini anlatıyor. E-postanın erken değerlendirilmesinin geçmişini destekliyor; betimsel arşiv yüzdelerimizi doğrulamıyor.
- Sabit kaynak taraması, birleşik müşteri/test grubu başına tam olarak 2 uygun gözlenen test parçası kaydını tutuyor; genel gönderim satırlarını dışarıda bırakıyor. Kamuya açık alanlar; gönderim saatinin başlangıç/bitiş tanımını veya gönderim süresini, tıklamanın tekilliğini belirleyen anahtarı, yalnızca insan etkinliğini, teslim edilen e-posta paydalarını, özgün deney atamasının eksiksizliğini veya verinin çekildiği andaki olgunluğunu tam olarak ortaya koymuyor. Geçerli ve azalmayan sayaçlar bu sınırları çözmüyor. Kaydedilen gönderim zaman damgalarının aynı olması, eşzamanlı teslimatı kanıtlamıyor.
- SendGuard900K, Creative Commons Attribution 4.0 International kapsamında yayımlanır. Araştırma paketi; analiz kodunu, önceden belirlenmiş yöntemi ve türetilmiş toplulaştırılmış tabloları içerir; kampanya düzeyindeki kayıtları veya müşteri/test tanımlayıcılarını yeniden dağıtmaz. Kaynaktan yeniden üretim için özgün dosyanın ayrıca indirilmesi gerekir. Paylaşılan paket çevrilmiş yönergeler içerir.
Bu makalenin kaynak sürümü İngilizce. Tüm dil sürümleri aynı tarihsel SendGuard900K arşivini anlatıyor; kaynak, kayıtların 2022–2024 dönemine ait olduğunu belirtiyor. Çeviri, bu sonuçları yerel pazarın veya sektörün güncel karşılaştırma ölçütüne dönüştürmez.