Email A/B testing: ano ang nagbago matapos ang unang oras

Sa ika-60 minuto, may lamang ang 4,712 sa 5,743 kwalipikadong pares: mas mataas ang naitalang sukatan ng click ng isang bersiyon kaysa sa isa. Sa ika-1,440 minuto, o 24 oras matapos maipadala ang bawat bersiyon, pareho pa rin ang lamang na bersiyon sa 3,510 pares. Sa 991 pares, ang kabilang bersiyon na ang lamang, at tabla naman ang 211. Sa mga pares na nagsimula nang may lamang, 74.5% ang nanatili, 21.0% ang bumaligtad, at 4.5% ang naging tabla. ^[2]

Isang tiyak na naitalang sukatan ang inihahambing dito. Hinahati namin ang unique-click counter ng bawat bersiyon sa iniulat na bilang ng email na naipadala nito, saka minumultiply sa 100. Ang yunit ay naitalang click bawat 100 email na naipadala. May lamang kapag mas mataas ang sukatang ito, gaano man kaliit ang agwat. Hindi ito nangangahulugang may estadistikal na kabuluhan ang resulta.

Mahalagang makita pa rin ang nangyari sa nakararami. Hindi ipinapakita ng datos na ito na karaniwang nababaligtad ang mga report sa unang oras. Ipinapakita nitong may mga lamang na nanatili, bumaligtad, o naging tabla. Nawawala ang pagkakaiba ng mga sumunod na kinalabasan kapag ang unang pagkakasunod lang ang nasa report.

Maaaring tumpak na ilarawan ng report sa unang oras ang impormasyong naitala noon kahit magbago ang pagkakasunod sa bandang huli. Mas malawak na pahayag ang pagtawag sa pagbaligtad bilang “maling panalo”: ituturing nitong katotohanan ang huling pagkakasunod at ipagpapalagay na higit sa kasalukuyang lamang ang ipinangako ng unang report. Dito, pinananatili ang parehong obserbasyon. Pagbabago sa naitalang pagkakasunod ang ipinapakita, hindi antas ng pagkakamali ng isang sistema ng pagpapasya.

Mas makitid din ang saklaw ng datos kaysa sa pangkalahatang katawagang “email A/B testing.” Sa mga kwalipikadong pares, 5,647 ang may label na pangalan ng nagpadala at 96 ang may label na paksa. Samakatuwid, mga test ng pangalan ng nagpadala ang 98.3% ng pagsusuri. Hindi dapat ituring ang mga resulta bilang benchmark ng subject line o pagtataya para sa lahat ng email platform.

Ginagamit ng chart sa ibaba ang lahat ng 5,743 pares bilang denominator, kasama ang 1,031 na nagsimulang tabla. Dahil dito, nakikita ang bawat naobserbahang kinalabasan. Ang 991 pagbaligtad ay 17.3% ng lahat ng pares, pero 21.0% ng 4,712 na may maagang lamang. Tama ang parehong bilang; magkaibang tanong ang sinasagot nila.

Kapag tabla sa unang oras, walang lamang na bersiyong maaaring manatili o mapalitan. Sa datos na ito, 588 sa 1,031 maagang tabla ang nagkaroon ng lamang sa huli, habang nanatiling tabla ang 443. Katumbas iyon ng 57.0% ng maagang mga tabla. Hindi ito dapat idagdag sa porsiyento ng mga pagbaligtad, dahil ibang grupo ang pinagsisimulan nito.

Kaunti rin ang naitalang aktibidad sa maraming maagang tabla. Sa 655 sa 1,031 pares na tabla, parehong zero ang unique-click counter sa unang oras. Maaaring positibo naman ang mga counter sa ibang tabla, ngunit eksaktong magkapareho ang kanilang ratio. Batay sa mismong mga counter at bilang ng naipadala ang pag-uuri ng tabla, hindi sa mga ni-round na porsiyento sa chart. ^[3]

Para sa gumagawa ng report, magkaiba ang “walang lamang sa naitalang sukatan” at “pareho ang performance ng dalawang bersiyon.” Ang una ay obserbasyon sa isang tiyak na tagal mula sa pagpapadala. Mangangailangan ang ikalawa ng ebidensiyang hindi ibinibigay ng naglalarawang paghahambing na ito. Hindi pinatutunayan ng pagkakaroon ng lamang sa huli kung alin ang dapat pinili nang mas maaga.

Maaaring suriin ang denominator gamit ang maikling kalkulasyon mula sa aktuwal na datos. Hatiin ang 588 sa 1,031 para ilarawan ang nangyari sa mga maagang tabla. Hatiin ang 991 sa 4,712 para ilarawan ang mga pagbaligtad sa mga may maagang lamang. Hatiin lamang ang alinman sa mga bilang na ito sa 5,743 kung lahat ng kwalipikadong pares ang tinatanong. Dapat malinaw sa heading ng report kung aling panimulang grupo ang tinutukoy.

Sa 991 pares na bumaligtad ang lamang, ang median ng absolute na agwat ay 0.062 naitalang click bawat 100 email na naipadala sa unang oras, at 0.110 sa ika-24 na oras. Pagkakaiba ito ng dalawang naitalang sukatan, hindi dagdag na tao, pagbiling maiuugnay sa kampanya, o porsiyento ng pagbabago sa kita. ^[3]

Mahalaga ang bilang ng naipadala sa pagbasa ng agwat na ito. Hindi sapat ang pagkakaiba ng mga raw click counter kung magkaiba ang kabuuang naipadala ng dalawang bersiyon. Kailangang hatiin muna ang bawat counter sa sarili nitong iniulat na bilang ng naipadala. Hindi rin dapat tawaging 0.110% na relatibong pagbuti ang agwat na 0.110: absolute na pagkakaiba ito sa sukatang bawat 100 naipadala, at walang katumbas na halagang benta rito.

Iba-iba ang laki ng agwat sa huling pagsukat. Sa mga pares na bumaligtad ang lamang, ang gitnang kalahati ng mga agwat ay nasa humigit-kumulang 0.025 hanggang 0.336 naitalang click bawat 100 email na naipadala. Inilalarawan ng median ang gitnang posisyon sa grupong ito; hindi nito sinasabing maliit ang lahat ng pagbaligtad. Maaaring magpalit ng lamang sa maliit na agwat, at may ilang naitalang agwat na higit na malaki.

Nagbibigay ng konteksto ang iba pang kinalabasan. Sa mga pares na nanatili ang lamang, 0.291 ang median ng agwat sa huli. Sa mga pares na mula sa tabla ay nagkaroon ng lamang, 0.444 ito. Kapag tabla sa huli, eksaktong zero ang agwat ayon sa depinisyon. Magkakasama sa talahanayan ang lahat ng limang kinalabasan, sa halip na ang mga pagbaligtad lamang.

Magkahiwalay na median sa loob ng bawat row ang mga column para sa una at huling pagsukat. Hindi nila sinusundan ang isang karaniwang pares, at hindi makukuha ang median ng pagbabago ng mga pares sa pagbabawas ng dalawang median. Basahin ang mga ito bilang buod ng agwat sa bawat pagsukat. Para maipaliwanag ang direksiyon ng paghahambing, isama ang label ng kinalabasan sa laki ng agwat.

Batay sa nangyari sa parehong pagsukat ang pagkakabuo ng mga grupong ito. Hindi maaaring gamiting tuntunin ang kanilang median na agwat para mahulaan ang pagbaligtad sa bagong kampanya. Sa partikular, hindi napatunayang cutoff ang mas maliit na maagang median sa mga bumaligtad na pares para sabihing ligtas nang magpasya batay sa report.

Dapat kasama ng agwat ang mga bilang na pinagbabatayan. Sa lahat ng 4,712 pares na may lamang sa unang oras, siyam ang median ng pinagsamang unique-click counter ng dalawang bersiyon. Sa 488 sa mga pares na iyon, eksaktong isa ang pinagsamang counter. Inilalarawan nito ang panimulang ebidensiya sa mga may maagang lamang; hindi nito ipinapakitang ang partikular na mga pares na iyon ang bumuo sa bilang ng mga pagbaligtad, o na mababang bilang ang paliwanag sa mga pagbabago.

Itinakda namin ang mga karagdagang paghahambing bago kalkulahin ang mga kinalabasan. Kung magsisimula sa ika-30 minuto sa halip na ika-60, may maagang lamang ang 4,507 pares. Sa mga iyon, 24.3% ang bumaligtad pagsapit ng ika-1,440 minuto. Sa unang oras, 21.0% ang resulta sa 4,712 pares na may lamang. Mahalaga ang pagkakaiba ng mga denominator: may mga pares na tabla sa isang pagsukat ngunit may lamang sa isa pa. ^[4]

Hindi nito ipinapakitang naiiwasan ang isang tiyak na bahagi ng maling desisyon sa paghihintay ng dagdag na 30 minuto. Inilalarawan ng dalawang kalkulasyon ang mga naobserbahang pagkakasunod sa magkaibang tagal mula sa pagpapadala. Hindi sila random na nagtatalaga ng patakaran sa paghihintay o sumusuri sa kahihinatnan ng pagpapadala sa natitirang audience.

Nilimitahan din namin ang paghahambing sa unang oras sa 686 pares na may eksaktong magkaparehong naitalang timestamp ng pagpapadala ang dalawang bersiyon. Sa 560 na may maagang lamang, 19.6% ang bumaligtad sa huli. Binabawasan ng pagsusuring ito ang isang pagkakaiba sa oras sa naitalang datos. Hindi pinatutunayan ng magkaparehong timestamp na sabay na naihatid ang mga email o magkapantay ang exposure ng audience.

Mas maraming pares ang mula sa ilang client ID kaysa sa iba. Pantay ang bigat ng bawat pares sa pangunahing kalkulasyon. Sa hiwalay na pagsusuri, kinukuha muna ang bahagi ng mga pagbaligtad sa bawat isa sa 403 client ID na may hindi bababa sa isang lamang sa unang oras, saka binibigyan ng pantay na bigat ang bawat ID. Ang average ay 19.2%. Ito ang mean ng kani-kanilang bahagi ng pagbaligtad, hindi porsiyento ng mga client na nakaranas ng pagbaligtad. ^[4]

Sa kabuuan, nananatili ang praktikal na punto sa mga nakatakdang pagsusuring ito: maaaring manatili, bumaligtad o maging tabla ang naobserbahang maagang lamang. Hindi sila nagbibigay ng pangkalahatang probabilidad ng pagbaligtad. May paulit-ulit na mga rekord sa loob ng mga client ID, at hindi napatunayang kumakatawan ang mga ID na iyon sa isang sample ng magkakahiwalay na negosyo.

Nagsisimula ang kapaki-pakinabang na report sa desisyong kailangang gawin. Pipili ba ang tatanggap ng susunod na ipapadala, magdodokumento ng natapos na test, o rerepaso ng mga nakaraang test sa isang planning meeting? Maaaring may saysay ang obserbasyon sa unang oras para sa bawat gawain, pero puwedeng kulang ang report na inihanda para sa isa kung gagamitin sa iba.

Pangalanan muna ang sinubok na variable at ang sukatan bago sabihin kung alin ang lamang. Dito, ang variable ay pangalan ng nagpadala o paksa, at ang sukatan ay unique-click counter bawat 100 email na iniulat na naipadala. Kung naihatid na email, napatunayang click ng tao, o pagbili ang ginagamit ng team, iyon ang depinisyong dapat ilahad. Mas madaling unawain ang mga susunod na paghahambing kapag malinaw ang sukatan.

Pagkatapos, ilagay ang oras ng pagsukat sa tabi ng lamang o tabla. Isama ang agwat ng dalawang sukatan at ang mismong mga counter at bilang ng naipadala para sa parehong bersiyon. Sa gayon, makikita ng mambabasa ang direksiyon, agwat at naitalang aktibidad sa likod nito, sa halip na hulaan ang tatlo mula sa isang naka-highlight na row.

Halimbawa ng pangungusap sa pagpapasa ng report: “Sa [oras ng pagsukat], [bersiyon o tabla] ang kasalukuyang pagkakasunod sa [tinukoy na sukatan]; [halaga] ang agwat, batay sa [mga counter at bilang ng naipadala].” Ang nasa bracket ay mga puwang na pupunan mula sa totoong report, hindi mga resulta ng kampanya sa pag-aaral na ito. Sa hiwalay na pangungusap, itala ang napiling aksiyon at ang dahilan nito.

Kung may susunod na pagsukat, panatilihin ang naunang obserbasyon at ipakita kung nanatili, bumaligtad o naging tabla ang lamang. Sa pagrepaso, maihihiwalay nito ang alam na noong panahong iyon sa naitala lamang sa bandang huli. Isama rin ang mga pares na nagsimulang tabla, maliban kung malinaw na tungkol lamang sa mga pares na may lamang na ang report.

Nakasalalay pa rin ang pagpili ng bersiyon sa layunin ng kampanya, mga limitasyon sa paghahatid, kalidad ng pagsukat at halaga ng bawat posibleng pagpili. Hindi itinatakda ng datos na ito ang tuntuning iyon. Nagbibigay ito ng dahilan para huwag hayaang ang iisang salitang “panalo” ang kumatawan sa parehong obserbasyon at desisyon.

Itinuturing na sa naunang pananaliksik na nabubuo sa paglipas ng panahon ang performance ng email. Inilalarawan ng “Real-Time Evaluation of E-mail Campaign Performance” nina Bonfrer at Drèze, na inilathala online noong 2008 at sa Marketing Science noong 2009, ang isang paraan ng pagtataya at balangkas para sa sunod-sunod na pagpapasya, na sinuri sa 25 kampanya. Hindi bago ang pangkalahatang ideyang maaaring magkaiba ang maaga at huling resulta. ^[5]

Mas makitid na naglalarawang tanong ang sinasagot ng pagsusuring ito gamit ang ibang datos: gaano kadalas nanatili, bumaligtad o naging tabla ang naitalang pagkakasunod sa mga kwalipikadong pares, at anong mga agwat ang kasama ng mga kinalabasang iyon? Pinananatili nitong nakikita ang mga maagang tabla at sinusuri kung nag-iiba ang paglalarawan sa mga nakatakdang pagpili ng oras at pagtitimbang.

Mahalaga ang pagkakaibang iyon sa pagbasa ng mga resulta. Sinusubukan ng predictive model na tantiyahin ang susunod na mangyayari sa ilalim ng mga palagay nito. Inilalarawan naman ng aming mga talahanayan ang laman ng inilabas na mga rekord sa mga tiyak na tagal mula sa pagpapadala. Maaaring makatulong ang naobserbahang mga porsiyento sa pagpapaliwanag ng team sa report; hindi sila modelo para pumili ng bersiyon sa susunod na kampanya.

May 908,229 inilabas na rekord ng kampanya ang SendGuard900K. Ayon sa paglalarawan ng pinagmulan, metadata ito mula sa aktuwal na operasyon noong 2022–2024. Sinuri namin ang 6,801 grupo na tinukoy sa pamamagitan ng kombinasyon ng client ID at test ID, saka pinanatili ang 5,743 grupong may eksaktong dalawang kwalipikadong naobserbahang test-part record at positibong iniulat na bilang ng naipadala. Hindi kasama sa paghahambing ng pares ang mga rekord ng final rollout; hindi rin kailangang may ganitong rekord ang isang pares. ^{[1] [6]}

Saklaw ng mga pinanatiling pares ang 473 client ID. Hindi pinatutunayan ng pagkakaroon ng eksaktong dalawang kwalipikadong naobserbahang rekord na dalawang bersiyon lang ang orihinal na itinakda sa bawat eksperimento, na kumpleto ang datos nito, o na random ang pagtatalaga ng audience. Kaya naobserbahang mga pares ang inilalarawan namin, hindi isang napatunayang koleksiyon ng kumpletong randomized experiment.

Para sa bawat bersiyon, ginagamit ang unique-click counter nito sa ika-30, ika-60 o ika-1,440 minuto at ang parehong iniulat na bilang ng naipadala sa rekord. Nagsisimula ang bawat oras ng pagsukat sa pagpapadala ng mismong bersiyong iyon. Hindi kailangang magkapareho ang aktuwal na oras ng pagpapadala ng dalawang bersiyon sa pangunahing pagsusuri. Hiwalay na limitasyon ang same-timestamp na pagsusuri, hindi palagay na inilalapat sa lahat ng pares.

Available, valid at hindi negatibo ang lahat ng kinakailangang counter sa mga kwalipikadong pares; walang lumampas sa sariling iniulat na bilang ng naipadala. Walang counter na bumaba sa tatlong pagsukat. Sinusuportahan ng mga pagsusuring ito ang arithmetic ng mga rekord, pero hindi nila matitiyak ang kahulugan ng unique click, pag-filter ng bot, paghahatid, o kung saklaw ng huling obserbasyon ang lahat ng magiging tugon. ^[6]

Tinutukoy ang lamang at tabla sa pamamagitan ng eksaktong paghahambing ng mga ratio bago i-round. Ang mga agwat ay absolute na pagkakaiba sa naitalang click bawat 100 email na naipadala. Ginagamit ng median at iba pang quantile ang nearest-rank na tuntunin: ayusin ang mga halaga at piliin ang nakatakdang puwesto, nang walang interpolation. Ni-round sa isang decimal ang mga porsiyento sa mga figure at sa tatlo ang median na agwat; pinananatili ng figure download ang anim na decimal kung naaangkop.

Itinakda ng pamamaraan ang kwalipikadong estruktura, mga oras ng pagsukat, limang kinalabasan, buod ng mga bilang at agwat, mga pagsusuri sa oras, at kalkulasyong pantay ang bigat ng bawat client bago basahin ang mga kinalabasan. Nasa research download ang lahat ng nakatakdang pinagsama-samang talahanayan, kasama ang mga zero at pagsusuri sa kalidad. Tumugma ang hiwalay na muling pagkalkula mula sa pinagmulan sa lahat ng pinagsama-samang resulta. Naglalarawan ang mga resultang ito ng datos mula sa nakaraan; walang confidence interval, significance test, o pahayag na kumakatawan ito sa industriya. ^[7]