Multivariate testing: ano ang matututuhan mo sa pag-test ng creative

Sinuri namin ang mga kombinasyon ng headline at larawan sa loob ng bawat test sa website ng Upworthy. Sa 3,212 test na pumasa sa mga patakaran ng pangunahing saklaw, 188 ang nag-iba ng parehong elemento. Isa lang sa dalawa ang binago ng karamihan sa iba pang test. Pinanatili naming magkahiwalay ang bawat test at binilang ito nang isang beses, gaano man karaming tao ang maaaring nakakita rito. ^[2]

31 lang sa 188 ang may lahat ng kombinasyon ng mga headline at image ID na naobserbahan sa kani-kanilang test. Hindi kumpleto ang grid ng natitirang 157. Mukhang malaking limitasyon iyon hanggang tingnan mo kung ano ang maaari pa ring ihambing sa loob ng mga grid. Sa 157 disenyo, 75 ang may paghahambing ng headline gamit ang parehong larawan at paghahambing ng larawan gamit ang parehong headline. May 30 na unang uri lang ang mayroon, at 45 na ikalawang uri lang. Wala sa dalawang uri ang natitirang pito.

Sa kabuuan, 150 sa 157 hindi kumpletong disenyo, o 95.5%, ang may hindi bababa sa isang paraan para ihambing ang isang elemento habang hindi binabago ang isa pa. Hindi nito pinatutunayang may sapat na traffic, maayos na pagtatalaga ng mga kalahok, o makabuluhang resulta ang alinman sa mga paghahambing. Pero ipinapakita nito kung bakit masyadong malawak ang “hindi nasubukan ang lahat ng kombinasyon” bilang dahilan para ituring na walang silbi ang isang disenyo.

Magkasama sa talahanayan ang kumpleto at hindi kumpletong mga disenyo. Sa lahat ng 188, may parehong uri ng paghahambing ang 106, headline lang ang naihahambing sa 30, larawan lang sa 45, at wala sa dalawa sa pito. Ang “pareho” ay nangangahulugang may kahit isa sa bawat uri. Hindi ibig sabihin nito na maihahambing ang bawat headline o larawan sa magkakapantay na kundisyon.

Ipinaliliwanag na ng orihinal na papel tungkol sa archive na madalas pumili ang mga editor ng buong bersiyon nang hindi sinusubukan ang bawat posibleng kombinasyon. Ang ambag namin ay ang imbentaryong ito ng mga paghahambing na nanatiling posible dahil sa mga pinili nila. Hindi namin mabubuo muli ang layunin ng bawat editor o mahuhusgahan kung natugunan iyon ng disenyo. ^[1]

Isipin ang isang pottery studio na nagpo-promote ng workshop sa weekend. May dalawang headline ito: A, “Gumawa ng una mong ceramic na mangkok,” at B, “Magpalipas ng Sabado sa pottery wheel.” Makikita sa Larawan 1 ang isang tapos na mangkok; sa Larawan 2 naman ang pottery wheel. Mga halimbawa lang ang mga ito, hindi mga halimbawa mula sa Upworthy o nasukat na resulta ng kampanya. Panatilihing pareho ang alok at iba pang tekstong ipinapakita habang pinag-iisipan ang tatlong posibleng disenyo.

Una, kasama sa kumpletong grid ang A na may Larawan 1, A na may Larawan 2, B na may Larawan 1, at B na may Larawan 2. Maihahambing ng team ang mga headline habang pareho ang Larawan 1, at pagkatapos ay gawin ang parehong paghahambing gamit ang Larawan 2. Maihahambing din nito ang mga larawan sa ilalim ng bawat headline. Ibinibigay ng apat na cell ang mga pagkakataong ito; hindi nito itinatakda kung gaano karaming ebidensiya ang makokolekta sa bawat cell.

Ikalawa, kasama sa hindi kumpletong grid ang A na may Larawan 1, B na may Larawan 1, at B na may Larawan 2. Hindi kasama ang A na may Larawan 2. Maihahambing ng team ang A at B habang hindi binabago ang Larawan 1. Hiwalay nitong maihahambing ang mga larawan habang hindi binabago ang headline B. Hindi nawawala ang dalawang paghahambing na iyon dahil lang may isang cell na hindi kasama.

Pero may isa pang tanong na hindi masasagot ng hindi kumpletong grid sa pamamagitan ng direktang paghahambing ng apat na cell: pareho kaya ang pagkakaiba ng A at B kapag Larawan 2 ang ginamit? Walang resulta para sa A na may Larawan 2. Hindi rin matutukoy ng team ang pinakamahusay sa apat na posibleng bersiyon sa pagpili lang mula sa tatlong naobserbahan. Maaaring iba ang maging resulta ng bersiyong hindi nasubukan.

Ikatlo, A na may Larawan 1 at B na may Larawan 2 lang ang kasama sa diagonal na disenyo. Walang elementong nananatiling pareho sa dalawang bersiyon. Maaari pa ring suportahan ng isang wastong test ang pagpili sa dalawang buong bersiyong iyon. Pero hindi nito maihihiwalay ang ambag ng headline o ng larawan batay sa paghahambing na iyon lamang.

Walang iisang disenyo na pinakamainam sa lahat ng sitwasyon. Kung kailangang pumili ng studio sa dalawang aprubadong konsepto para sa isang partikular na paglulunsad, maaaring sapat sa gawain nito ang paghahambing ng buong bersiyon. Kung gusto nitong gamitin muli ang isang headline sa iba-ibang larawan, kailangan nito ng ebidensiyang angkop sa mas malawak na desisyong iyon. Sulit ang dagdag na kombinasyon kapag may sinasagot itong tanong na talagang kailangang sagutin ng team. ^[3]

Malinaw sa archive ang pagkakaibang ito. Sa 106 disenyo na may parehong uri ng paghahambing, 74 ang walang kahit isang kumpletong parihaba na binubuo ng dalawang headline at dalawang larawan. Kaya maaaring may paghahambing ng headline sa isang bahagi at paghahambing ng larawan sa ibang bahagi, pero wala ang apat na cell na kailangan para direktang ihambing ang mga pagkakaiba ng resulta.

Balikan ang hindi kumpletong grid ng studio. Isang tanong ang paghahambing ng A at B gamit ang Larawan 1. Ibang tanong ang paghahambing ng Larawan 1 at Larawan 2 sa ilalim ng B. Hindi sinasagot ng alinman kung nagbabago ba ang pagkakaiba ng tugon sa dalawang headline kapag nagbago ang larawan. Ang ikatlong tanong na iyon ay tungkol sa interaction: kung ang ugnayan ng isang elemento sa tugon ay nakadepende sa isa pang elemento.

Sa set ng 188 disenyo, 32 ang may hindi bababa sa isang kumpletong parihaba. Kasama rito ang lahat ng 31 kumpletong grid at isang mas malaking grid na hindi kumpleto. Nagbibigay ang ganitong parihaba ng paraan para makabuo ng direktang paghahambing para sa interaction. Hindi nito ipinapakitang may interaction, at hindi rin ito ang tanging posibleng batayan para pag-aralan ang interaction gamit ang ibang disenyo o mga palagay sa pagmomodelo.

Para sa campaign team, dapat malinaw muna ang pagkakaibang ito sa brief bago ito ilagay sa isang estadistikal na modelo. Mas makitid ang hinihingi ng “Ihambing ang dalawang headline na ito gamit ang larawang ito” kaysa sa “Humanap ng headline na gumagana sa iba-iba naming larawan.” Ang sagot sa unang tanong ay hindi dapat basta gawing sagot sa ikalawa.

Inaalis ng pangunahing imbentaryo ang mga test na ang saklaw ng petsa ng pagkakagawa ay may bahaging pumapatak mula Hunyo 25, 2013 hanggang Enero 10, 2014. May natukoy ang mga mananaliksik ng archive na posibleng problema sa pagtatalaga ng mga kalahok sa panahong iyon. Mahalaga ito sa pananaliksik ng sanhi at bunga; hindi nito ginagawang hindi magagamit ang mga rekord ng kombinasyon para sa imbentaryo ng istruktura. Kaya inulit din namin ang paghahambing na kasama ang panahong iyon. ^[4]

May 239 test na nag-iba ng parehong elemento sa mas malawak na saklaw. Apatnapu ang may lahat ng kombinasyon, samantalang 199 ang hindi kumpleto. Sa mga hindi kumpletong disenyo, 180, o 90.5%, ang may hindi bababa sa isang paghahambing na hindi binabago ang isang elemento, at 93, o 46.7%, ang may parehong uri. Ang katumbas na mga bilang sa pangunahing saklaw ay 95.5% at 47.8%. Nagbabago ang eksaktong porsiyento, pero karaniwan pa ring may natitirang partikular na paghahambing sa mga hindi kumpletong disenyo.

Sinuri rin namin ang isang pagpili sa pagproseso ng teksto. Eksaktong inihahambing ng pangunahing pagsusuri ang teksto ng headline at excerpt. Kapag inalis sa simula at dulo ang mga character na whitespace (espasyo, tab, at newline) at pinalitan ng isang espasyo ang magkakasunod na whitespace sa loob ng teksto, nagiging 189 ang mga test na nag-iba ng parehong elemento: may 31 kumpletong grid, 108 na may parehong uri ng paghahambing, at 32 na may kumpletong parihaba. Nagbabago sa pagsusuring ito kung aling mga disenyo ang kwalipikado, kaya ipinapakita ang mga bilang nito gamit ang sariling denominator. ^[5]

50% ang median coverage sa lahat ng tatlong saklaw. Ang coverage ay ang bilang ng naobserbahang kombinasyon ng headline at larawan, na hinati sa lahat ng posibleng kombinasyon gamit ang mga headline at image ID na naobserbahan sa test na iyon. Paglalarawan ang median, hindi marka ng kalidad. Maaaring hindi kailangan, hindi angkop, o wala sa nilalayong paghahambing ng editor ang isang kombinasyong hindi kasama; hindi sinasagot ng archive kung bakit ito hindi isinama.

Para sa pottery studio, magsimula sa kung ano ang mangyayari pagkatapos ng test. Pipili ba ang team ng isang buong promosyong gagamitin para sa workshop, pananatilihin ang isang larawan at babaguhin ang headline nito, o gagamitin ang isang headline sa ilang disenyo sa hinaharap? Iba-ibang set ng paghahambing ang kailangan sa bawat desisyon. Hindi awtomatikong mas sulit ang mas malaking grid para sa oras at pagod ng team.

Kung buong bersiyon ang pagpipilian, ilista ang mga iyon nang hindi nangangakong maipapaliwanag ang bawat bahagi. Kung headline ang pagpapasiyahan, tukuyin kung aling larawan ang hindi babaguhin. Kung kailangang suriin ng team kung nagbabago ang pagkakaiba ng tugon sa mga headline kapag ibang larawan ang ginamit, isama ang apat na kaugnay na kombinasyon o gumamit ng alternatibong disenyo na may sapat na batayan. Ihiwalay ito sa pagpili ng sukatan ng tugon, pagtatalaga ng mga kalahok at panahon ng pagmamasid.

Tingnan muna kung may saysay ang mga iminungkahing kombinasyon bago idagdag ang mga ito. Ang headline para sa isang partikular na alok ay maaaring bagay lang sa isang larawan ng produkto. Mag-iiba ang gawain kung gagawa ng hindi angkop na pares para lang mapuno ang grid. Maaaring paliitin ng team ang tanong o bumuo ng mga bersiyong makatuwirang ipares. Kapaki-pakinabang ang kumpletong grid kapag ang mga paghahambing nito ay tumutulong sa desisyon, hindi dahil mukhang mas masusi ang isang punong talahanayan.

Gamitin ang mga sumusunod na field bilang maikling planning brief. Para sa sarili mong kampanya ang tekstong nasa bracket, hindi ito natuklasan ng pag-aaral na ito.

Desisyon pagkatapos ng test: [pumili ng buong bersiyon; ihambing ang tinukoy na elemento sa isang partikular na sitwasyon; suriin ang tinukoy na kombinasyon ng mga elemento].

Mga elemento at bersiyon: [eksaktong teksto ng mga headline; image file o ID na hindi nagbabago; iba pang nilalamang nagbabago].

Mga kasamang bersiyon: [ang mga pares ng headline at larawan na talagang ipapakita].

Mga kailangang paghahambing: [aling mga pares ang hindi binabago ang isang elemento; aling apat na cell ang sumusuporta sa tanong tungkol sa interaction, kung kailangan].

Plano ng ebidensiya: [sukatan ng tugon; audience at pagtatalaga sa mga bersiyon; kundisyon ng exposure; nakaplanong pagmamasid at patakaran sa pagsusuri].

Hangganan ng konklusyon: [ano ang maaaring suportahan ng disenyo; aling mga hindi nasubukang kombinasyon o sitwasyon ang wala sa saklaw ng desisyon].

Halimbawa, puwedeng isulat ng studio na gumagamit ng hindi kumpletong disenyo na may tatlong cell: “Ihahambing namin ang mga headline gamit ang Larawan 1 at ang mga larawan gamit ang headline B. Hindi namin sinusubukan ang headline A na may Larawan 2.” Nililinaw ng pangungusap na ito ang dalawang kapaki-pakinabang na tanong at ang nawawalang paghahambing nang hindi sinasabing kulang sa bisa ang disenyo.

Magagamit din ng creator na gumagawa para sa isang kliyente ang kaibahang ito sa pagtalakay ng binagong thumbnail at pamagat. Ang tanong ay kung aling bersiyon o elemento ang gustong piliin ng kliyente. Gayunman, mula sa website ng isang publisher ang aming mga bilang, at hindi nito ipinapakita kung paano itinatalaga o sinusukat ng kasalukuyang social platform ang mga bersiyon ng creative.

Ang pinagmulan ay ang pampublikong exploratory file ng Upworthy Research Archive, na inilarawan nina J. Nathan Matias, Kevin Munger, Marianne Aubin Le Quere at Charles Ebersole. Mayroon itong 22,666 row ng mga buong bersiyon na nakapangkat sa 4,873 test mula sa makasaysayang archive ng 2013–2015. Ginamit namin ang headline, image identifier, excerpt, test identifier, timestamp ng pagkakagawa at row index ng archive. Hindi ginamit ang clicks, impressions at mga pinili ng editor. ^{[1] [6]}

Nauna ang pagsusuri ng pagiging posible batay sa istruktura bago ang huling plano ng design audit, at nakatulong ito sa pagbuo ng tanong. Kaya exploratory reanalysis ito, hindi isang confirmatory study na may prerehistradong plano. Pinananatili ng mga itinakdang patakaran ang mga test na may magagamit na structural field, inilalapat ang pangunahing limitasyon sa petsa, at hinihinging eksaktong pareho ang excerpt sa lahat ng bersiyon. Konserbatibo ang limitasyong ito dahil hindi magkatugma ang papel at dokumentasyon ng archive kung ipinakita ba ang field na iyon. ^[6]

Ipinapakita ng talahanayan ng pagpili ang sunud-sunod na pag-aalis, saka ang paghahati ng mga kwalipikadong test. Limang test ang walang headline o image ID; kasunod nito, 1,050 ang hindi pasok sa patakaran sa petsa at 606 ang may magkakaibang excerpt. Sa 3,212 test na natira, 1,624 ang headline lang ang binago, 1,078 ang image ID lang, 188 ang pareho, at 322 ang may iisang naobserbahang kombinasyon. Maaari pa ring may higit sa isang source row ang huling kategorya.

Sa loob ng isang test, isang design cell lang ang bilang ng paulit-ulit na eksaktong parehong pares ng headline at larawan. Limang test sa 188 na nag-iba ng parehong elemento ang may paulit-ulit na cell. Kasama sa kumpletong grid ang bawat pares ng teksto ng headline at image ID na naobserbahan sa test. Hindi nangangahulugang magkaiba ang ideya dahil magkaiba ang teksto, at hindi nangangahulugang magkaiba ang hitsura ng larawan dahil magkaiba ang image ID; hindi available ang mga image file.

Pantay ang bilang ng bawat disenyo sa mga resulta, hindi ng tao, impressions o negosyo. Hindi nito pinatutunayan ang kasalukuyang gawi sa marketing, performance o statistical power. Nasa mga download ang pinagsama-samang resulta at paraan para ulitin ang pagsusuri, kasama ang dalawang pagsusuri ng saklaw, upang masuri ng mga mambabasa ang kaibahan ng naobserbahang kombinasyon sa konklusyong hinango mula rito. ^[7]