Multivariantní testování: co vám může říci test reklamních návrhů
Současná změna titulku a obrázku vám může pomoci vybrat hotový reklamní návrh. Chcete-li získat poznatky o jednotlivých prvcích, potřebujete jiné srovnání. Historická uspořádání testů Upworthy ukazují, kolik možností může zůstat, i když některé kombinace chybí.
Analýza Influence IQ průzkumné podmnožiny Upworthy Research Archive zahrnující experimenty na webu od začátku roku 2013 do dubna 2015. Hlavní srovnání obsahuje 188 způsobilých testů, které měnily text titulku i ID obrázků. Jde o přehled uspořádání testů, nikoli o analýzu kliknutí nebo výkonnosti kampaní.
Abstrakt
Neúplné multivariantní uspořádání může stále zachovat samostatná srovnání titulků nebo obrázků. Ze 188 způsobilých testů Upworthy, které měnily text titulku i ID obrázků, obsahovalo 31 každou kombinaci. Z ostatních 157 obsahovalo 150 alespoň 1 srovnání, při němž se titulek nebo obrázek neměnil; 75 obsahovalo oba druhy. Tyto počty popisují přítomné kombinace, nikoli to, zda testy přinesly spolehlivé či užitečné výsledky výkonnosti. [1]
Studie používá historickou průzkumnou podmnožinu webových experimentů od začátku roku 2013 do dubna 2015, ponechává text úryvku stejný a z hlavního rozsahu vylučuje dokumentované období možných potíží s přiřazováním variant. Zahrnutí tohoto období vede ke stejnému obecnému poučení: 180 ze 199 neúplných uspořádání zachovává alespoň 1 takové srovnání. Pro firmy a tvůrce je praktickou volbou sladit kombinace s otázkou: vybrat celý reklamní návrh, porovnat 1 prvek, nebo zkoumat, jak spolu 2 prvky působí.
Váš tým má připravené 2 verze kampaně. Jedna spojuje produktový obrázek s přímočarým titulkem; druhá používá jiný obrázek a konverzačnější titulek. Pokud jedna dosáhne lepších výsledků, co jste se dozvěděli?
Dobře provedené srovnání vám může pomoci vybrat mezi těmito hotovými verzemi. Samo o sobě neukazuje, která změna způsobila rozdíl. Multivariantní testování mění více než 1 prvek v sadě kombinací. Užitečnou výchozí otázkou je, s jakým rozhodnutím vám mají tyto kombinace pomoci.
Samotný počet verzí na tuto otázku neodpoví. 4 verze titulku spojené s 1 obrázkem umožní týmu v daném prostředí porovnat titulky. 2 titulky spojené se 2 obrázky také vytvoří 4 sestavy, pokud je zahrnuto každé párování, ale umožní jiná srovnání. Zapsání jednotlivých dvojic tento rozdíl zviditelní ještě před začátkem testu.
Hotový reklamní návrh obsahuje několik voleb

Neúplná uspořádání často zachovávala užitečné srovnání
Zkoumali jsme kombinace titulků a obrázků uvnitř jednotlivých webových testů Upworthy. Z 3 212 testů splňujících pravidla hlavního rozsahu měnilo 188 oba prvky. Většina zbývajících testů měnila jen jeden z nich. Každý test jsme ponechali samostatný a započítali ho jednou bez ohledu na to, kolik lidí ho mohlo vidět. [2]
Jen 31 ze 188 obsahovalo každou kombinaci pozorovaných titulků a ID obrázků. Ostatních 157 tvořilo neúplné matice kombinací. To zní omezující, dokud se nezeptáte, jaká srovnání v těchto maticích zůstala. Z těchto 157 uspořádání mělo 75 jak srovnání titulků při stejném obrázku, tak srovnání obrázků při stejném titulku. Dalších 30 mělo jen první druh a 45 jen druhý. 7 nemělo ani jeden.
Celkem tedy 150 ze 157 neúplných uspořádání, neboli 95,5 %, zachovalo alespoň 1 způsob, jak porovnat prvek při neměnném druhém prvku. To nedokazuje, že některé srovnání mělo dostatečnou návštěvnost, řádné přiřazení variant nebo smysluplný výsledek. Ukazuje to však, proč je tvrzení „nebyla testována každá kombinace“ příliš obecným důvodem k odmítnutí uspořádání.
Tabulka uvádí úplná a neúplná uspořádání společně. Ze všech 188 obsahovalo 106 oba typy srovnání, 30 jen srovnání titulků, 45 jen srovnání obrázků a 7 ani jeden typ. „Oba“ znamená alespoň 1 od každého. Neznamená to, že lze každý titulek nebo obrázek porovnat za stejných podmínek.
Původní článek o archivu již vysvětluje, že redaktoři často volili sestavy bez testování všech možných kombinací. Naším přínosem je tento přehled srovnání, která jejich volby ponechaly k dispozici. Nemůžeme zpětně určit cíl každého redaktora ani posoudit, zda mu uspořádání vyhovělo. [1]
Většina uspořádání měnících oba prvky zachovávala srovnání jednotlivých prvků
188 způsobilých historických testů Upworthy měnících text titulku a ID obrázků, se stejným textem úryvku a stanoveným časovým omezením. Každý test má stejnou váhu.
| Srovnání přítomná v uspořádání | Testy | Podíl ze 188 testů |
|---|---|---|
| Srovnání titulků i obrázků | 106 | 56,4 % |
| Pouze srovnání titulků | 30 | 16,0 % |
| Pouze srovnání obrázků | 45 | 23,9 % |
| Ani jedno srovnání jednotlivých prvků | 7 | 3,7 % |
3 uspořádání odpovídají na různé otázky
Představte si keramický ateliér, který propaguje víkendový kurz. Má 2 titulky: A „Vyrobte si svou první keramickou misku“ a B „Stravte sobotu u hrnčířského kruhu“. Obrázek 1 ukazuje hotovou misku; obrázek 2 kruh. Jde o ilustrativní volby, nikoli o příklady Upworthy nebo naměřené výsledky kampaně. Při zvažování 3 možných uspořádání ponechte nabídku a ostatní zobrazený text stejný.
První, úplná matice obsahuje A s obrázkem 1, A s obrázkem 2, B s obrázkem 1 a B s obrázkem 2. Tým může porovnat titulky při neměnném obrázku 1 a pak stejné srovnání titulků provést s obrázkem 2. Může také porovnat obrázky u každého titulku. 4 buňky poskytují tyto možnosti; neurčují, kolik důkazů bude v každé buňce získáno.
Druhá, neúplná matice obsahuje A s obrázkem 1, B s obrázkem 1 a B s obrázkem 2. A s obrázkem 2 chybí. Tým může porovnat A a B při neměnném obrázku 1. Samostatně může porovnat obrázky při neměnném titulku B. Chybějící buňka tato 2 srovnání neruší.
Neúplná matice však ponechává jinou otázku bez odpovědi přímým srovnáním 4 buněk: vypadal by rozdíl mezi A a B stejně s obrázkem 2? Není k dispozici výsledek A s obrázkem 2, který by se dal použít. Tým také nemůže určit nejlepší ze všech 4 možných sestav jen tím, že vybere z těch 3, které pozoroval. Netestovaná sestava se mohla chovat jinak.
Třetí, diagonální uspořádání obsahuje pouze A s obrázkem 1 a B s obrázkem 2. Mezi těmito 2 sestavami nezůstává ani jeden prvek stejný. Platný test by stále mohl podpořit volbu mezi těmito 2 hotovými verzemi. Samotné toto srovnání by však samostatně neurčilo příspěvek titulku ani obrázku.
Mezi těmito uspořádáními není žádný univerzální vítěz. Pokud ateliér potřebuje pro konkrétní uvedení vybrat mezi 2 schválenými koncepty, může srovnání sestav jeho úkolu vyhovovat. Pokud chce znovu použít titulek u různých obrázků, potřebuje důkazy relevantní pro tuto širší volbu. Další kombinace mají své místo tehdy, když odpovídají na otázku, kterou tým skutečně má. [3]
3 ilustrativní uspořádání zahrnují různé kombinace
Fiktivní příklad keramického ateliéru se 2 titulky A a B a 2 obrázky 1 a 2. Tyto buňky ilustrují uspořádání, nejde o pozorování z archivu.
| Kombinace titulku a obrázku | Úplná matice | Neúplná matice | Diagonální uspořádání |
|---|---|---|---|
| Titulek A + obrázek 1 | 1 | 1 | 1 |
| Titulek A + obrázek 2 | 1 | 0 | 0 |
| Titulek B + obrázek 1 | 1 | 1 | 0 |
| Titulek B + obrázek 2 | 1 | 1 | 1 |
Srovnání v každém směru není úplný test 2×2
Archiv tento rozdíl názorně ukazuje. Ze 106 uspořádání obsahujících oba typy srovnání nemělo 74 ani 1 úplný obdélník se 2 titulky a 2 obrázky. Uspořádání tedy může někde nabízet srovnání titulků a jinde srovnání obrázků, aniž by poskytovalo 4 buňky potřebné pro přímé srovnání jejich rozdílů.
Vraťme se k neúplné matici ateliéru. Srovnání A a B při obrázku 1 klade jednu otázku. Srovnání obrázku 1 a obrázku 2 u titulku B klade jinou. Ani jedno neříká, zda se při změně obrázku mění samotný rozdíl mezi titulky. Třetí otázka se týká interakce: zda vztah mezi jedním prvkem a odezvou závisí na druhém prvku.
V souboru 188 uspořádání obsahovalo 32 alespoň 1 úplný obdélník. Patří sem všech 31 úplných matic a 1 větší neúplná matice. Takový obdélník poskytuje prostor pro sestavení přímého interakčního kontrastu. Neukazuje, že interakce existuje, a není jediným možným základem pro zkoumání interakcí při jiných uspořádáních nebo modelových předpokladech.
U týmu kampaně patří tento rozdíl nejprve do zadání a teprve pak do statistického modelu. „Porovnejte tyto 2 titulky s tímto obrázkem“ je užší požadavek než „najděte titulek, který funguje napříč našimi obrázky“. Výsledek odpovídající na první otázku by se neměl nenápadně stát odpovědí na druhou.
Širší časové období vede ke stejnému poučení pro plánování
Hlavní přehled vylučuje testy, jejichž rozpětí dat vytvoření zasahuje do období od 25. června 2013 do 10. ledna 2014. Výzkumníci archivu v tomto období zjistili možné potíže s přiřazováním variant. Tyto obavy jsou důležité pro výzkum příčin a následků; nečiní však záznamy kombinací nepoužitelnými pro strukturální přehled. Proto jsme srovnání zopakovali i se zahrnutím tohoto období. [4]
Širší rozsah obsahuje 239 testů měnících oba prvky. 40 obsahuje každou kombinaci, zatímco 199 je neúplných. Mezi těmito neúplnými uspořádáními zachovává 180, neboli 90,5 %, alespoň 1 srovnání při zachování 1 prvku beze změny a 93, neboli 46,7 %, zachovává oba druhy. Odpovídající hodnoty hlavního rozsahu jsou 95,5 % a 47,8 %. Přesné podíly se mění, ale neúplná uspořádání stále běžně zachovávají konkrétní srovnání.
Ověřili jsme také volbu při zpracování textu. Hlavní analýza porovnává řetězce titulků a úryvků přesně. Odstranění bílých znaků na okrajích a sloučení opakovaných bílých znaků dává 189 testů měnících oba prvky, z nichž 31 má úplnou matici, 108 obsahuje oba typy srovnání a 32 úplný obdélník. Tato kontrola mění, která uspořádání splňují kritéria, proto jsou její počty uvedeny s vlastním jmenovatelem. [5]
Medián pokrytí je ve všech 3 rozsazích 50 %. Pokrytí je počet pozorovaných kombinací titulků a obrázků vydělený počtem možných kombinací při použití titulků a ID obrázků pozorovaných v daném testu. Medián je popis, nikoli hodnocení kvality. Chybějící kombinace mohla být nerelevantní, nevhodná nebo mimo zamýšlené srovnání redaktora; archiv nedává odpověď na to, proč byla vynechána.
Změna rozsahu zachovává rozdíl mezi pokrytím a srovnáními
Všechny sloupce počítají testy a každý řádek používá vlastní jmenovatel testů měnících oba prvky. Kontrola zpracování textu ponechává hlavní časové omezení; kontrola všech období zachovává přesné zpracování textu.
| Rozsah analýzy | Testy měnící oba prvky | Úplné matice | Oba typy srovnání | Alespoň 1 úplné uspořádání 2×2 |
|---|---|---|---|---|
| Hlavní rozsah: přesný text, časové omezení | 188 | 31 | 106 | 32 |
| Text s normalizovanými bílými znaky, časové omezení | 189 | 31 | 108 | 32 |
| Přesný text, všechna období zahrnuta | 239 | 40 | 133 | 42 |
Zadání příštího testu postavte na rozhodnutí
U keramického ateliéru začněte rozhodnutím, co se stane po testu. Vybere tým jednu hotovou propagaci kurzu, ponechá 1 obrázek a upraví jeho titulek, nebo přenese titulek do několika budoucích návrhů? Každé rozhodnutí vyžaduje jinou sadu srovnání. Větší matice není automaticky lepším využitím úsilí týmu.
Pokud se rozhodnutí týká hotových sestav, vypište je bez příslibu vysvětlení každé součásti. Pokud se týká titulku, určete obrázek, který zůstane stejný. Potřebuje-li tým zkoumat, zda se rozdíl mezi titulky mění napříč 2 obrázky, zahrňte příslušné 4 kombinace nebo si zajistěte odůvodněné alternativní uspořádání. Tento krok oddělte od volby ukazatele odezvy, rozdělení do variant a období pozorování.
Než navržené kombinace přidáte, ověřte, zda dávají smysl. Titulek pro konkrétní nabídku může patřit jen k 1 produktovému obrázku. Vytvoření nevhodné dvojice jen kvůli zaplnění matice by změnilo úkol. Tým může místo toho zúžit otázku nebo vytvořit verze, které lze smysluplně spojit. Úplná matice je užitečná, když její srovnání slouží rozhodnutí, nikoli proto, že zaplněná tabulka působí důkladněji.
Následující pole použijte jako krátké plánovací zadání. Text v hranatých závorkách je určen pro vaši vlastní kampaň, nejde o zjištění z této studie.
Rozhodnutí po testu: [vybrat hotovou sestavu; porovnat určený prvek ve stanoveném prostředí; zkoumat stanovenou kombinaci prvků].
Prvky a verze: [přesné texty titulků; soubory obrázků nebo stálá ID; veškerý další měnící se obsah].
Zahrnuté sestavy: [dvojice titulku a obrázku, které se budou skutečně zobrazovat].
Potřebná srovnání: [které dvojice ponechávají jeden prvek stejný; které 4 buňky podporují otázku interakce, pokud je relevantní].
Plán získání podkladů: [ukazatel odezvy; publikum a přiřazení variant; podmínky expozice; plánované pozorování a pravidlo vyhodnocení].
Hranice závěru: [co by uspořádání mohlo podpořit; které netestované kombinace nebo podmínky zůstávají mimo rozhodnutí].
Například ateliér používající neúplné uspořádání se 3 buňkami může napsat: „Porovnáme titulky při obrázku 1 a obrázky při titulku B. Titulek A s obrázkem 2 netestujeme.“ Tato věta ponechává viditelné 2 užitečné otázky i chybějící srovnání, aniž by uspořádání prohlašovala za nedostatečné.
Stejné rozlišení může využít tvůrce připravující práci pro klienta při diskusi o upraveném náhledu a názvu. Otázkou je, kterou verzi nebo prvek chce klient vybrat. Naše počty však pocházejí z webu vydavatele a neurčují, jak současná sociální platforma přiřazuje nebo měří reklamní varianty.
Otázku ponechte vedle kombinací

Vybrat hotový reklamní návrh
Porovnejte sestavy, které přicházejí v úvahu pro dané rozhodnutí.
Porovnat 1 prvek
Při potřebném srovnání ponechte druhý prvek stejný.
Prozkoumat párování
Zahrňte kombinace potřebné pro zkoumání otázky, zda se rozdíl mezi titulky mění napříč obrázky.
Jak vznikl přehled uspořádání testů
Zdrojem je veřejně zveřejněný průzkumný soubor Upworthy Research Archive, který popsali J. Nathan Matias, Kevin Munger, Marianne Aubin Le Quere a Charles Ebersole. Obsahuje 22 666 řádků sestav seskupených do 4 873 testů z historického archivu z let 2013–2015. Použili jsme titulek, identifikátor obrázku, úryvek, identifikátor testu, čas vytvoření a index řádku archivu. Kliknutí, zobrazení ani redakční výběry jsme nepoužili. [1] [6]
Kontrola strukturální proveditelnosti předcházela konečnému plánu auditu uspořádání a pomohla vymezit jeho otázku. Audit je proto průzkumnou opětovnou analýzou, nikoli předem registrovanou potvrzující studií. Stanovená pravidla ponechávají testy s použitelnými strukturálními poli, uplatňují hlavní časové omezení a vyžadují totožný text úryvku napříč sestavami. Omezení na shodný úryvek je konzervativní, protože článek a dokumentace archivu se rozcházejí v tom, zda bylo toto pole zobrazeno. [6]
Tabulka výběru ukazuje postupná vyloučení a poté rozdělení způsobilých testů. U 5 testů chybí titulek nebo ID obrázku; dalších 1 050 pak nesplňuje pravidlo časového rozsahu a 606 má různé úryvky. Ponechaných 3 212 testů zahrnuje 1 624 měnících pouze titulky, 1 078 měnících pouze ID obrázků, 188 měnících obojí a 322 s jedinou pozorovanou kombinací. Poslední kategorie stále může obsahovat více zdrojových řádků.
V rámci testu se opakované shodné dvojice titulku a obrázku počítají jako jedna buňka uspořádání. 5 ze 188 testů měnících oba prvky obsahuje opakované buňky. Úplná matice obsahuje každé spárování řetězců titulků a ID obrázků pozorovaných v daném testu. Různé řetězce nemusí vyjadřovat různé myšlenky a různá ID obrázků nemusí představovat viditelně odlišné obrázky; obrazové soubory nejsou dostupné.
Výsledky přisuzují stejnou váhu uspořádáním, nikoli lidem, zobrazením nebo firmám. Nedokládají současnou marketingovou praxi, výkonnost ani statistickou sílu. Soubory ke stažení poskytují souhrnné výsledky a metodu reprodukce včetně obou kontrol rozsahu, aby si čtenáři mohli prohlédnout rozdíl mezi pozorovanou kombinací a závěrem, který z ní někdo vyvozuje. [7]
Hlavní srovnání začíná u 188 z 3 212 způsobilých testů
Výběr z 4 873 testů ve veřejném průzkumném souboru. Vyloučení se uplatňují v uvedeném pořadí. 4 konečné kategorie uspořádání rozdělují 3 212 způsobilých testů.
Zobrazit fáze výběru a všechny způsobilé kategorie
| Fáze výběru nebo kategorie způsobilého uspořádání | Testy |
|---|---|
| Výchozí průzkumné testy | 4 873 |
| Vyloučeno: chybí titulek nebo ID obrázku | 5 |
| Vyloučeno: stanovený interval dat vytvoření | 1 050 |
| Dále vyloučeno: různý text úryvku | 606 |
| Způsobilé po vyloučeních | 3 212 |
| Způsobilé: titulek se mění, obrázek zůstává stejný | 1 624 |
| Způsobilé: obrázek se mění, titulek zůstává stejný | 1 078 |
| Způsobilé: mění se titulek i obrázek | 188 |
| Způsobilé: 1 pozorovaná kombinace | 322 |
- Stáhnout hodnoty přehledů a popisky rozsahů (CSV)
- Stáhnout výsledky, záznamy struktury testů a analytický kód (ZIP)
CSV obsahuje 41 hodnot ze 4 grafů; ilustrační buňky návrhu jsou označené odděleně od pozorovaných počtů a podílů. ZIP obsahuje agregované výsledky, záznamy struktury testů a analytický kód. Součástí jsou přeložené pokyny pro reprodukci; původní veřejný archiv si stáhněte samostatně. Výsledky kliknutí ani zobrazení nejsou zahrnuty.
Zdroje a poznámky
- Matias, J. Nathan; Munger, Kevin; Aubin Le Quere, Marianne; a Ebersole, Charles (2021), The Upworthy Research Archive, a time series of 32,487 experiments in U.S. media, Scientific Data 8, 195. DOI: 10.1038/s41597-021-00934-7. Analýza Influence IQ používá průzkumnou podmnožinu a opravený popis zdroje. Původní článek kvalitativně vysvětluje, že redaktoři často netestovali všechny kombinace titulků a obrázků.
- Hlavní jmenovatel pro testy měnící oba prvky: 188 testů. Úplné matice: 31; neúplné: 157. Neúplná skupina obsahuje 75 s oběma typy srovnání, 30 pouze se srovnáním titulků, 45 pouze se srovnáním obrázků a 7 ani s jedním. Tedy 150/157 = 95,5 % zachovává alespoň 1 typ. „Srovnání“ označuje strukturální možnost, nikoli odhadnutý účinek nebo ověřený platný experiment.
- 3 uspořádání ateliéru jsou ilustrativní. Úplné uspořádání se 2 faktory a 2 úrovněmi obsahuje všechny 4 kombinace. Neúplný příklad vynechává A s obrázkem 2; diagonální příklad ponechává pouze A s obrázkem 1 a B s obrázkem 2. Samotné uspořádání se 4 buňkami nedokládá kvalitu přiřazení variant, dostatečnou velikost vzorku ani smysluplnou interakci. Příručka NIST vysvětluje úplná faktorová uspořádání a jejich kombinace.
- Oprava archivu z června 2024 uvádí možné potíže s randomizací od 25. června 2013 do 10. ledna 2014 a nedoporučuje používat toto období pro kauzální výzkum. Výslovně ponechává možnost jiného výzkumného využití. Naše hlavní analýza vylučuje každý test, jehož rozpětí dat vytvoření protíná tento interval; časové údaje neprokazují data expozice a jejich časové pásmo je neznámé. Strukturální kontrola všech období tyto záznamy ponechává.
- Kontrola citlivosti na bílé znaky odstraňuje bílé znaky na začátku a konci a slučuje vnitřní bílé znaky v textech titulků a úryvků, přičemž zachovává velikost písmen a interpunkci. 8 testů se stává způsobilými; 1 způsobilý test společný oběma výběrům mění strukturální zařazení. Jmenovatele se přepočítávají, místo aby zůstaly na hodnotě 188. Hlavní rozsah, rozsah s úpravou bílých znaků a rozsah všech období obsahují v tomto pořadí 188, 189 a 239 testů měnících oba prvky.
- Průzkumný soubor CSV s pevně určenou verzí je upworthy-archive-exploratory-packages-03.12.2020.csv, verze souboru OSF 1, 14 260 949 bajtů. Jeho SHA-256 je 8368313b060f4015a0c6fb34e6d788163cee29554144aba9390b14922eb9d8ce. Soubor neobsahuje aktualizovaný příznak problému, proto se časové omezení odvozuje samostatně. Článek popisuje text úryvku jako zobrazený; dokumentace archivu ho uvádí mezi poli, o nichž se nepředpokládá, že byla zobrazena. Ponechání stejného úryvku brání připisování rozdílů tomuto spornému poli.
- Cornell University zveřejňuje Upworthy Research Archive, související kód a dokumentaci pod licencí Creative Commons Attribution 4.0 International. Influence IQ poskytuje tuto odvozenou analýzu struktury; nevyplývá z ní podpora ze strany Upworthy ani autorů archivu. Analytický balíček obsahuje agregované výstupy, záznamy struktury testů, kód a přeložené pokyny pro reprodukci. Původní veřejná data získejte samostatně z archivu.
Zdrojovou verzí je anglický článek. Každá jazyková verze popisuje stejnou historickou průzkumnou podmnožinu Upworthy a stejná ilustrativní uspořádání. Překlad nedělá ze zjištění měřítko místního trhu ani současné platformy.