Multivariantní testování: co vám může říci test reklamních návrhů

Současná změna titulku a obrázku vám může pomoci vybrat hotový reklamní návrh. Chcete-li získat poznatky o jednotlivých prvcích, potřebujete jiné srovnání. Historická uspořádání testů Upworthy ukazují, kolik možností může zůstat, i když některé kombinace chybí.

Analýza Influence IQ průzkumné podmnožiny Upworthy Research Archive zahrnující experimenty na webu od začátku roku 2013 do dubna 2015. Hlavní srovnání obsahuje 188 způsobilých testů, které měnily text titulku i ID obrázků. Jde o přehled uspořádání testů, nikoli o analýzu kliknutí nebo výkonnosti kampaní.

Abstrakt

Neúplné multivariantní uspořádání může stále zachovat samostatná srovnání titulků nebo obrázků. Ze 188 způsobilých testů Upworthy, které měnily text titulku i ID obrázků, obsahovalo 31 každou kombinaci. Z ostatních 157 obsahovalo 150 alespoň 1 srovnání, při němž se titulek nebo obrázek neměnil; 75 obsahovalo oba druhy. Tyto počty popisují přítomné kombinace, nikoli to, zda testy přinesly spolehlivé či užitečné výsledky výkonnosti. [1]

Studie používá historickou průzkumnou podmnožinu webových experimentů od začátku roku 2013 do dubna 2015, ponechává text úryvku stejný a z hlavního rozsahu vylučuje dokumentované období možných potíží s přiřazováním variant. Zahrnutí tohoto období vede ke stejnému obecnému poučení: 180 ze 199 neúplných uspořádání zachovává alespoň 1 takové srovnání. Pro firmy a tvůrce je praktickou volbou sladit kombinace s otázkou: vybrat celý reklamní návrh, porovnat 1 prvek, nebo zkoumat, jak spolu 2 prvky působí.

Váš tým má připravené 2 verze kampaně. Jedna spojuje produktový obrázek s přímočarým titulkem; druhá používá jiný obrázek a konverzačnější titulek. Pokud jedna dosáhne lepších výsledků, co jste se dozvěděli?

Dobře provedené srovnání vám může pomoci vybrat mezi těmito hotovými verzemi. Samo o sobě neukazuje, která změna způsobila rozdíl. Multivariantní testování mění více než 1 prvek v sadě kombinací. Užitečnou výchozí otázkou je, s jakým rozhodnutím vám mají tyto kombinace pomoci.

Samotný počet verzí na tuto otázku neodpoví. 4 verze titulku spojené s 1 obrázkem umožní týmu v daném prostředí porovnat titulky. 2 titulky spojené se 2 obrázky také vytvoří 4 sestavy, pokud je zahrnuto každé párování, ale umožní jiná srovnání. Zapsání jednotlivých dvojic tento rozdíl zviditelní ještě před začátkem testu.

Hotový reklamní návrh obsahuje několik voleb

Koncepční ilustrace karet kampaně sestavených ze samostatných textových a obrazových modulů.
Koncepční ilustrace bez textu. Karty představují součásti reklamních návrhů, nikoli skutečné sestavy Upworthy, naměřené výsledky nebo rozhraní produktu.

Neúplná uspořádání často zachovávala užitečné srovnání

Zkoumali jsme kombinace titulků a obrázků uvnitř jednotlivých webových testů Upworthy. Z 3 212 testů splňujících pravidla hlavního rozsahu měnilo 188 oba prvky. Většina zbývajících testů měnila jen jeden z nich. Každý test jsme ponechali samostatný a započítali ho jednou bez ohledu na to, kolik lidí ho mohlo vidět. [2]

Jen 31 ze 188 obsahovalo každou kombinaci pozorovaných titulků a ID obrázků. Ostatních 157 tvořilo neúplné matice kombinací. To zní omezující, dokud se nezeptáte, jaká srovnání v těchto maticích zůstala. Z těchto 157 uspořádání mělo 75 jak srovnání titulků při stejném obrázku, tak srovnání obrázků při stejném titulku. Dalších 30 mělo jen první druh a 45 jen druhý. 7 nemělo ani jeden.

Celkem tedy 150 ze 157 neúplných uspořádání, neboli 95,5 %, zachovalo alespoň 1 způsob, jak porovnat prvek při neměnném druhém prvku. To nedokazuje, že některé srovnání mělo dostatečnou návštěvnost, řádné přiřazení variant nebo smysluplný výsledek. Ukazuje to však, proč je tvrzení „nebyla testována každá kombinace“ příliš obecným důvodem k odmítnutí uspořádání.

Tabulka uvádí úplná a neúplná uspořádání společně. Ze všech 188 obsahovalo 106 oba typy srovnání, 30 jen srovnání titulků, 45 jen srovnání obrázků a 7 ani jeden typ. „Oba“ znamená alespoň 1 od každého. Neznamená to, že lze každý titulek nebo obrázek porovnat za stejných podmínek.

Původní článek o archivu již vysvětluje, že redaktoři často volili sestavy bez testování všech možných kombinací. Naším přínosem je tento přehled srovnání, která jejich volby ponechaly k dispozici. Nemůžeme zpětně určit cíl každého redaktora ani posoudit, zda mu uspořádání vyhovělo. [1]

Většina uspořádání měnících oba prvky zachovávala srovnání jednotlivých prvků

188 způsobilých historických testů Upworthy měnících text titulku a ID obrázků, se stejným textem úryvku a stanoveným časovým omezením. Každý test má stejnou váhu.

Zobrazit hodnoty přehledu
Srovnání přítomná v uspořádáníTestyPodíl ze 188 testů
Srovnání titulků i obrázků10656,4 %
Pouze srovnání titulků3016,0 %
Pouze srovnání obrázků4523,9 %
Ani jedno srovnání jednotlivých prvků73,7 %
Tyto 4 kategorie rozdělují 188 testů. „Oba“ znamená alespoň 1 srovnání titulků při stejném obrázku a alespoň 1 srovnání obrázků při stejném titulku, nikoli každé možné srovnání. Počty popisují možnosti uspořádání, nikoli účinky, statistickou sílu nebo výsledky kampaně.

3 uspořádání odpovídají na různé otázky

Představte si keramický ateliér, který propaguje víkendový kurz. Má 2 titulky: A „Vyrobte si svou první keramickou misku“ a B „Stravte sobotu u hrnčířského kruhu“. Obrázek 1 ukazuje hotovou misku; obrázek 2 kruh. Jde o ilustrativní volby, nikoli o příklady Upworthy nebo naměřené výsledky kampaně. Při zvažování 3 možných uspořádání ponechte nabídku a ostatní zobrazený text stejný.

První, úplná matice obsahuje A s obrázkem 1, A s obrázkem 2, B s obrázkem 1 a B s obrázkem 2. Tým může porovnat titulky při neměnném obrázku 1 a pak stejné srovnání titulků provést s obrázkem 2. Může také porovnat obrázky u každého titulku. 4 buňky poskytují tyto možnosti; neurčují, kolik důkazů bude v každé buňce získáno.

Druhá, neúplná matice obsahuje A s obrázkem 1, B s obrázkem 1 a B s obrázkem 2. A s obrázkem 2 chybí. Tým může porovnat A a B při neměnném obrázku 1. Samostatně může porovnat obrázky při neměnném titulku B. Chybějící buňka tato 2 srovnání neruší.

Neúplná matice však ponechává jinou otázku bez odpovědi přímým srovnáním 4 buněk: vypadal by rozdíl mezi A a B stejně s obrázkem 2? Není k dispozici výsledek A s obrázkem 2, který by se dal použít. Tým také nemůže určit nejlepší ze všech 4 možných sestav jen tím, že vybere z těch 3, které pozoroval. Netestovaná sestava se mohla chovat jinak.

Třetí, diagonální uspořádání obsahuje pouze A s obrázkem 1 a B s obrázkem 2. Mezi těmito 2 sestavami nezůstává ani jeden prvek stejný. Platný test by stále mohl podpořit volbu mezi těmito 2 hotovými verzemi. Samotné toto srovnání by však samostatně neurčilo příspěvek titulku ani obrázku.

Mezi těmito uspořádáními není žádný univerzální vítěz. Pokud ateliér potřebuje pro konkrétní uvedení vybrat mezi 2 schválenými koncepty, může srovnání sestav jeho úkolu vyhovovat. Pokud chce znovu použít titulek u různých obrázků, potřebuje důkazy relevantní pro tuto širší volbu. Další kombinace mají své místo tehdy, když odpovídají na otázku, kterou tým skutečně má. [3]

3 ilustrativní uspořádání zahrnují různé kombinace

Fiktivní příklad keramického ateliéru se 2 titulky A a B a 2 obrázky 1 a 2. Tyto buňky ilustrují uspořádání, nejde o pozorování z archivu.

Zobrazit hodnoty přehledu
Kombinace titulku a obrázkuÚplná maticeNeúplná maticeDiagonální uspořádání
Titulek A + obrázek 1111
Titulek A + obrázek 2100
Titulek B + obrázek 1110
Titulek B + obrázek 2111
1 znamená zahrnuto; 0 znamená nezahrnuto. Úplné uspořádání má všechny 4 buňky. Neúplné uspořádání vynechává A s obrázkem 2. Diagonální uspořádání porovnává 2 sestavy, které se liší v obou prvcích. Nejsou jim přiřazeny žádné hodnoty výkonnosti.

Srovnání v každém směru není úplný test 2×2

Archiv tento rozdíl názorně ukazuje. Ze 106 uspořádání obsahujících oba typy srovnání nemělo 74 ani 1 úplný obdélník se 2 titulky a 2 obrázky. Uspořádání tedy může někde nabízet srovnání titulků a jinde srovnání obrázků, aniž by poskytovalo 4 buňky potřebné pro přímé srovnání jejich rozdílů.

Vraťme se k neúplné matici ateliéru. Srovnání A a B při obrázku 1 klade jednu otázku. Srovnání obrázku 1 a obrázku 2 u titulku B klade jinou. Ani jedno neříká, zda se při změně obrázku mění samotný rozdíl mezi titulky. Třetí otázka se týká interakce: zda vztah mezi jedním prvkem a odezvou závisí na druhém prvku.

V souboru 188 uspořádání obsahovalo 32 alespoň 1 úplný obdélník. Patří sem všech 31 úplných matic a 1 větší neúplná matice. Takový obdélník poskytuje prostor pro sestavení přímého interakčního kontrastu. Neukazuje, že interakce existuje, a není jediným možným základem pro zkoumání interakcí při jiných uspořádáních nebo modelových předpokladech.

U týmu kampaně patří tento rozdíl nejprve do zadání a teprve pak do statistického modelu. „Porovnejte tyto 2 titulky s tímto obrázkem“ je užší požadavek než „najděte titulek, který funguje napříč našimi obrázky“. Výsledek odpovídající na první otázku by se neměl nenápadně stát odpovědí na druhou.

Širší časové období vede ke stejnému poučení pro plánování

Hlavní přehled vylučuje testy, jejichž rozpětí dat vytvoření zasahuje do období od 25. června 2013 do 10. ledna 2014. Výzkumníci archivu v tomto období zjistili možné potíže s přiřazováním variant. Tyto obavy jsou důležité pro výzkum příčin a následků; nečiní však záznamy kombinací nepoužitelnými pro strukturální přehled. Proto jsme srovnání zopakovali i se zahrnutím tohoto období. [4]

Širší rozsah obsahuje 239 testů měnících oba prvky. 40 obsahuje každou kombinaci, zatímco 199 je neúplných. Mezi těmito neúplnými uspořádáními zachovává 180, neboli 90,5 %, alespoň 1 srovnání při zachování 1 prvku beze změny a 93, neboli 46,7 %, zachovává oba druhy. Odpovídající hodnoty hlavního rozsahu jsou 95,5 % a 47,8 %. Přesné podíly se mění, ale neúplná uspořádání stále běžně zachovávají konkrétní srovnání.

Ověřili jsme také volbu při zpracování textu. Hlavní analýza porovnává řetězce titulků a úryvků přesně. Odstranění bílých znaků na okrajích a sloučení opakovaných bílých znaků dává 189 testů měnících oba prvky, z nichž 31 má úplnou matici, 108 obsahuje oba typy srovnání a 32 úplný obdélník. Tato kontrola mění, která uspořádání splňují kritéria, proto jsou její počty uvedeny s vlastním jmenovatelem. [5]

Medián pokrytí je ve všech 3 rozsazích 50 %. Pokrytí je počet pozorovaných kombinací titulků a obrázků vydělený počtem možných kombinací při použití titulků a ID obrázků pozorovaných v daném testu. Medián je popis, nikoli hodnocení kvality. Chybějící kombinace mohla být nerelevantní, nevhodná nebo mimo zamýšlené srovnání redaktora; archiv nedává odpověď na to, proč byla vynechána.

Změna rozsahu zachovává rozdíl mezi pokrytím a srovnáními

Všechny sloupce počítají testy a každý řádek používá vlastní jmenovatel testů měnících oba prvky. Kontrola zpracování textu ponechává hlavní časové omezení; kontrola všech období zachovává přesné zpracování textu.

Zobrazit hodnoty přehledu
Rozsah analýzyTesty měnící oba prvkyÚplné maticeOba typy srovnáníAlespoň 1 úplné uspořádání 2×2
Hlavní rozsah: přesný text, časové omezení1883110632
Text s normalizovanými bílými znaky, časové omezení1893110832
Přesný text, všechna období zahrnuta2394013342
Tyto sloupce se překrývají a nesmějí se sčítat. Každá úplná matice obsahuje oba typy srovnání i úplné uspořádání 2×2, opačné tvrzení však neplatí. Přehled všech období je pouze strukturální; zahrnutí dokumentovaného období rizika přiřazování variant neznamená schválení kauzální analýzy.

Zadání příštího testu postavte na rozhodnutí

U keramického ateliéru začněte rozhodnutím, co se stane po testu. Vybere tým jednu hotovou propagaci kurzu, ponechá 1 obrázek a upraví jeho titulek, nebo přenese titulek do několika budoucích návrhů? Každé rozhodnutí vyžaduje jinou sadu srovnání. Větší matice není automaticky lepším využitím úsilí týmu.

Pokud se rozhodnutí týká hotových sestav, vypište je bez příslibu vysvětlení každé součásti. Pokud se týká titulku, určete obrázek, který zůstane stejný. Potřebuje-li tým zkoumat, zda se rozdíl mezi titulky mění napříč 2 obrázky, zahrňte příslušné 4 kombinace nebo si zajistěte odůvodněné alternativní uspořádání. Tento krok oddělte od volby ukazatele odezvy, rozdělení do variant a období pozorování.

Než navržené kombinace přidáte, ověřte, zda dávají smysl. Titulek pro konkrétní nabídku může patřit jen k 1 produktovému obrázku. Vytvoření nevhodné dvojice jen kvůli zaplnění matice by změnilo úkol. Tým může místo toho zúžit otázku nebo vytvořit verze, které lze smysluplně spojit. Úplná matice je užitečná, když její srovnání slouží rozhodnutí, nikoli proto, že zaplněná tabulka působí důkladněji.

Následující pole použijte jako krátké plánovací zadání. Text v hranatých závorkách je určen pro vaši vlastní kampaň, nejde o zjištění z této studie.

Rozhodnutí po testu: [vybrat hotovou sestavu; porovnat určený prvek ve stanoveném prostředí; zkoumat stanovenou kombinaci prvků].

Prvky a verze: [přesné texty titulků; soubory obrázků nebo stálá ID; veškerý další měnící se obsah].

Zahrnuté sestavy: [dvojice titulku a obrázku, které se budou skutečně zobrazovat].

Potřebná srovnání: [které dvojice ponechávají jeden prvek stejný; které 4 buňky podporují otázku interakce, pokud je relevantní].

Plán získání podkladů: [ukazatel odezvy; publikum a přiřazení variant; podmínky expozice; plánované pozorování a pravidlo vyhodnocení].

Hranice závěru: [co by uspořádání mohlo podpořit; které netestované kombinace nebo podmínky zůstávají mimo rozhodnutí].

Například ateliér používající neúplné uspořádání se 3 buňkami může napsat: „Porovnáme titulky při obrázku 1 a obrázky při titulku B. Titulek A s obrázkem 2 netestujeme.“ Tato věta ponechává viditelné 2 užitečné otázky i chybějící srovnání, aniž by uspořádání prohlašovala za nedostatečné.

Stejné rozlišení může využít tvůrce připravující práci pro klienta při diskusi o upraveném náhledu a názvu. Otázkou je, kterou verzi nebo prvek chce klient vybrat. Naše počty však pocházejí z webu vydavatele a neurčují, jak současná sociální platforma přiřazuje nebo měří reklamní varianty.

Otázku ponechte vedle kombinací

3 ilustrované podnosy ukazují různé dvojice hotových reklamních návrhů, srovnání titulků při stejném obrázku a matici kombinací se 4 kartami.
  1. Vybrat hotový reklamní návrh

    Porovnejte sestavy, které přicházejí v úvahu pro dané rozhodnutí.

  2. Porovnat 1 prvek

    Při potřebném srovnání ponechte druhý prvek stejný.

  3. Prozkoumat párování

    Zahrňte kombinace potřebné pro zkoumání otázky, zda se rozdíl mezi titulky mění napříč obrázky.

Koncepční ilustrace 3 voleb při plánování. Karty neobsahují výsledky výkonnosti; přesné kombinace z rozebraného příkladu jsou uvedeny v přístupné tabulce.

Jak vznikl přehled uspořádání testů

Zdrojem je veřejně zveřejněný průzkumný soubor Upworthy Research Archive, který popsali J. Nathan Matias, Kevin Munger, Marianne Aubin Le Quere a Charles Ebersole. Obsahuje 22 666 řádků sestav seskupených do 4 873 testů z historického archivu z let 2013–2015. Použili jsme titulek, identifikátor obrázku, úryvek, identifikátor testu, čas vytvoření a index řádku archivu. Kliknutí, zobrazení ani redakční výběry jsme nepoužili. [1] [6]

Kontrola strukturální proveditelnosti předcházela konečnému plánu auditu uspořádání a pomohla vymezit jeho otázku. Audit je proto průzkumnou opětovnou analýzou, nikoli předem registrovanou potvrzující studií. Stanovená pravidla ponechávají testy s použitelnými strukturálními poli, uplatňují hlavní časové omezení a vyžadují totožný text úryvku napříč sestavami. Omezení na shodný úryvek je konzervativní, protože článek a dokumentace archivu se rozcházejí v tom, zda bylo toto pole zobrazeno. [6]

Tabulka výběru ukazuje postupná vyloučení a poté rozdělení způsobilých testů. U 5 testů chybí titulek nebo ID obrázku; dalších 1 050 pak nesplňuje pravidlo časového rozsahu a 606 má různé úryvky. Ponechaných 3 212 testů zahrnuje 1 624 měnících pouze titulky, 1 078 měnících pouze ID obrázků, 188 měnících obojí a 322 s jedinou pozorovanou kombinací. Poslední kategorie stále může obsahovat více zdrojových řádků.

V rámci testu se opakované shodné dvojice titulku a obrázku počítají jako jedna buňka uspořádání. 5 ze 188 testů měnících oba prvky obsahuje opakované buňky. Úplná matice obsahuje každé spárování řetězců titulků a ID obrázků pozorovaných v daném testu. Různé řetězce nemusí vyjadřovat různé myšlenky a různá ID obrázků nemusí představovat viditelně odlišné obrázky; obrazové soubory nejsou dostupné.

Výsledky přisuzují stejnou váhu uspořádáním, nikoli lidem, zobrazením nebo firmám. Nedokládají současnou marketingovou praxi, výkonnost ani statistickou sílu. Soubory ke stažení poskytují souhrnné výsledky a metodu reprodukce včetně obou kontrol rozsahu, aby si čtenáři mohli prohlédnout rozdíl mezi pozorovanou kombinací a závěrem, který z ní někdo vyvozuje. [7]

Hlavní srovnání začíná u 188 z 3 212 způsobilých testů

Výběr z 4 873 testů ve veřejném průzkumném souboru. Vyloučení se uplatňují v uvedeném pořadí. 4 konečné kategorie uspořádání rozdělují 3 212 způsobilých testů.

Zobrazit fáze výběru a všechny způsobilé kategorie
Zobrazit hodnoty přehledu
Fáze výběru nebo kategorie způsobilého uspořádáníTesty
Výchozí průzkumné testy4 873
Vyloučeno: chybí titulek nebo ID obrázku5
Vyloučeno: stanovený interval dat vytvoření1 050
Dále vyloučeno: různý text úryvku606
Způsobilé po vyloučeních3 212
Způsobilé: titulek se mění, obrázek zůstává stejný1 624
Způsobilé: obrázek se mění, titulek zůstává stejný1 078
Způsobilé: mění se titulek i obrázek188
Způsobilé: 1 pozorovaná kombinace322
Čtěte jako posloupnost a poté rozdělení: 4 873 minus 5 minus 1 050 minus 606 je 3 212. Součet 1 624 testů pouze s měnícími se titulky, 1 078 pouze s měnícími se obrázky, 188 měnících oba prvky a 322 s jedinou kombinací je 3 212. Nesčítejte všechny řádky. Žádný test nepropadl kontrole minimálního počtu variant ani zpracování data.

CSV obsahuje 41 hodnot ze 4 grafů; ilustrační buňky návrhu jsou označené odděleně od pozorovaných počtů a podílů. ZIP obsahuje agregované výsledky, záznamy struktury testů a analytický kód. Součástí jsou přeložené pokyny pro reprodukci; původní veřejný archiv si stáhněte samostatně. Výsledky kliknutí ani zobrazení nejsou zahrnuty.

Zdroje a poznámky

  1. Matias, J. Nathan; Munger, Kevin; Aubin Le Quere, Marianne; a Ebersole, Charles (2021), The Upworthy Research Archive, a time series of 32,487 experiments in U.S. media, Scientific Data 8, 195. DOI: 10.1038/s41597-021-00934-7. Analýza Influence IQ používá průzkumnou podmnožinu a opravený popis zdroje. Původní článek kvalitativně vysvětluje, že redaktoři často netestovali všechny kombinace titulků a obrázků.
  2. Hlavní jmenovatel pro testy měnící oba prvky: 188 testů. Úplné matice: 31; neúplné: 157. Neúplná skupina obsahuje 75 s oběma typy srovnání, 30 pouze se srovnáním titulků, 45 pouze se srovnáním obrázků a 7 ani s jedním. Tedy 150/157 = 95,5 % zachovává alespoň 1 typ. „Srovnání“ označuje strukturální možnost, nikoli odhadnutý účinek nebo ověřený platný experiment.
  3. 3 uspořádání ateliéru jsou ilustrativní. Úplné uspořádání se 2 faktory a 2 úrovněmi obsahuje všechny 4 kombinace. Neúplný příklad vynechává A s obrázkem 2; diagonální příklad ponechává pouze A s obrázkem 1 a B s obrázkem 2. Samotné uspořádání se 4 buňkami nedokládá kvalitu přiřazení variant, dostatečnou velikost vzorku ani smysluplnou interakci. Příručka NIST vysvětluje úplná faktorová uspořádání a jejich kombinace.
  4. Oprava archivu z června 2024 uvádí možné potíže s randomizací od 25. června 2013 do 10. ledna 2014 a nedoporučuje používat toto období pro kauzální výzkum. Výslovně ponechává možnost jiného výzkumného využití. Naše hlavní analýza vylučuje každý test, jehož rozpětí dat vytvoření protíná tento interval; časové údaje neprokazují data expozice a jejich časové pásmo je neznámé. Strukturální kontrola všech období tyto záznamy ponechává.
  5. Kontrola citlivosti na bílé znaky odstraňuje bílé znaky na začátku a konci a slučuje vnitřní bílé znaky v textech titulků a úryvků, přičemž zachovává velikost písmen a interpunkci. 8 testů se stává způsobilými; 1 způsobilý test společný oběma výběrům mění strukturální zařazení. Jmenovatele se přepočítávají, místo aby zůstaly na hodnotě 188. Hlavní rozsah, rozsah s úpravou bílých znaků a rozsah všech období obsahují v tomto pořadí 188, 189 a 239 testů měnících oba prvky.
  6. Průzkumný soubor CSV s pevně určenou verzí je upworthy-archive-exploratory-packages-03.12.2020.csv, verze souboru OSF 1, 14 260 949 bajtů. Jeho SHA-256 je 8368313b060f4015a0c6fb34e6d788163cee29554144aba9390b14922eb9d8ce. Soubor neobsahuje aktualizovaný příznak problému, proto se časové omezení odvozuje samostatně. Článek popisuje text úryvku jako zobrazený; dokumentace archivu ho uvádí mezi poli, o nichž se nepředpokládá, že byla zobrazena. Ponechání stejného úryvku brání připisování rozdílů tomuto spornému poli.
  7. Cornell University zveřejňuje Upworthy Research Archive, související kód a dokumentaci pod licencí Creative Commons Attribution 4.0 International. Influence IQ poskytuje tuto odvozenou analýzu struktury; nevyplývá z ní podpora ze strany Upworthy ani autorů archivu. Analytický balíček obsahuje agregované výstupy, záznamy struktury testů, kód a přeložené pokyny pro reprodukci. Původní veřejná data získejte samostatně z archivu.

Zdrojovou verzí je anglický článek. Každá jazyková verze popisuje stejnou historickou průzkumnou podmnožinu Upworthy a stejná ilustrativní uspořádání. Překlad nedělá ze zjištění měřítko místního trhu ani současné platformy.

Propojte otázku testu s plánem kampaně