Testare multivariată: ce poți afla dintr-un test al materialelor creative

Schimbarea simultană a titlului și a imaginii te poate ajuta să alegi un material creativ complet. Pentru a afla ceva despre fiecare element, ai nevoie de alt tip de comparație. Configurațiile istorice ale testelor Upworthy arată câte posibilități pot rămâne chiar și atunci când lipsesc unele combinații.

Analiză Influence IQ a subsetului exploratoriu din Upworthy Research Archive, care acoperă experimente pe site din prima parte a anului 2013 până în aprilie 2015. Comparația principală cuprinde 188 de teste eligibile în care variau atât textul titlului, cât și ID-urile imaginilor. Este un inventar al configurațiilor de testare, nu o analiză a clicurilor sau a performanței campaniilor.

Rezumat

O configurație multivariată incompletă poate păstra comparații separate între titluri sau între imagini. Dintre cele 188 de teste Upworthy eligibile în care variau atât textul titlului, cât și ID-urile imaginilor, 31 conțineau fiecare combinație. Dintre celelalte 157, 150 conțineau cel puțin 1 comparație în care se păstra același titlu sau aceeași imagine; 75 conțineau ambele tipuri. Aceste efective descriu combinațiile prezente, dar nu arată dacă testele au produs rezultate de performanță fiabile sau utile. [1]

Studiul folosește un subset exploratoriu istoric de experimente pe site din prima parte a anului 2013 până în aprilie 2015, menține constant textul fragmentului și exclude din sfera principală o perioadă documentată cu posibile probleme de repartizare. Includerea acestei perioade duce la aceeași concluzie generală: 180 dintre cele 199 de configurații incomplete păstrează cel puțin 1 astfel de comparație. Pentru firme și creatori, alegerea practică este să potrivească combinațiile cu întrebarea: vor să aleagă un material creativ complet, să compare 1 element sau să examineze cum funcționează împreună 2 elemente?

Echipa ta are pregătite 2 variante ale unei campanii. Una combină o imagine a produsului cu un titlu direct; cealaltă folosește altă imagine și un titlu mai conversațional. Dacă una obține rezultate mai bune, ce vei fi aflat?

O comparație bine realizată te poate ajuta să alegi între acele variante complete. Prin ea însăși, nu arată care schimbare a produs diferența. Testarea multivariată variază mai mult de 1 element într-un set de combinații. Întrebarea utilă de la care să pornești este ce vrei să te ajute acele combinații să decizi.

Numărul variantelor nu răspunde singur la această întrebare. 4 variante de titlu combinate cu 1 imagine permit echipei să compare titlurile în acel context. 2 titluri combinate cu 2 imagini dau tot 4 variante complete când este inclusă fiecare pereche, dar permit comparații diferite. Notarea perechilor face vizibilă această distincție înainte de începerea testului.

Un material creativ complet cuprinde mai multe alegeri

Ilustrație conceptuală a unor cartonașe de campanie asamblate din module separate de text și imagine.
Ilustrație conceptuală fără text. Cartonașele reprezintă componente creative, nu variante Upworthy reale, rezultate măsurate sau o interfață de produs.

Configurațiile incomplete păstrau adesea o comparație utilă

Am examinat combinațiile de titlu și imagine din fiecare test Upworthy pe site. Din cele 3.212 teste care îndeplineau criteriile sferei principale, în 188 variau ambele elemente. Majoritatea testelor rămase variau doar unul dintre ele. Am păstrat testele separate și l-am numărat pe fiecare o singură dată, indiferent câte persoane l-ar fi putut vedea. [2]

Doar 31 dintre cele 188 conțineau fiecare combinație dintre titlurile și ID-urile imaginilor observate în test. Celelalte 157 erau grile incomplete. Poate părea o restricție, până când te întrebi ce comparații mai erau posibile în acele grile. Dintre cele 157 de configurații, 75 aveau atât o comparație între titluri cu aceeași imagine, cât și o comparație între imagini cu același titlu. Alte 30 aveau doar primul tip, iar 45 doar al doilea. 7 nu aveau niciunul.

În total, 150 dintre cele 157 de configurații incomplete, adică 95,5 %, păstrau cel puțin 1 mod de a compara un element menținându-l pe celălalt neschimbat. Aceasta nu dovedește că vreo comparație a avut suficient trafic, o repartizare corectă sau un rezultat relevant. Arată însă de ce „nu a fost testată fiecare combinație” este un motiv prea general pentru a respinge o configurație.

Tabelul prezintă împreună configurațiile complete și incomplete. Din toate cele 188, 106 conțineau ambele tipuri de comparație, 30 doar comparații între titluri, 45 doar comparații între imagini și 7 niciunul dintre aceste tipuri. „Ambele” înseamnă cel puțin 1 comparație din fiecare tip. Nu înseamnă că se poate compara fiecare titlu sau fiecare imagine în condiții echivalente.

Articolul original despre arhivă explică deja că editorii alegeau adesea variante fără să testeze toate combinațiile posibile. Contribuția noastră este acest inventar al comparațiilor pe care alegerile respective le-au lăsat disponibile. Nu putem reconstrui obiectivul fiecărui editor sau judeca dacă o configurație l-a îndeplinit. [1]

Majoritatea configurațiilor care schimbau ambele elemente păstrau o comparație între variantele unui element

188 de teste Upworthy istorice eligibile în care variau textul titlului și ID-urile imaginilor, cu textul fragmentului constant și restricția de dată specificată. Fiecare test are aceeași pondere.

Vezi valorile figurii
Comparații prezente în configurațieTesteProporție din 188 de teste
Comparații între titluri și între imagini10656,4 %
Doar comparații între titluri3016,0 %
Doar comparații între imagini4523,9 %
Fără comparații între variantele unui element73,7 %
Cele 4 categorii împart cele 188 de teste fără suprapunere. „Ambele” înseamnă cel puțin 1 comparație între titluri cu aceeași imagine și cel puțin 1 comparație între imagini cu același titlu, nu fiecare comparație posibilă. Efectivele descriu posibilități ale configurațiilor, nu efecte, putere statistică sau rezultate ale campaniilor.

3 configurații răspund la întrebări diferite

Imaginează-ți un atelier de ceramică ce promovează un curs practic de weekend. Are 2 titluri: A, „Creează-ți primul bol din ceramică”, și B, „Petrece sâmbăta la roata olarului”. Imaginea 1 arată un bol terminat; imaginea 2 arată roata. Sunt alegeri ilustrative, nu exemple Upworthy sau rezultate măsurate ale unei campanii. Menține aceeași ofertă și păstrează neschimbat restul textului afișat când iei în calcul 3 configurații posibile.

Mai întâi, grila completă conține A cu imaginea 1, A cu imaginea 2, B cu imaginea 1 și B cu imaginea 2. Echipa poate compara titlurile păstrând imaginea 1 neschimbată, apoi poate face aceeași comparație între titluri cu imaginea 2. Poate compara și imaginile sub fiecare titlu. 4 celule oferă aceste posibilități; nu stabilesc cât de multe dovezi vor fi strânse în fiecare celulă.

În al doilea rând, grila parțială conține A cu imaginea 1, B cu imaginea 1 și B cu imaginea 2. A cu imaginea 2 lipsește. Echipa poate compara A și B menținând imaginea 1 neschimbată. Separat, poate compara imaginile menținând titlul B neschimbat. Celula lipsă nu elimină aceste 2 comparații.

Grila parțială lasă însă fără răspuns, printr-o comparație directă cu 4 celule, o altă întrebare: diferența dintre A și B ar arăta la fel cu imaginea 2? Nu există un rezultat pentru A cu imaginea 2 care să poată fi folosit. Echipa nu poate nici să identifice cea mai bună dintre toate cele 4 variante posibile doar alegând dintre cele 3 pe care le-a observat. Varianta netestată s-ar putea comporta diferit.

În al treilea rând, configurația diagonală conține doar A cu imaginea 1 și B cu imaginea 2. Niciun element nu rămâne neschimbat între cele 2 variante complete. Un test valid ar putea susține în continuare alegerea între acele 2 variante finale. Această comparație singură nu ar identifica separat contribuția titlului sau a imaginii.

Nicio configurație nu este universal cea mai bună. Dacă atelierul trebuie să aleagă între 2 concepte aprobate pentru o anumită lansare, compararea variantelor complete poate fi potrivită. Dacă vrea să refolosească un titlu cu imagini diferite, are nevoie de dovezi relevante pentru acea alegere mai largă. Combinațiile suplimentare își justifică locul atunci când răspund la o întrebare pe care echipa chiar o are. [3]

3 configurații ilustrative includ combinații diferite

Un exemplu fictiv al unui atelier de ceramică, cu 2 titluri, A și B, și 2 imagini, 1 și 2. Aceste celule ilustrează configurații, nu sunt observații din arhivă.

Vezi valorile figurii
Combinație titlu–imagineGrilă completăGrilă parțialăConfigurație diagonală
Titlul A + imaginea 1111
Titlul A + imaginea 2100
Titlul B + imaginea 1110
Titlul B + imaginea 2111
1 înseamnă că perechea este inclusă; 0 înseamnă că nu este inclusă. Configurația completă are toate cele 4 celule. Cea parțială omite A cu imaginea 2. Configurația diagonală compară 2 variante care diferă în ambele elemente. Nu sunt atribuite valori de performanță.

O comparație în fiecare direcție nu înseamnă un test 2×2 complet

Arhiva ilustrează concret această distincție. Dintre cele 106 configurații care conțineau ambele tipuri de comparație, 74 nu conțineau nici măcar 1 dreptunghi complet cu 2 titluri și 2 imagini. O configurație poate deci să permită o comparație între titluri într-un loc și una între imagini în alt loc, fără să ofere cele 4 celule necesare pentru compararea directă a diferențelor dintre ele.

Revino la grila parțială a atelierului. Comparația dintre A și B folosind imaginea 1 urmărește să răspundă la o întrebare. Comparația dintre imaginea 1 și imaginea 2 sub titlul B urmărește să răspundă la alta. Niciuna nu ne spune dacă diferența dintre titluri se schimbă atunci când se schimbă imaginea. A treia întrebare privește o interacțiune: dacă relația dintre un element și răspuns depinde de celălalt element.

În setul de 188 de configurații, 32 conțineau cel puțin 1 dreptunghi complet. Aici intră toate cele 31 de grile complete și 1 grilă incompletă mai mare. Prezența unui asemenea dreptunghi oferă un cadru pentru formularea unui contrast direct de interacțiune. Nu arată că există o interacțiune și nu este singura bază posibilă pentru studierea interacțiunilor cu alte configurații sau ipoteze de modelare.

Pentru o echipă de campanie, distincția își are locul în brief înainte de a ajunge într-un model statistic. „Compară aceste 2 titluri cu această imagine” este o cerință mai restrânsă decât „găsește un titlu care funcționează cu imaginile noastre”. Un rezultat care răspunde primei întrebări nu ar trebui să devină pe nesimțite răspunsul la a doua.

O perioadă mai largă duce la aceeași concluzie pentru planificare

Inventarul principal exclude testele al căror interval al datelor de creare se intersectează cu perioada 25 iunie 2013–10 ianuarie 2014. Cercetătorii arhivei au identificat posibile probleme de repartizare în acea perioadă. Aceste îngrijorări contează pentru cercetarea cauzală; nu fac înregistrările combinațiilor inutilizabile pentru un inventar structural. Am repetat, așadar, comparația incluzând și această perioadă. [4]

Sfera extinsă cuprinde 239 de teste în care variază ambele elemente. 40 conțin fiecare combinație, iar 199 sunt incomplete. Dintre configurațiile incomplete, 180, adică 90,5 %, păstrează cel puțin 1 comparație în care 1 element rămâne neschimbat, iar 93, adică 46,7 %, păstrează ambele tipuri. Valorile corespunzătoare din sfera principală sunt 95,5 % și 47,8 %. Proporțiile exacte se schimbă, dar configurațiile incomplete continuă adesea să permită o comparație specifică.

Am verificat și o alegere privind prelucrarea textului. Analiza principală compară exact șirurile de text ale titlurilor și fragmentelor. Eliminarea caracterelor de spațiere de la capete și comprimarea spațierii repetate duc la 189 de teste în care variază ambele elemente, cu 31 de grile complete, 108 care conțin ambele tipuri de comparație și 32 care conțin un dreptunghi complet. Această verificare schimbă configurațiile eligibile, așa că efectivele sunt prezentate cu propriul numitor. [5]

Mediana acoperirii este de 50 % în toate cele 3 sfere ale analizei. Acoperirea este numărul combinațiilor titlu–imagine observate împărțit la numărul combinațiilor posibile între titlurile și ID-urile imaginilor observate în acel test. Mediana este o descriere, nu un scor al calității. O combinație lipsă putea fi irelevantă, nepotrivită sau în afara comparației intenționate de editor; arhiva nu stabilește de ce a fost omisă.

Schimbarea sferei analizei păstrează distincția dintre acoperire și comparații

Toate coloanele numără teste, iar fiecare rând folosește ca numitor numărul testelor în care variază ambele elemente din sfera respectivă a analizei. Verificarea prelucrării textului păstrează restricția principală de dată; verificarea cu toate perioadele păstrează tratarea exactă a textului.

Vezi valorile figurii
Sfera analizeiTeste în care variază ambele elementeGrile completeAmbele tipuri de comparațieCel puțin 1 dreptunghi 2×2 complet
Sfera principală: text exact, restricție de dată1883110632
Text cu spațiere normalizată, restricție de dată1893110832
Text exact, toate perioadele incluse2394013342
Aceste coloane se suprapun și nu trebuie adunate. Fiecare grilă completă conține ambele tipuri de comparație și un 2×2 complet, dar reciproca nu rezultă. Inventarul cu toate perioadele este strict structural; includerea perioadei cu risc documentat privind repartizarea nu reprezintă o aprobare pentru analiza cauzală.

Pornește de la decizie când scrii brief-ul următorului test

Pentru atelierul de ceramică, începe prin a decide ce se va întâmpla după test. Echipa va alege o variantă completă de promovare a cursului, va păstra 1 imagine și va revizui titlul asociat sau va folosi un titlu în mai multe configurații viitoare? Fiecare decizie cere alt set de comparații. O grilă mai mare nu folosește automat mai bine efortul echipei.

Dacă decizia privește variantele complete, enumeră-le fără să promiți o explicație pentru fiecare componentă. Dacă privește un titlu, precizează imaginea care va rămâne neschimbată. Dacă echipa trebuie să examineze dacă diferența dintre titluri se schimbă între 2 imagini, include cele 4 combinații relevante sau obține o configurație alternativă justificată. Separă această alegere de stabilirea măsurii de răspuns, a repartizării și a perioadei de observare.

Verifică dacă au sens combinațiile propuse înainte de a le adăuga. Un titlu pentru o anumită ofertă se poate potrivi doar cu 1 imagine a produsului. Crearea unei perechi nepotrivite doar pentru a umple grila ar schimba sarcina. Echipa poate în schimb să restrângă întrebarea sau să dezvolte variante care pot fi combinate firesc. O grilă completă este utilă când comparațiile sale servesc deciziei, nu fiindcă un tabel completat pare mai riguros.

Folosește câmpurile următoare ca brief scurt de planificare. Textul dintre parantezele drepte este pentru propria campanie, nu un rezultat al acestui studiu.

Decizia de după test: [alege o variantă completă; compară un element numit într-un context specificat; examinează o anumită combinație de elemente].

Elemente și variante: [textele exacte ale titlurilor; fișierele imaginilor sau ID-uri stabile; orice alt conținut care se schimbă].

Variante incluse: [perechile titlu–imagine care vor fi afișate efectiv].

Comparații necesare: [care perechi păstrează un element neschimbat; care 4 celule susțin întrebarea despre interacțiune, dacă este relevantă].

Plan de colectare a dovezilor: [măsura de răspuns; publicul și repartizarea; condițiile de expunere; perioada de observare planificată și regula de revizuire].

Limitele concluziei: [ce ar putea susține configurația; ce combinații sau contexte netestate rămân în afara deciziei].

De exemplu, un atelier care folosește configurația parțială cu 3 celule poate scrie: „Vom compara titlurile cu imaginea 1 și vom compara imaginile cu titlul B. Nu testăm titlul A cu imaginea 2.” Fraza păstrează vizibile 2 întrebări utile și comparația lipsă fără a declara configurația nepotrivită.

Un creator care pregătește materiale pentru un client poate folosi aceeași distincție când discută o miniatură și un titlu revizuite. Întrebarea este ce variantă sau element vrea clientul să aleagă. Cifrele noastre provin însă de pe site-ul unei publicații și nu stabilesc cum repartizează sau măsoară o platformă socială actuală variantele creative.

Păstrează întrebarea lângă combinații

3 tăvi ilustrate arată perechi diferite de materiale creative complete, o comparație între titluri cu aceeași imagine și o grilă de combinații cu 4 cartonașe.
  1. Alege un material creativ complet

    Compară variantele pe care le iei în calcul pentru decizie.

  2. Compară 1 element

    Păstrează celălalt element neschimbat în comparația de care ai nevoie.

  3. Examinează combinația

    Include combinațiile necesare ca să examinezi dacă diferența dintre titluri se schimbă între imagini.

Ilustrație conceptuală a 3 alegeri de planificare. Cartonașele nu conțin rezultate de performanță; combinațiile exacte din exemplul prezentat sunt enumerate în tabelul accesibil.

Cum a fost construit inventarul configurațiilor

Sursa este fișierul exploratoriu public al Upworthy Research Archive, descris de J. Nathan Matias, Kevin Munger, Marianne Aubin Le Quere și Charles Ebersole. Conține 22.666 de rânduri pentru variante creative, grupate în 4.873 de teste din arhiva istorică 2013–2015. Am folosit titlul, identificatorul imaginii, fragmentul de text, identificatorul testului, marcajul temporal al creării și indicele rândului din arhivă. Nu am folosit clicuri, afișări sau alegeri editoriale. [1] [6]

O verificare a fezabilității structurale a precedat planul final al auditului configurațiilor și a contribuit la formularea întrebării. Auditul este, așadar, o reanaliză exploratorie, nu un studiu confirmatoriu preînregistrat. Regulile specificate păstrează testele cu câmpuri structurale utilizabile, aplică restricția principală de dată și cer ca textul fragmentului să fie identic între variantele lor. Cerința privind fragmentul este conservatoare, deoarece articolul și documentația arhivei nu concordă cu privire la afișarea acestui câmp. [6]

Tabelul selecției arată excluderile succesive, urmate de o repartizare a testelor eligibile pe categorii. 5 teste au titlul sau ID-ul imaginii lipsă; apoi 1.050 nu îndeplinesc regula privind perioada și 606 au fragmente de text care variază. Cele 3.212 teste păstrate includ 1.624 în care variază doar titlurile, 1.078 în care variază doar ID-urile imaginilor, 188 în care variază ambele și 322 cu o singură combinație observată. Ultima categorie poate conține totuși mai multe rânduri din sursă.

Într-un test, perechile identice titlu–imagine repetate sunt numărate o singură dată drept celule ale configurației. 5 dintre cele 188 de teste în care variază ambele elemente conțin celule repetate. O grilă completă conține fiecare pereche posibilă dintre șirurile titlurilor și ID-urile imaginilor observate în acel test. Șiruri diferite nu exprimă neapărat idei diferite, iar ID-uri diferite de imagine nu reprezintă neapărat imagini care arată diferit; fișierele imaginilor nu sunt disponibile.

Rezultatele acordă aceeași greutate configurațiilor, nu persoanelor, afișărilor sau firmelor. Nu stabilesc practica actuală de marketing, performanța sau puterea statistică. Fișierele descărcabile oferă rezultatele agregate și metoda de reproducere, inclusiv ambele verificări privind sfera analizei, pentru ca cititorii să poată examina distincția dintre o combinație observată și o concluzie trasă din ea. [7]

Comparația principală pornește de la 188 dintre cele 3.212 teste eligibile

Selecție din cele 4.873 de teste ale fișierului exploratoriu public. Excluderile se aplică în ordinea afișată. Cele 4 categorii finale de configurații împart cele 3.212 teste eligibile fără suprapunere.

Vezi etapele selecției și toate categoriile eligibile
Vezi valorile figurii
Etapă a selecției sau categorie a configurației eligibileTeste
Teste exploratorii inițiale4.873
Excluse: lipsește titlul sau ID-ul imaginii5
Excluse: intervalul specificat al datelor de creare1.050
Excluse apoi: textul fragmentului variază606
Eligibile după excluderi3.212
Eligibile: titlul variază, imaginea rămâne neschimbată1.624
Eligibile: imaginea variază, titlul rămâne neschimbat1.078
Eligibile: variază atât titlul, cât și imaginea188
Eligibile: 1 combinație observată322
Citește mai întâi succesiunea, apoi împărțirea pe categorii: 4.873 minus 5 minus 1.050 minus 606 este egal cu 3.212. Cele 1.624 de teste cu variație doar a titlului, 1.078 doar a imaginii, 188 a ambelor și 322 cu o singură combinație însumează 3.212. Nu aduna toate rândurile. Niciun test nu a fost exclus la verificarea numărului minim de înregistrări de variante sau la cea de interpretare a datelor calendaristice.

Fișierul CSV include 41 de valori din cele 4 figuri, cu celulele ilustrative ale planului experimental etichetate separat de efectivele și proporțiile observate. Arhiva ZIP conține rezultate agregate, înregistrări ale testelor structurale și cod de analiză. Sunt incluse instrucțiuni traduse pentru reproducere; descarcă separat arhiva publică originală. Nu sunt incluse rezultate privind clicurile sau afișările.

Surse și note

  1. Matias, J. Nathan; Munger, Kevin; Aubin Le Quere, Marianne; și Ebersole, Charles (2021), The Upworthy Research Archive, a time series of 32,487 experiments in U.S. media, Scientific Data 8, 195. DOI: 10.1038/s41597-021-00934-7. Analiza Influence IQ folosește subsetul exploratoriu și descrierea corectată a sursei. Articolul original explică, la nivel calitativ, că editorii nu testau adesea toate combinațiile de titlu și imagine.
  2. Numitorul principal pentru testele în care variază ambele elemente: 188 de teste. Grile complete: 31; incomplete: 157. Grupul incomplet cuprinde 75 cu ambele tipuri de comparație, 30 doar cu comparații între titluri, 45 doar cu comparații între imagini și 7 fără niciunul dintre aceste tipuri. Astfel, 150/157 = 95,5 % păstrează cel puțin 1 tip. „Comparație” identifică o posibilitate structurală, nu un efect estimat sau un experiment verificat ca fiind valid.
  3. Cele 3 configurații ale atelierului sunt ilustrative. O configurație factorială completă cu 2 factori și 2 niveluri conține toate cele 4 combinații. Exemplul parțial omite A cu imaginea 2; exemplul diagonal păstrează doar A cu imaginea 1 și B cu imaginea 2. O configurație cu 4 celule nu stabilește singură calitatea repartizării, o mărime adecvată a eșantionului sau o interacțiune relevantă. Manualul NIST explică configurațiile factoriale complete și combinațiile lor.
  4. Corecția arhivei din iunie 2024 identifică posibile probleme de repartizare aleatorie între 25 iunie 2013 și 10 ianuarie 2014 și descurajează cercetarea cauzală care folosește acea perioadă. Precizează explicit că sunt păstrate celelalte utilizări în cercetare. Analiza noastră principală exclude orice test al cărui interval al datelor de creare se intersectează cu acest interval; marcajele temporale nu dovedesc datele de expunere, iar fusul lor orar este necunoscut. Verificarea structurală pentru toate perioadele păstrează aceste înregistrări.
  5. Verificarea sensibilității la spațiere elimină caracterele de spațiere de la început și sfârșit și comprimă spațierea din interiorul titlurilor și fragmentelor, păstrând majusculele, minusculele și punctuația. 8 teste devin eligibile; 1 test eligibil în ambele variante își schimbă clasificarea structurală. Numitorii sunt recalculați, nu păstrați la 188. Sfera principală, cea cu spațiere normalizată și cea cu toate perioadele conțin, respectiv, 188, 189 și 239 de teste în care variază ambele elemente.
  6. Fișierul CSV exploratoriu folosit pentru analiză este upworthy-archive-exploratory-packages-03.12.2020.csv, versiunea 1 a fișierului OSF, cu 14.260.949 de octeți. Valoarea SHA-256 este 8368313b060f4015a0c6fb34e6d788163cee29554144aba9390b14922eb9d8ce. Fișierul nu conține marcajul actualizat privind problema, așa că restricția de dată este derivată separat. Articolul descrie textul fragmentului ca fiind afișat; documentația arhivei îl include printre câmpurile despre care nu se crede că ar fi fost afișate. Păstrarea unui fragment constant evită atribuirea diferențelor variației acestui câmp disputat.
  7. Cornell University publică Upworthy Research Archive, codul asociat și documentația sub Creative Commons Attribution 4.0 International. Influence IQ furnizează această analiză structurală derivată; nu se sugerează că Upworthy sau autorii arhivei o susțin. Pachetul de analiză conține rezultate agregate, înregistrări ale testelor structurale, cod și instrucțiuni traduse pentru reproducere. Obține separat datele publice originale din arhivă.

Acest articol în engleză este ediția-sursă. Fiecare ediție lingvistică descrie același subset exploratoriu istoric Upworthy și aceleași configurații ilustrative. Traducerea nu transformă rezultatele într-un reper pentru piața locală sau pentru platformele actuale.

Leagă întrebarea testului de planul campaniei