Multivariate tests: wat je met tekst en beeld kunt vergelijken

We onderzochten de combinaties van koppen en afbeeldingen binnen afzonderlijke website-tests van Upworthy. Van de 3.212 tests die aan de regels van de hoofdselectie voldeden, veranderden er 188 beide elementen. Bij de meeste overige tests veranderde slechts één element. We hielden elke test apart en telden die één keer mee, ongeacht hoeveel mensen de test mogelijk zagen. ^[2]

Slechts 31 van de 188 tests bevatten elke combinatie van hun waargenomen koppen en afbeeldings-ID’s. De overige 157 vormden onvolledige schema’s. Dat klinkt beperkend, totdat je kijkt welke vergelijkingen erin overblijven. Van die 157 testopzetten boden er 75 zowel een vergelijking van koppen met dezelfde afbeelding als een vergelijking van afbeeldingen met dezelfde kop. Nog eens 30 boden alleen de eerste soort, en 45 alleen de tweede. Zeven boden geen van beide.

Samen behielden 150 van de 157 onvolledige testopzetten, oftewel 95,5%, minstens één manier om een element te vergelijken terwijl het andere gelijk bleef. Dat bewijst niet dat er genoeg bezoekers waren, dat de toewijzing goed verliep of dat het resultaat betekenisvol was. Het laat wel zien waarom “niet elke combinatie is getest” op zichzelf een te algemene reden is om een testopzet af te wijzen.

De tabel toont volledige en onvolledige testopzetten samen. Van alle 188 bevatten er 106 beide soorten vergelijking, 30 alleen kopvergelijkingen, 45 alleen afbeeldingsvergelijkingen en zeven geen van beide. “Beide” betekent minstens één van elke soort. Het betekent niet dat elke kop of afbeelding onder gelijke omstandigheden te vergelijken is.

Het oorspronkelijke archiefartikel legt al uit dat redacteuren vaak complete varianten kozen zonder elke mogelijke combinatie te testen. Onze bijdrage is deze inventarisatie van de vergelijkingen die daardoor mogelijk bleven. We kunnen de bedoeling van elke redacteur niet reconstrueren en ook niet beoordelen of de testopzet daaraan voldeed. ^[1]

Stel je een pottenbakkerij voor die een workshop in het weekend promoot. Er zijn twee koppen: A, “Maak je eerste keramische kom”, en B, “Breng je zaterdag door aan de draaischijf”. Afbeelding 1 toont een afgewerkte kom; afbeelding 2 de draaischijf. Dit zijn fictieve keuzes, geen Upworthy-voorbeelden of gemeten campagneresultaten. Houd het aanbod en de overige zichtbare tekst gelijk terwijl je drie mogelijke testopzetten bekijkt.

Ten eerste bevat het volledige schema A met afbeelding 1, A met afbeelding 2, B met afbeelding 1 en B met afbeelding 2. Het team kan de koppen vergelijken met afbeelding 1 en die vergelijking herhalen met afbeelding 2. Ook de afbeeldingen zijn onder elke kop te vergelijken. Vier cellen bieden die mogelijkheden; ze bepalen niet hoeveel waarnemingen er in elke cel komen.

Ten tweede bevat het gedeeltelijke schema A met afbeelding 1, B met afbeelding 1 en B met afbeelding 2. A met afbeelding 2 ontbreekt. Het team kan A en B vergelijken terwijl afbeelding 1 gelijk blijft. Daarnaast kan het de afbeeldingen vergelijken terwijl kop B gelijk blijft. De ontbrekende cel maakt die twee vergelijkingen niet ongedaan.

Maar een andere vraag blijft zonder directe vergelijking van vier cellen onbeantwoord: zou het verschil tussen A en B bij afbeelding 2 hetzelfde zijn? Er is geen resultaat voor A met afbeelding 2. Het team kan ook niet de beste van alle vier mogelijke varianten aanwijzen door alleen tussen de drie waargenomen varianten te kiezen. De ongeteste variant kan zich anders gedragen.

Ten derde bevat het diagonale schema alleen A met afbeelding 1 en B met afbeelding 2. Geen van beide elementen blijft gelijk tussen de twee varianten. Een geldige test kan nog steeds helpen om tussen deze complete versies te kiezen. Die vergelijking alleen zou de bijdrage van de kop niet van die van de afbeelding scheiden.

Geen van deze opzetten is altijd de beste. Moet de pottenbakkerij voor een bepaalde lancering kiezen tussen twee goedgekeurde concepten, dan kan een vergelijking van complete varianten passen. Wil ze een kop bij meerdere afbeeldingen hergebruiken, dan is bewijs nodig dat bij die bredere beslissing hoort. Extra combinaties verdienen hun plek als ze een vraag beantwoorden die het team werkelijk heeft. ^[3]

Het archief maakt dit verschil concreet. Van de 106 testopzetten met beide soorten vergelijking bevatten er 74 geen enkele volledige rechthoek van twee koppen en twee afbeeldingen. Een test kan dus ergens een kopvergelijking bieden en ergens anders een afbeeldingsvergelijking, zonder de vier cellen voor een directe vergelijking van hun verschillen.

Kijk nog eens naar het gedeeltelijke schema van de pottenbakkerij. A en B vergelijken met afbeelding 1 beantwoordt één vraag. Afbeelding 1 en 2 vergelijken onder B beantwoordt een andere. Geen van beide laat zien of het verschil tussen de koppen zelf verandert wanneer de afbeelding verandert. Die derde vraag gaat over interactie: hangt de relatie tussen één element en de gemeten respons af van het andere element?

Van de 188 testopzetten bevatten er 32 minstens één volledige rechthoek. Daaronder vallen alle 31 volledige schema’s en één groter, onvolledig schema. Zo’n rechthoek biedt een basis om de interactie rechtstreeks via een vergelijking van verschillen te onderzoeken. Dat toont niet aan dat er een interactie bestaat. Het is ook niet de enige mogelijke basis om interacties met andere ontwerpen of modelaannames te bestuderen.

Voor een campagneteam hoort dit onderscheid eerst in de briefing en daarna pas in een statistisch model. “Vergelijk deze twee koppen met deze afbeelding” is een beperktere vraag dan “vind een kop die bij onze verschillende afbeeldingen werkt”. Een resultaat voor de eerste vraag mag niet ongemerkt het antwoord op de tweede worden.

De hoofdinventarisatie sluit tests uit waarvan de periode tussen de eerste en laatste aanmaakdatum het interval van 25 juni 2013 tot en met 10 januari 2014 raakt. De archiefonderzoekers vonden mogelijke toewijzingsproblemen in die periode. Die zijn van belang voor onderzoek naar oorzaak en gevolg; ze maken de combinatiegegevens niet onbruikbaar voor een inventarisatie van de structuur. Daarom herhaalden we de vergelijking ook met die periode erbij. ^[4]

De ruimere selectie bevat 239 tests waarin beide elementen veranderen. Veertig bevatten elke combinatie; 199 zijn onvolledig. Van die onvolledige testopzetten behouden er 180, of 90,5%, minstens één vergelijking met een gelijkblijvend element, en 93, of 46,7%, beide soorten. De overeenkomstige percentages in de hoofdselectie zijn 95,5% en 47,8%. De precieze aandelen veranderen, maar onvolledige testopzetten behouden nog steeds vaak een specifieke vergelijking.

We controleerden ook een keuze in de tekstverwerking. De hoofdanalyse vergelijkt de tekst van koppen en fragmenten exact. Witruimte aan het begin en einde verwijderen en opeenvolgende witruimtetekens samenvoegen levert 189 tests op waarin beide elementen veranderen: 31 volledige schema’s, 108 met beide soorten vergelijking en 32 met een volledige rechthoek. Deze controle verandert welke tests aan de selectie voldoen. Daarom staan de aantallen met hun eigen totaal vermeld. ^[5]

De mediane dekking is 50% in alle drie selecties. Dekking is het aantal waargenomen kop-afbeeldingscombinaties gedeeld door het aantal dat mogelijk is met de koppen en afbeeldings-ID’s in die test. De mediaan is een beschrijving, geen kwaliteitscijfer. Een ontbrekende combinatie kan irrelevant of ongeschikt zijn geweest, of buiten de bedoelde vergelijking van de redacteur zijn gevallen. Het archief verklaart niet waarom die combinatie ontbrak.

Begin bij de pottenbakkerij met de beslissing na de test. Wil het team één complete workshopadvertentie kiezen, één afbeelding houden en de kop aanpassen, of een kop in verschillende toekomstige ontwerpen gebruiken? Voor elke beslissing zijn andere vergelijkingen nodig. Een groter schema is niet automatisch een betere besteding van de inspanning van het team.

Gaat de beslissing over complete varianten, som die dan op zonder een verklaring voor elk onderdeel te beloven. Gaat het om een kop, bepaal dan welke afbeelding gelijk blijft. Wil het team onderzoeken of het verschil tussen koppen verandert bij twee afbeeldingen, neem dan de vier relevante combinaties op of kies een onderbouwde andere testopzet. Houd dat gescheiden van de keuze van de responsmaat, toewijzing en observatieperiode.

Controleer of de voorgestelde combinaties logisch zijn voordat je ze toevoegt. Een kop over een specifieke aanbieding past misschien maar bij één productafbeelding. Een ongeschikte combinatie maken om het schema te vullen zou de opdracht veranderen. Het team kan de vraag ook beperken of versies ontwikkelen die wel logisch te combineren zijn. Een volledig schema is nuttig als de vergelijkingen de beslissing dienen, niet omdat een ingevulde tabel grondiger oogt.

Gebruik de volgende velden als korte testbriefing. De tekst tussen vierkante haken vul je in voor je eigen campagne; het zijn geen bevindingen van deze studie.

Beslissing na de test: [een complete variant kiezen; een benoemd element in een bepaalde situatie vergelijken; een vastgelegde combinatie van elementen onderzoeken].

Elementen en versies: [exacte kopteksten; afbeeldingsbestanden of stabiele ID’s; andere inhoud die verandert].

Opgenomen varianten: [de kop-afbeeldingscombinaties die daadwerkelijk worden getoond].

Benodigde vergelijkingen: [welke paren één element gelijk houden; welke vier cellen de interactievraag ondersteunen, indien van toepassing].

Plan voor het bewijs: [responsmaat; doelgroep en toewijzing; omstandigheden van de vertoning; geplande observatieperiode en regel voor de beoordeling].

Grens van de conclusie: [wat de testopzet kan ondersteunen; welke ongeteste combinaties of situaties buiten de beslissing vallen].

Een pottenbakkerij met het gedeeltelijke schema van drie cellen kan bijvoorbeeld schrijven: “We vergelijken de koppen met afbeelding 1 en de afbeeldingen met kop B. Kop A met afbeelding 2 testen we niet.” Zo blijven twee bruikbare vragen en de ontbrekende vergelijking zichtbaar, zonder de testopzet ontoereikend te noemen.

Een maker die voor een klant werkt kan hetzelfde onderscheid gebruiken bij het bespreken van een aangepaste thumbnail en titel. De vraag is welke versie of welk element de klant wil kiezen. Onze aantallen komen echter van de website van een uitgever. Ze tonen niet aan hoe een huidig sociaal platform creatieve varianten toewijst of meet.

De bron is het openbare verkennende bestand van het Upworthy Research Archive, beschreven door J. Nathan Matias, Kevin Munger, Marianne Aubin Le Quere en Charles Ebersole. Het bevat 22.666 rijen met varianten, gegroepeerd in 4.873 tests uit het historische archief van 2013–2015. We gebruikten de kop, het afbeeldings-ID, het tekstfragment, het test-ID, het aanmaaktijdstip en de rij-index van het archief. Klikken, vertoningen en redactionele keuzes zijn niet gebruikt. ^{[1] [6]}

Een structurele haalbaarheidscontrole ging vooraf aan het definitieve analyseplan en hielp de onderzoeksvraag bepalen. De analyse is daarom een verkennende heranalyse, geen vooraf geregistreerde bevestigende studie. De vastgelegde regels behouden tests met bruikbare structuurvelden, passen de tijdsbeperking toe en vereisen identieke tekstfragmenten tussen de varianten. Die laatste regel is voorzichtig gekozen: het artikel en de archiefdocumentatie spreken elkaar tegen over de vraag of dit veld werd getoond. ^[6]

De selectietabel toont achtereenvolgende uitsluitingen en daarna de verdeling van de overgebleven tests. Vijf tests missen een kop of afbeeldings-ID; vervolgens vallen er 1.050 buiten de tijdsregel en hebben 606 wisselende tekstfragmenten. De 3.212 overgebleven tests bestaan uit 1.624 waarin alleen de koppen veranderen, 1.078 waarin alleen de afbeeldings-ID’s veranderen, 188 waarin beide veranderen en 322 met één waargenomen combinatie. Die laatste categorie kan nog steeds meerdere bronrijen bevatten.

Binnen een test telt een herhaalde, identieke kop-afbeeldingscombinatie één keer als cel. Vijf van de 188 tests waarin beide elementen veranderen bevatten zulke herhalingen. Een volledig schema bevat elke combinatie van de kopteksten en afbeeldings-ID’s die in die test voorkomen. Verschillende tekenreeksen hoeven geen verschillende ideeën uit te drukken. Verschillende afbeeldings-ID’s hoeven ook geen zichtbaar andere afbeeldingen te betekenen; de afbeeldingsbestanden zijn niet beschikbaar.

De resultaten wegen testopzetten gelijk, niet mensen, vertoningen of bedrijven. Ze onderbouwen geen uitspraken over de huidige marketingpraktijk, prestaties of statistische power. De downloads bevatten de geaggregeerde resultaten en de methode om de analyse te reproduceren, inclusief beide selectiecontroles. Zo kunnen lezers het verschil bekijken tussen een waargenomen combinatie en een conclusie die daaruit wordt getrokken. ^[7]