Multivariate Tests: Was sich mit Text und Bild vergleichen lässt

Wir haben die Kombinationen von Überschriften und Bildern innerhalb einzelner Website-Tests von Upworthy untersucht. Von 3.212 Tests, die die Regeln des Hauptvergleichs erfüllten, variierten 188 beide Elemente. In den meisten übrigen Tests änderte sich nur eines. Wir betrachteten jeden Test separat und zählten ihn einmal, unabhängig davon, wie viele Menschen ihn möglicherweise gesehen hatten. ^[2]

Nur 31 der 188 Tests enthielten jede Kombination ihrer vorhandenen Überschriften und Bild-IDs. Die übrigen 157 bildeten unvollständige Raster. Das klingt zunächst einschränkend. Entscheidend ist aber, welche Vergleiche darin noch möglich waren. 75 dieser 157 Testaufbauten boten sowohl einen Überschriftenvergleich mit demselben Bild als auch einen Bildvergleich mit derselben Überschrift. Weitere 30 boten nur die erste Art, 45 nur die zweite. Sieben boten keine der beiden.

Damit enthielten 150 der 157 unvollständigen Testaufbauten, also 95,5 %, mindestens eine Möglichkeit, ein Element zu vergleichen und das andere gleich zu halten. Das belegt weder genügend Besucher noch eine korrekte Zuweisung oder ein aussagekräftiges Ergebnis. Es zeigt aber, warum „Es wurden nicht alle Kombinationen getestet“ allein kein ausreichender Grund ist, einen Testaufbau zu verwerfen.

Die Tabelle umfasst vollständige und unvollständige Testaufbauten. Unter allen 188 boten 106 beide Vergleichsarten, 30 nur Überschriftenvergleiche, 45 nur Bildvergleiche und sieben keine der beiden. „Beide“ bedeutet jeweils mindestens einen Vergleich. Es bedeutet nicht, dass sich sämtliche Überschriften oder Bilder unter gleichen Bedingungen vergleichen lassen.

Das ursprüngliche Archivpapier erklärt bereits, dass Redakteure oft fertige Versionen auswählten, ohne jede mögliche Kombination zu testen. Unser Beitrag erfasst, welche Vergleiche bei diesen Entscheidungen erhalten blieben. Wir können weder die Ziele der einzelnen Redakteure rekonstruieren noch beurteilen, ob ein Testaufbau sie erfüllte. ^[1]

Stell dir ein Töpferstudio vor, das einen Wochenendkurs bewirbt. Es hat zwei Überschriften: A, „Töpfere deine erste Schale“, und B, „Verbring den Samstag an der Töpferscheibe“. Bild 1 zeigt eine fertige Schale, Bild 2 die Töpferscheibe. Diese Auswahl ist ein erfundenes Beispiel, keine Upworthy-Kampagne und kein gemessenes Ergebnis. Angebot und sonstiger sichtbarer Text bleiben bei den folgenden drei Testaufbauten gleich.

Erstens: Das vollständige Raster enthält A mit Bild 1, A mit Bild 2, B mit Bild 1 und B mit Bild 2. Das Team kann die Überschriften bei gleichbleibendem Bild 1 vergleichen und denselben Vergleich mit Bild 2 wiederholen. Es kann auch die Bilder unter jeder Überschrift vergleichen. Vier Felder schaffen diese Möglichkeiten; sie sagen noch nicht, wie viele Beobachtungen pro Feld vorliegen werden.

Zweitens: Das teilweise gefüllte Raster enthält A mit Bild 1, B mit Bild 1 und B mit Bild 2. A mit Bild 2 fehlt. Das Team kann A und B mit gleichbleibendem Bild 1 vergleichen. Unabhängig davon kann es die Bilder vergleichen, während Überschrift B gleich bleibt. Das fehlende Feld hebt diese beiden Vergleiche nicht auf.

Eine andere Frage lässt sich mit diesem Raster aber nicht durch einen direkten Vergleich aller vier Felder beantworten: Wäre der Unterschied zwischen A und B mit Bild 2 derselbe? Dafür fehlt ein Ergebnis zu A mit Bild 2. Auch die beste aller vier möglichen Versionen lässt sich nicht bestimmen, indem man nur unter den drei beobachteten wählt. Die ungetestete Version könnte sich anders verhalten.

Drittens: Im diagonalen Testaufbau kommen nur A mit Bild 1 und B mit Bild 2 vor. Zwischen den beiden fertigen Versionen bleibt keines der Elemente gleich. Ein gültiger Test könnte dennoch helfen, zwischen genau diesen Versionen zu wählen. Aus diesem Vergleich allein ließe sich der Beitrag der Überschrift jedoch nicht vom Beitrag des Bildes trennen.

Keiner dieser Testaufbauten ist grundsätzlich überlegen. Muss das Studio zwischen zwei freigegebenen Konzepten für einen bestimmten Start wählen, kann der Vergleich fertiger Versionen passen. Will es eine Überschrift mit mehreren Bildern wiederverwenden, braucht es Erkenntnisse für diese weitergehende Entscheidung. Zusätzliche Kombinationen sind dann sinnvoll, wenn sie eine tatsächliche Frage des Teams beantworten. ^[3]

Das Archiv macht den Unterschied greifbar. Von 106 Testaufbauten mit beiden Vergleichsarten enthielten 74 nicht einmal ein vollständiges Rechteck aus zwei Überschriften und zwei Bildern. Ein Test kann also an einer Stelle einen Überschriftenvergleich und an anderer Stelle einen Bildvergleich bieten, ohne die vier Felder für einen direkten Vergleich ihrer Unterschiede zu enthalten.

Betrachten wir noch einmal das teilweise gefüllte Raster des Studios. A und B mit Bild 1 zu vergleichen beantwortet eine Frage. Bild 1 und Bild 2 unter B zu vergleichen beantwortet eine andere. Keiner der beiden Vergleiche zeigt, ob sich der Unterschied zwischen den Überschriften selbst verändert, wenn das Bild wechselt. Diese dritte Frage betrifft eine Wechselwirkung: Hängt der Zusammenhang zwischen einem Element und der gemessenen Reaktion vom anderen Element ab?

Unter den 188 Testaufbauten enthielten 32 mindestens ein vollständiges Rechteck. Dazu gehören alle 31 vollständigen Raster und ein größeres, unvollständiges Raster. Ein solches Rechteck bietet die Grundlage für einen direkten Vergleich zur Wechselwirkung. Es beweist nicht, dass eine Wechselwirkung vorliegt. Andere Testaufbauten oder Modellannahmen können ebenfalls eine Grundlage für ihre Untersuchung liefern.

Für ein Kampagnenteam gehört dieser Unterschied zuerst ins Briefing und erst danach ins statistische Modell. „Vergleiche diese beiden Überschriften mit diesem Bild“ ist eine engere Frage als „Finde eine Überschrift, die mit unseren verschiedenen Bildern funktioniert“. Eine Antwort auf die erste Frage sollte nicht unbemerkt zur Antwort auf die zweite werden.

Der Hauptvergleich schließt Tests aus, deren Zeitraum zwischen erster und letzter Erstellungsangabe den 25. Juni 2013 bis 10. Januar 2014 berührt. Die Archivforscher haben für diesen Zeitraum mögliche Probleme bei der Zuweisung festgestellt. Das ist für Forschung zu Ursache und Wirkung relevant. Die aufgezeichneten Kombinationen bleiben jedoch für eine Bestandsaufnahme des Testaufbaus nutzbar. Deshalb haben wir den Vergleich auch mit diesem Zeitraum wiederholt. ^[4]

Die breitere Auswahl enthält 239 Tests, in denen beide Elemente variieren. 40 enthalten jede Kombination, 199 sind unvollständig. Von diesen unvollständigen Testaufbauten bieten 180, also 90,5 %, weiterhin mindestens einen Vergleich mit einem gleichbleibenden Element; 93, also 46,7 %, bieten beide Arten. Im Hauptvergleich sind es 95,5 % beziehungsweise 47,8 %. Die genauen Anteile ändern sich, doch unvollständige Testaufbauten ermöglichen weiterhin häufig einen konkreten Vergleich.

Wir haben außerdem eine Entscheidung bei der Textverarbeitung geprüft. Die Hauptanalyse vergleicht die Zeichenfolgen der Überschriften und Textauszüge exakt. Entfernt man Leerraumzeichen am Anfang und Ende und fasst aufeinanderfolgende Leerraumzeichen zusammen, ergeben sich 189 Tests mit beiden variierenden Elementen: 31 vollständige Raster, 108 mit beiden Vergleichsarten und 32 mit einem vollständigen Rechteck. Dadurch ändert sich, welche Tests die Auswahlregeln erfüllen. Die Zahlen werden deshalb mit ihrer eigenen Bezugsgröße angegeben. ^[5]

Die mediane Abdeckung beträgt in allen drei Auswertungen 50 %. Abdeckung ist die Zahl der beobachteten Überschrift-Bild-Kombinationen geteilt durch die Zahl der Kombinationen, die mit den im jeweiligen Test vorhandenen Überschriften und Bild-IDs möglich wären. Der Median beschreibt den Aufbau und ist keine Qualitätsnote. Eine fehlende Kombination könnte irrelevant, ungeeignet oder außerhalb des geplanten Vergleichs gewesen sein. Das Archiv klärt nicht, warum sie fehlte.

Beginne beim Töpferstudio damit, was nach dem Test passieren soll. Will das Team eine fertige Kurswerbung auswählen, ein Bild behalten und die Überschrift überarbeiten oder eine Überschrift in mehreren künftigen Gestaltungen verwenden? Jede Entscheidung braucht andere Vergleiche. Ein größeres Raster ist nicht automatisch der sinnvollere Einsatz der verfügbaren Arbeit.

Geht es um fertige Versionen, liste sie auf, ohne eine Erklärung für jedes einzelne Element zu versprechen. Geht es um eine Überschrift, lege fest, welches Bild gleich bleibt. Soll untersucht werden, ob sich ein Überschriftenunterschied zwischen zwei Bildern verändert, gehören die vier relevanten Kombinationen in den Test – oder ein begründeter alternativer Testaufbau. Entscheide davon getrennt über Messgröße, Zuweisung und Beobachtungszeitraum.

Prüfe vor dem Hinzufügen, ob die Kombinationen inhaltlich passen. Eine Überschrift zu einem bestimmten Angebot gehört vielleicht nur zu einem einzigen Produktbild. Eine unpassende Paarung nur zum Füllen des Rasters würde die Aufgabe verändern. Stattdessen kann das Team die Frage enger fassen oder Versionen entwickeln, die sich sinnvoll kombinieren lassen. Ein vollständiges Raster ist dann nützlich, wenn seine Vergleiche der Entscheidung dienen.

Die folgenden Felder dienen als kurzes Testbriefing. Die Angaben in eckigen Klammern füllst du für deine Kampagne aus; sie sind keine Ergebnisse dieser Studie.

Entscheidung nach dem Test: [eine fertige Version auswählen; ein bestimmtes Element in einer festgelegten Konstellation vergleichen; eine festgelegte Kombination von Elementen untersuchen].

Elemente und Versionen: [genaue Überschriften; Bilddateien oder stabile IDs; weitere Inhalte, die sich ändern].

Enthaltene Versionen: [die Überschrift-Bild-Paarungen, die tatsächlich gezeigt werden].

Benötigte Vergleiche: [welche Paarungen ein Element gleich halten; welche vier Felder gegebenenfalls die Frage zur Wechselwirkung unterstützen].

Plan für die Datengrundlage: [Messgröße; Zielgruppe und Zuweisung; Bedingungen der Ausspielung; geplanter Beobachtungszeitraum und Regel für die Auswertung].

Grenze der Schlussfolgerung: [welche Aussagen der Testaufbau ermöglichen könnte; welche ungetesteten Kombinationen oder Konstellationen außerhalb der Entscheidung bleiben].

Ein Studio mit dem teilweise gefüllten Raster aus drei Feldern könnte etwa schreiben: „Wir vergleichen die Überschriften mit Bild 1 und die Bilder mit Überschrift B. Überschrift A mit Bild 2 testen wir nicht.“ So bleiben zwei nützliche Fragen und der fehlende Vergleich sichtbar, ohne den Testaufbau für unzureichend zu erklären.

Creator können diese Unterscheidung ebenfalls nutzen, wenn sie mit Kunden ein überarbeitetes Vorschaubild und einen neuen Titel besprechen. Entscheidend ist, welche Version oder welches Element der Kunde auswählen will. Unsere Zahlen stammen allerdings von der Website eines Verlags. Sie zeigen nicht, wie heutige soziale Plattformen Gestaltungsvarianten zuweisen oder messen.

Die Quelle ist die öffentlich veröffentlichte explorative Datei des Upworthy Research Archive, beschrieben von J. Nathan Matias, Kevin Munger, Marianne Aubin Le Quere und Charles Ebersole. Sie enthält 22.666 Zeilen mit Versionen, gruppiert in 4.873 Tests aus dem historischen Archiv von 2013–2015. Wir nutzten Überschrift, Bild-ID, Textauszug, Test-ID, Erstellungszeitstempel und Zeilenindex des Archivs. Klicks, Impressionen und redaktionelle Auswahlentscheidungen wurden nicht verwendet. ^{[1] [6]}

Vor dem endgültigen Analyseplan stand eine Prüfung der strukturellen Machbarkeit, die die Fragestellung mitgeprägt hat. Es handelt sich deshalb um eine explorative Neuauswertung, nicht um eine vorregistrierte bestätigende Studie. Die festgelegten Regeln behalten Tests mit verwendbaren Strukturfeldern, wenden die zeitliche Einschränkung an und verlangen identische Textauszüge innerhalb eines Tests. Diese letzte Regel ist vorsichtig gewählt: Das Papier und die Archivdokumentation widersprechen sich darin, ob dieses Feld angezeigt wurde. ^[6]

Die Auswahltabelle zeigt zuerst die aufeinanderfolgenden Ausschlüsse und dann die Aufteilung der verbliebenen Tests. Bei fünf Tests fehlt eine Überschrift oder Bild-ID. Anschließend scheiden 1.050 durch die zeitliche Regel und 606 durch wechselnde Textauszüge aus. Unter den 3.212 verbleibenden Tests variieren 1.624 nur die Überschrift, 1.078 nur die Bild-ID und 188 beide Elemente. 322 enthalten eine einzige beobachtete Kombination. Auch die letzte Kategorie kann mehrere Quellzeilen enthalten.

Wiederholte identische Überschrift-Bild-Paare zählen innerhalb eines Tests nur einmal als Feld. Fünf der 188 Tests mit beiden variierenden Elementen enthalten solche Wiederholungen. Ein vollständiges Raster umfasst jede Paarung der im Test beobachteten Überschriftentexte und Bild-IDs. Unterschiedliche Zeichenfolgen müssen keine unterschiedlichen Ideen ausdrücken. Unterschiedliche Bild-IDs müssen auch keine sichtbar verschiedenen Bilder bezeichnen; die Bilddateien liegen nicht vor.

Die Ergebnisse gewichten jeden Testaufbau gleich, nicht Personen, Impressionen oder Unternehmen. Sie belegen weder heutige Marketingpraxis noch Leistung oder statistische Teststärke. Die Downloads enthalten die aggregierten Ergebnisse und die Methode zur Reproduktion einschließlich beider zusätzlichen Prüfungen. So lässt sich nachvollziehen, was eine beobachtete Kombination ist und welche Schlussfolgerung daraus gezogen wird. ^[7]