Многофакторное тестирование: что можно узнать из проверки креативов

Если одновременно изменить заголовок и изображение, можно выбрать готовый креатив. Чтобы узнать что-то о каждом элементе, нужно другое сравнение. Исторические схемы тестов Upworthy показывают, сколько возможностей остаётся даже при отсутствии некоторых сочетаний.

Анализ Influence IQ на основе разведочной подвыборки Upworthy Research Archive: эксперименты на сайте с начала 2013 года по апрель 2015 года. Основное сравнение включает 188 подходящих по критериям тестов, в которых менялись и текст заголовка, и ID изображения. Это описание схем тестирования, а не анализ кликов или результативности кампаний.

Аннотация

Даже неполная схема многофакторного тестирования может сохранять отдельные сравнения заголовков или изображений. Из 188 подходящих по критериям тестов Upworthy, в которых менялись текст заголовка и ID изображения, 31 содержал все сочетания. Из остальных 157 в 150 было хотя бы 1 сравнение при неизменном заголовке или изображении, а в 75 — оба вида сравнений. Эти числа описывают представленные сочетания, но не показывают, дали ли тесты надёжные или полезные результаты об эффективности. [1]

В исследовании использована историческая разведочная подвыборка экспериментов на сайте с начала 2013 года по апрель 2015 года. Текст краткого описания остаётся неизменным, а из основной области анализа исключён документированный период возможных проблем с распределением по вариантам. При его включении общий вывод сохраняется: в 180 из 199 неполных схем остаётся хотя бы 1 такое сравнение. Компаниям и авторам контента важно подобрать сочетания под вопрос: выбрать готовый креатив, сравнить 1 элемент или изучить совместную работу 2 элементов.

Команда подготовила 2 версии кампании. В первой изображение товара сочетается с прямой формулировкой заголовка, во второй — другое изображение и более разговорный заголовок. Если одна версия покажет лучший результат, что вы узнаете?

Грамотно проведённое сравнение может помочь выбрать один из готовых вариантов. Само по себе оно не показывает, какое изменение повлияло на результат. При многофакторном тестировании в наборе сочетаний меняется больше 1 элемента. Начать стоит с вопроса: какое решение вы хотите принять с помощью этих сочетаний?

Одно лишь число версий на этот вопрос не отвечает. 4 варианта заголовка с 1 изображением позволяют сравнить заголовки в этих условиях. 2 заголовка с 2 изображениями тоже дают 4 готовых варианта, если включены все сочетания, но позволяют провести другие сравнения. Запишите пары, чтобы увидеть различие до начала теста.

Готовый креатив объединяет несколько решений

Условная иллюстрация карточек кампании, собранных из отдельных текстовых и графических модулей.
Условная иллюстрация без слов. Карточки показывают компоненты креативов, а не реальные материалы Upworthy, результаты измерений или интерфейс продукта.

Неполные схемы часто сохраняли полезное сравнение

Мы изучили сочетания заголовков и изображений внутри отдельных тестов на сайте Upworthy. Из 3 212 тестов, отвечавших основным критериям, 188 изменяли оба элемента. Большинство остальных меняли только 1 из них. Каждый тест рассматривался отдельно и учитывался 1 раз независимо от того, сколько людей могли его увидеть. [2]

Только 31 из 188 тестов содержал все сочетания наблюдавшихся заголовков и ID изображений. Остальные 157 представляли собой неполные матрицы. Это кажется ограничением, пока не посмотреть, какие сравнения внутри них сохранились. В 75 из этих 157 схем были и сравнение заголовков с одним и тем же изображением, и сравнение изображений с одним и тем же заголовком. Ещё в 30 был только первый вид, в 45 — только второй. В 7 не было ни одного из них.

В сумме 150 из 157 неполных схем, или 95,5 %, сохраняли хотя бы 1 способ сравнить элемент, оставив другой неизменным. Это не доказывает, что для сравнения хватало трафика, распределение было корректным или результат имел смысл для поставленной задачи. Но показывает, почему фраза «проверили не все сочетания» слишком общая, чтобы на её основании отвергать схему.

В таблице полные и неполные схемы показаны вместе. Из всех 188 тестов 106 содержали оба вида сравнений, 30 — только сравнения заголовков, 45 — только изображений, а 7 — ни того ни другого. «Оба» означает хотя бы 1 сравнение каждого вида. Это не означает, что все заголовки или изображения можно сравнить на равных условиях.

В исходной статье об архиве уже объяснялось, что редакторы часто выбирали готовые материалы, не проверяя все возможные сочетания. Наш вклад — учёт сравнений, которые оставались доступны при таком выборе. Мы не можем восстановить цель каждого редактора или оценить, отвечала ли ей схема тестирования. [1]

Большинство схем с изменением обоих элементов сохраняли возможность сравнить отдельный компонент

188 подходящих по критериям исторических тестов Upworthy, где менялись тексты заголовков и ID изображений, а текст краткого описания был постоянным и применялось заданное ограничение по датам. Все тесты имеют одинаковый вес.

Посмотреть числовые данные
Сравнения, представленные в схемеТестыДоля от 188 тестов
Сравнения заголовков и изображений10656,4 %
Только сравнение заголовков3016,0 %
Только сравнение изображений4523,9 %
Нет сравнений отдельных элементов73,7 %
4 категории делят 188 тестов на непересекающиеся группы. «Оба» означает хотя бы 1 сравнение заголовков с одинаковым изображением и хотя бы 1 сравнение изображений с одинаковым заголовком, а не все возможные сравнения. Числа описывают возможности схемы, а не эффекты, мощность или результаты кампаний.

3 схемы отвечают на разные вопросы

Представим гончарную студию, которая рекламирует мастер-класс в выходные. У неё 2 заголовка: A — «Сделайте свою первую керамическую миску» и B — «Проведите субботу за гончарным кругом». Изображение 1 показывает готовую миску, изображение 2 — круг. Это условные варианты, а не примеры Upworthy или измеренные результаты кампании. Рассматривая 3 возможные схемы, оставьте предложение и остальной видимый текст неизменными.

В первой, полной матрице есть A с изображением 1, A с изображением 2, B с изображением 1 и B с изображением 2. Команда может сравнить заголовки при неизменном изображении 1, а затем повторить то же сравнение с изображением 2. Изображения также можно сравнить под каждым заголовком. 4 ячейки дают такие возможности, но не определяют, сколько данных будет собрано в каждой.

Во второй, неполной матрице есть A с изображением 1, B с изображением 1 и B с изображением 2. Сочетание A с изображением 2 отсутствует. Команда может сравнить A и B, оставив изображение 1 неизменным. Отдельно можно сравнить изображения при постоянном заголовке B. Отсутствующая ячейка не отменяет эти 2 сравнения.

Но неполная матрица оставляет без прямого сравнения по 4 ячейкам ещё один вопрос: будет ли различие между A и B таким же с изображением 2? Результата для A с изображением 2 нет. Нельзя и выбрать лучший из всех 4 возможных готовых вариантов, просто отобрав лучший среди 3 наблюдавшихся. Непроверенный вариант может показать иной результат.

Третья, диагональная схема содержит только A с изображением 1 и B с изображением 2. Между этими 2 готовыми вариантами ни один элемент не остаётся неизменным. Корректный тест всё ещё может обосновать выбор между этими 2 версиями. Но одно это сравнение не позволяет отдельно определить вклад заголовка или изображения.

Универсально лучшей схемы нет. Если студии нужно выбрать между 2 утверждёнными концепциями для конкретного запуска, сравнение готовых вариантов может подойти. Если заголовок хотят использовать с разными изображениями, нужны данные для этого более широкого решения. Дополнительные сочетания оправданы, когда отвечают на реальный вопрос команды. [3]

3 условные схемы содержат разные сочетания

Вымышленный пример гончарной студии: 2 заголовка, A и B, и 2 изображения, 1 и 2. Ячейки иллюстрируют схемы, а не наблюдения из архива.

Посмотреть числовые данные
Сочетание заголовка и изображенияПолная матрицаНеполная матрицаДиагональная схема
Заголовок A + изображение 1111
Заголовок A + изображение 2100
Заголовок B + изображение 1110
Заголовок B + изображение 2111
1 означает «включено», 0 — «не включено». Полная схема содержит все 4 ячейки. В неполной нет A с изображением 2. Диагональная сравнивает 2 готовых варианта, различающихся обоими элементами. Значения эффективности не заданы.

Сравнения в обоих направлениях — ещё не полный тест 2×2

Архив позволяет увидеть это различие. Из 106 схем с обоими видами сравнений в 74 не было ни 1 полного прямоугольника из 2 заголовков и 2 изображений. Поэтому схема может позволять сравнить заголовки в одном месте, а изображения — в другом, не предоставляя 4 ячейки для прямого сравнения различий.

Вернёмся к неполной матрице студии. Сравнение A и B с изображением 1 отвечает на один вопрос, а сравнение изображений 1 и 2 под заголовком B — на другой. Ни одно не показывает, меняется ли само различие заголовков при смене изображения. Этот третий вопрос касается взаимодействия: зависит ли связь одного элемента с откликом от другого элемента.

В наборе из 188 схем 32 содержали хотя бы 1 полный прямоугольник. В их число входят все полные матрицы набора (31) и 1 более крупная неполная. Такой прямоугольник даёт основу для прямого сравнения различий при изучении взаимодействия. Он не доказывает наличие взаимодействия и не является единственной возможной основой для его изучения при других схемах или допущениях модели.

Команде кампании стоит отразить это различие в брифе ещё до статистической модели. «Сравнить эти 2 заголовка с этим изображением» — более узкая задача, чем «найти заголовок, который работает с нашими изображениями». Ответ на первый вопрос не должен незаметно становиться ответом на второй.

Более широкий период даёт тот же вывод для планирования

Основной перечень не включает тесты, диапазон дат создания которых пересекается с периодом с 25 июня 2013 года по 10 января 2014 года. Исследователи архива выявили возможные проблемы с распределением по вариантам в этот период. Они важны для причинно-следственных исследований, но не делают записи о сочетаниях непригодными для описания структуры. Поэтому мы также повторили сравнение с включением этого периода. [4]

Расширенная область анализа включает 239 тестов с изменением обоих элементов. В 40 есть все сочетания, а 199 схем неполные. Среди неполных 180, или 90,5 %, сохраняют хотя бы 1 сравнение при неизменном 1 элементе, а 93, или 46,7 %, — оба вида сравнений. Соответствующие показатели основной области — 95,5 % и 47,8 %. Точные доли меняются, но неполные схемы по-прежнему часто сохраняют конкретную возможность сравнения.

Мы также проверили выбор способа обработки текста. В основном анализе строки заголовка и краткого описания сравниваются точно. Удаление пробельных символов по краям и сжатие повторяющихся пробельных символов дают 189 тестов с изменением обоих элементов: 31 полную матрицу, 108 схем с обоими видами сравнений и 32 с полным прямоугольником. Эта проверка меняет состав подходящих схем, поэтому для её чисел указан собственный знаменатель. [5]

Во всех 3 областях анализа медианная полнота матрицы равна 50 %. Полнота — это число наблюдавшихся сочетаний заголовков и изображений, делённое на число возможных сочетаний для заголовков и ID изображений данного теста. Медиана служит описанием, а не оценкой качества. Пропущенная комбинация могла быть не нужна, не подходить или выходить за рамки задуманного редактором сравнения; архив не объясняет причину пропуска.

При изменении области анализа различие между полнотой матрицы и сравнениями сохраняется

Все столбцы показывают число тестов, а для каждой строки используется свой знаменатель тестов с изменением обоих элементов. Проверка обработки текста сохраняет основное ограничение по датам; проверка за все периоды сохраняет точное сравнение текста.

Посмотреть числовые данные
Область анализаТесты с изменением обоих элементовПолные матрицыОба вида сравненийХотя бы 1 полный прямоугольник 2×2
Основная область: точный текст, ограничение по датам1883110632
Нормализованные пробельные символы, ограничение по датам1893110832
Точный текст, включены все периоды2394013342
Столбцы пересекаются, их нельзя складывать. Каждая полная матрица содержит оба вида сравнений и полный прямоугольник 2×2, но обратное из этого не следует. Перечень за все периоды описывает только структуру: включение документированного периода риска распределения не подтверждает пригодность для причинного анализа.

Начните бриф нового теста с решения, которое предстоит принять

Для гончарной студии сначала определите, что произойдёт после теста. Команда выберет готовую рекламу мастер-класса, оставит 1 изображение и изменит заголовок или перенесёт заголовок в несколько будущих макетов? Для каждого решения нужен свой набор сравнений. Более крупная матрица не обязательно лучше оправдывает усилия команды.

Если решение касается готовых материалов, перечислите их, не обещая объяснить вклад каждого компонента. Если выбирается заголовок, укажите изображение, которое останется неизменным. Чтобы изучить, меняется ли различие заголовков на 2 изображениях, включите нужные 4 сочетания или выберите обоснованную альтернативную схему. Отдельно определите показатель отклика, распределение по вариантам и период наблюдения.

Прежде чем добавлять сочетания, проверьте, имеют ли они смысл. Заголовок конкретного предложения может подходить только к 1 изображению товара. Если создать неподходящую пару лишь ради заполнения матрицы, задача изменится. Вместо этого команда может сузить вопрос или подготовить версии, которые разумно сочетать. Полная матрица полезна, когда её сравнения помогают принять решение, а не потому, что заполненная таблица выглядит тщательнее.

Используйте следующие поля как краткий бриф для планирования. Текст в скобках предназначен для вашей кампании и не является выводом исследования.

Решение после теста: [выбрать готовый материал; сравнить указанный элемент в заданных условиях; изучить определённое сочетание элементов].

Элементы и версии: [точные тексты заголовков; файлы изображений или стабильные ID; другой меняющийся контент].

Включённые материалы: [пары заголовков и изображений, которые действительно будут показаны].

Нужные сравнения: [какие пары сохраняют 1 элемент неизменным; какие 4 ячейки позволяют поставить вопрос о взаимодействии, если он нужен].

План сбора данных: [показатель отклика; аудитория и распределение по вариантам; условия показа; запланированное наблюдение и правило оценки].

Границы вывода: [что может обосновать схема; какие непроверенные сочетания или условия остаются за пределами решения].

Например, студия с неполной схемой из 3 ячеек может записать: «Мы сравним заголовки с изображением 1 и сравним изображения с заголовком B. Заголовок A с изображением 2 мы не проверяем». Так видны 2 полезных вопроса и отсутствующее сравнение, а схема не объявляется недостаточной.

Автор контента, работающий для клиента, может использовать то же различие при обсуждении новой миниатюры и заголовка. Вопрос в том, какую версию или элемент клиент хочет выбрать. Однако наши числа получены с сайта издателя и не показывают, как современные социальные платформы распределяют или оценивают варианты креативов.

Сопоставляйте комбинации с нужным вопросом

3 иллюстрированных лотка показывают разные пары готовых креативов, сравнение заголовков с одним и тем же изображением и матрицу сочетаний из 4 карточек.
  1. Выберите готовый креатив

    Сравните готовые варианты, между которыми нужно сделать выбор.

  2. Сравните 1 элемент

    В нужном сравнении оставьте другой элемент неизменным.

  3. Изучите сочетание

    Включите нужные сочетания, чтобы поставить вопрос: меняется ли различие между заголовками при смене изображения?

Условная иллюстрация 3 вариантов планирования. На карточках нет результатов эффективности; точные сочетания из разобранного примера перечислены в доступной таблице.

Как мы составляли перечень схем тестирования

Источник — общедоступный разведочный файл Upworthy Research Archive, описанный J. Nathan Matias, Kevin Munger, Marianne Aubin Le Quere и Charles Ebersole. Он содержит 22 666 строк с вариантами материалов, объединённых в 4 873 теста из исторического архива за 2013–2015 годы. Мы использовали заголовок, идентификатор изображения, краткое описание (excerpt), идентификатор теста, время создания и индекс строки архива. Клики, показы и редакторский выбор не использовались. [1] [6]

Проверка структурной реализуемости предшествовала окончательному плану анализа схем и повлияла на его вопрос. Поэтому работа представляет собой разведочный повторный анализ, а не заранее зарегистрированное подтверждающее исследование. Правила отбора сохраняют тесты с пригодными структурными полями, применяют основное ограничение по датам и требуют одинакового текста краткого описания во всех вариантах теста. Это осторожное ограничение: статья и документация архива расходятся в том, показывалось ли это поле. [6]

Таблица отбора показывает последовательные исключения, а затем состав подходящих тестов. В 5 тестах нет заголовка или ID изображения; затем 1 050 не проходят правило периода, а у 606 меняется краткое описание. В оставшихся 3 212 тестах 1 624 меняют только заголовки, 1 078 — только ID изображений, 188 — оба элемента, а 322 содержат 1 наблюдавшееся сочетание. Последняя категория всё ещё может включать несколько исходных строк.

Внутри теста повторяющиеся одинаковые пары заголовка и изображения учитываются как 1 ячейка схемы. В 5 из 188 тестов с изменением обоих элементов есть повторные ячейки. Полная матрица содержит все сочетания строк заголовков и ID изображений, наблюдавшихся в данном тесте. Разные строки не обязательно выражают разные идеи, а разные ID не обязательно означают визуально разные картинки; файлы изображений недоступны.

Результаты учитывают схемы с одинаковым весом, а не людей, показы или компании. Они не устанавливают современные маркетинговые практики, эффективность или статистическую мощность. В материалах для скачивания есть сводные результаты и метод воспроизведения, включая обе проверки области анализа. Это позволяет рассмотреть различие между наблюдавшимся сочетанием и выводом, который из него делают. [7]

Основное сравнение охватывает 188 из 3 212 подходящих тестов

Отбор из 4 873 тестов общедоступного разведочного файла. Исключения применяются в указанном порядке. 4 итоговые категории схем делят 3 212 подходящих тестов на непересекающиеся группы.

Посмотреть этапы отбора и все подходящие категории
Посмотреть числовые данные
Этап отбора или категория подходящей схемыТесты
Исходные разведочные тесты4 873
Исключены: нет заголовка или ID изображения5
Исключены: заданный интервал дат создания1 050
Исключены далее: меняется краткое описание606
Подходят после исключений3 212
Подходят: заголовок меняется, изображение неизменно1 624
Подходят: изображение меняется, заголовок неизменен1 078
Подходят: меняются и заголовок, и изображение188
Подходят: 1 наблюдавшееся сочетание322
Сначала читайте последовательность, затем разбиение: 4 873 − 5 − 1 050 − 606 = 3 212. 1 624 теста меняют только заголовки, 1 078 — только изображения, 188 — оба элемента, а 322 содержат единственное сочетание; в сумме это 3 212. Не складывайте все строки. Ни один тест не провалил проверку минимального числа вариантов или распознавания дат.

CSV включает 41 значение с 4 графиков; иллюстративные ячейки дизайна отмечены отдельно от наблюдаемых количеств и долей. ZIP содержит сводные результаты, записи о структуре тестов и код анализа. Включены переведённые инструкции по воспроизведению; исходный общедоступный архив скачайте отдельно. Результаты по кликам или показам не включены.

Источники и примечания

  1. Matias, J. Nathan; Munger, Kevin; Aubin Le Quere, Marianne; Ebersole, Charles (2021), «The Upworthy Research Archive: временной ряд из 32 487 экспериментов в СМИ США», Scientific Data 8, 195. DOI: 10.1038/s41597-021-00934-7. В анализе Influence IQ используется разведочная подвыборка и исправленное описание источника. Исходная статья описывает эту практику без количественной оценки: редакторы часто не проверяли все сочетания заголовков и изображений.
  2. Основной знаменатель для тестов с изменением обоих элементов — 188. Полных матриц — 31, неполных — 157. Среди неполных в 75 есть оба вида сравнений, в 30 — только сравнения заголовков, в 45 — только изображений, в 7 — ни одного вида. Таким образом, 150/157 = 95,5 % сохраняют хотя бы 1 вид. «Сравнение» означает структурную возможность, а не оценённый эффект или подтверждённо корректный эксперимент.
  3. 3 схемы студии служат иллюстрацией. Полный план с 2 факторами по 2 уровня содержит все 4 сочетания. В неполном примере нет A с изображением 2, а в диагональном остаются только A с изображением 1 и B с изображением 2. Сама схема из 4 ячеек не подтверждает корректность распределения, достаточность выборки или содержательную важность взаимодействия. Справочник NIST объясняет полные факторные планы и их сочетания.
  4. Исправление архива от июня 2024 года указывает на возможные проблемы с рандомизацией с 25 июня 2013 года по 10 января 2014 года и не рекомендует использовать этот период для причинных исследований. Другие исследовательские применения явно сохраняются. Наш основной анализ исключает любой тест, диапазон дат создания которого пересекает этот интервал. Отметки времени не подтверждают даты показов, а их часовой пояс неизвестен. Структурная проверка за все периоды сохраняет эти записи.
  5. Проверка чувствительности к пробельным символам удаляет их в начале и конце и сжимает внутренние последовательности в заголовках и кратких описаниях, сохраняя регистр и пунктуацию. 8 тестов становятся подходящими; у 1 теста, входящего в оба набора, меняется структурная категория. Знаменатели пересчитываются, а не удерживаются на 188. В основной области, после нормализации пробельных символов и за все периоды содержатся соответственно 188, 189 и 239 тестов с изменением обоих элементов.
  6. Зафиксированный разведочный CSV — upworthy-archive-exploratory-packages-03.12.2020.csv, версия файла OSF 1, 14 260 949 байт. Его SHA-256: 8368313b060f4015a0c6fb34e6d788163cee29554144aba9390b14922eb9d8ce. В файле нет обновлённого признака проблемы, поэтому ограничение по датам определяется отдельно. Статья описывает текст поля excerpt как показанный пользователям; документация архива относит его к полям, которые, предположительно, не показывались. Постоянный текст краткого описания позволяет не приписывать различия этому спорному полю.
  7. Cornell University публикует Upworthy Research Archive, связанный код и документацию по лицензии Creative Commons Attribution 4.0 International. Influence IQ предоставляет этот производный структурный анализ; одобрение со стороны Upworthy или авторов архива не подразумевается. Пакет анализа содержит сводные результаты, записи о структуре тестов, код и переведённые инструкции по воспроизведению. Исходные общедоступные данные получите отдельно из архива.

Англоязычная версия статьи служит источником. Все языковые версии описывают одну и ту же историческую разведочную подвыборку Upworthy и те же условные схемы. Перевод не превращает выводы в ориентир для местного рынка или современной платформы.

Свяжите вопрос теста с планом кампании