다변량 테스트: 소재 테스트로 알 수 있는 것

헤드라인과 이미지를 함께 바꾸면 완성 소재를 고르는 데 도움이 될 수 있습니다. 각 요소에 관해 배우려면 다른 비교가 필요합니다. 과거 Upworthy 설계는 일부 조합이 빠져도 얼마나 많은 비교가 가능한 상태로 남을 수 있는지 보여줍니다.

2013년 초부터 2015년 4월까지의 웹사이트 실험을 다루는 Upworthy Research Archive 탐색용 부분집합에 대한 Influence IQ 분석입니다. 주 비교에는 헤드라인 텍스트와 이미지 ID를 모두 바꾼 적격 테스트 188건이 포함됩니다. 이는 설계 목록이며, 클릭 수나 캠페인 성과 분석이 아닙니다.

초록

불완전한 다변량 설계에도 헤드라인이나 이미지를 따로 비교할 기회가 남아 있을 수 있습니다. 헤드라인 텍스트와 이미지 ID를 모두 바꾼 Upworthy 테스트 188건 중 31건에는 모든 조합이 포함되어 있었습니다. 나머지 157건 중 150건에는 헤드라인이나 이미지 중 하나를 고정한 비교가 적어도 1개 있었고, 75건에는 두 종류의 비교가 모두 있었습니다. 이 수치는 어떤 조합이 있었는지를 설명하며, 테스트에서 신뢰할 만하거나 유용한 성과 결과를 얻었는지는 설명하지 않습니다. [1]

이 연구는 2013년 초부터 2015년 4월까지 진행된 웹사이트 실험의 과거 탐색용 부분집합을 사용합니다. 발췌문 텍스트를 고정하고, 배정 문제가 있었을 가능성이 기록된 기간은 주 분석 범위에서 제외합니다. 그 기간을 포함해도 큰 틀의 교훈은 같습니다. 불완전한 설계 199건 중 180건에 이런 비교가 적어도 1개 남아 있었습니다. 기업과 크리에이터에게 필요한 실무적 선택은 조합을 질문에 맞추는 것입니다. 완성 소재를 고를지, 한 요소를 비교할지, 2개 요소가 함께 작용하는 방식을 살펴볼지 정해야 합니다.

팀에서 캠페인 시안 2개를 준비했다고 가정해 보세요. 하나는 제품 이미지와 직접적인 헤드라인을 조합하고, 다른 하나는 다른 이미지와 더 대화체에 가까운 헤드라인을 사용합니다. 어느 한쪽의 성과가 더 좋다면 무엇을 알게 될까요?

적절히 진행한 비교는 이 완성 시안들 중 하나를 고르는 데 도움이 될 수 있습니다. 하지만 그 비교만으로 어떤 변화가 차이를 만들었는지는 알 수 없습니다. 다변량 테스트는 여러 조합에 걸쳐 둘 이상의 요소를 바꿉니다. 유용한 출발점은 그 조합들로 어떤 결정을 내리고 싶은지 묻는 것입니다.

시안 수만으로는 그 질문에 답할 수 없습니다. 헤드라인 시안 4개를 이미지 하나와 조합하면 그 조건에서 헤드라인을 비교할 수 있습니다. 헤드라인 2개와 이미지 2개를 모든 방식으로 짝지어도 조합은 4개지만, 가능한 비교는 달라집니다. 짝을 이루는 요소를 적어 두면 테스트를 시작하기 전에 그 차이가 드러납니다.

완성 소재에는 여러 선택이 담겨 있습니다

텍스트와 이미지 모듈을 따로 조립해 만든 캠페인 카드를 표현한 개념도입니다.
문자가 없는 개념도입니다. 카드는 소재의 구성 요소를 나타내며, 실제 Upworthy 조합이나 측정 결과, 제품 화면을 보여주지 않습니다.

불완전한 설계에도 유용한 비교가 남아 있는 경우가 많았습니다

개별 Upworthy 웹사이트 테스트 안의 헤드라인·이미지 조합을 살펴봤습니다. 주 분석 범위 조건을 충족한 테스트 3,212건 중 188건이 두 요소를 모두 바꿨습니다. 나머지 대부분은 둘 중 한 요소만 바꿨습니다. 각 테스트는 별도로 유지하고, 이를 본 사람이 몇 명이든 테스트마다 1건으로 셌습니다. [2]

188건 중 관측된 헤드라인과 이미지 ID의 모든 조합을 포함한 것은 31건뿐이었습니다. 나머지 157건은 불완전한 조합표였습니다. 이것만 보면 제약이 커 보이지만, 그 안에 어떤 비교가 남아 있는지 물어볼 필요가 있습니다. 이 설계 157건 중 75건에는 같은 이미지에서의 헤드라인 비교와 같은 헤드라인에서의 이미지 비교가 모두 있었습니다. 30건에는 전자만, 45건에는 후자만 있었습니다. 7건에는 둘 다 없었습니다.

모두 합하면 불완전한 설계 157건 중 150건, 즉 95.5%에 다른 요소를 고정한 채 한 요소를 비교하는 방법이 적어도 1개 남아 있었습니다. 그렇다고 어느 비교에서든 충분한 트래픽, 적절한 배정, 의미 있는 결과를 확보했다는 뜻은 아닙니다. 다만 ‘모든 조합을 테스트하지 않았다’는 이유만으로 설계를 배제하는 것은 지나치게 포괄적인 판단임을 보여줍니다.

표는 완전한 설계와 불완전한 설계를 함께 보여줍니다. 전체 188건 중 106건에는 두 종류의 비교가 모두 있었고, 30건에는 헤드라인 비교만, 45건에는 이미지 비교만, 7건에는 둘 다 없었습니다. ‘둘 다’는 각 종류의 비교가 적어도 1개씩 있다는 뜻입니다. 모든 헤드라인이나 이미지를 동등한 조건에서 비교할 수 있다는 뜻은 아닙니다.

원래 아카이브 논문도 편집자들이 가능한 모든 조합을 테스트하지 않고 조합을 고르는 경우가 많았다고 설명합니다. 이 연구는 그 선택 뒤에 어떤 비교가 가능한 상태로 남았는지 목록으로 정리했습니다. 각 편집자의 목적을 재구성하거나 설계가 그 목적을 달성했는지 판단할 수는 없습니다. [1]

두 요소를 모두 바꾼 설계 대부분에 구성 요소 비교가 남아 있었습니다

헤드라인 텍스트와 이미지 ID를 바꾼 과거 Upworthy 적격 테스트 188건입니다. 발췌문 텍스트는 같고 지정한 날짜 제한을 적용했습니다. 각 테스트의 가중치는 같습니다.

그림의 값 보기
설계에 포함된 비교테스트 수테스트 188건 중 비율
헤드라인·이미지 비교 모두10656.4%
헤드라인 비교만3016.0%
이미지 비교만4523.9%
요소별 비교 없음73.7%
범주 4개가 테스트 188건을 나눕니다. ‘둘 다’는 같은 이미지에서의 헤드라인 비교와 같은 헤드라인에서의 이미지 비교가 적어도 1개씩 있다는 뜻이며, 가능한 모든 비교를 뜻하지 않습니다. 이 건수는 설계상 가능한 비교를 설명하며 효과, 검정력, 캠페인 결과를 설명하지 않습니다.

설계 3가지는 서로 다른 질문에 답합니다

도예 공방이 주말 워크숍을 홍보한다고 가정해 보세요. 헤드라인은 A ‘나만의 첫 도자기 그릇을 만들어 보세요’와 B ‘토요일을 물레 앞에서 보내세요’의 2개입니다. 이미지 1은 완성된 그릇을, 이미지 2는 물레를 보여줍니다. 이는 이해를 돕기 위한 예시이며 Upworthy의 실제 사례나 측정한 캠페인 결과가 아닙니다. 혜택과 화면에 표시되는 다른 문구는 같게 유지한 채 가능한 설계 3가지를 살펴보세요.

첫째, 전체 조합표에는 A와 이미지 1, A와 이미지 2, B와 이미지 1, B와 이미지 2가 들어 있습니다. 팀은 이미지 1을 고정한 채 헤드라인을 비교하고, 이미지 2에서도 같은 헤드라인 비교를 할 수 있습니다. 각 헤드라인을 고정한 이미지 비교도 가능합니다. 셀 4개는 이런 기회를 제공하지만, 각 셀에서 얼마나 많은 근거를 수집할지는 입증하지 않습니다.

둘째, 일부 조합표에는 A와 이미지 1, B와 이미지 1, B와 이미지 2가 들어 있습니다. A와 이미지 2는 없습니다. 팀은 이미지 1을 고정한 채 A와 B를 비교할 수 있습니다. 이와 별도로 헤드라인 B를 고정한 채 이미지를 비교할 수도 있습니다. 셀 하나가 없다고 해서 이 비교 2개가 사라지지는 않습니다.

그러나 일부 조합표로는 셀 4개를 직접 비교해 답할 수 있는 다른 질문이 남습니다. 이미지 2에서도 A와 B의 차이가 같을까요? 활용할 A와 이미지 2의 결과가 없습니다. 또 관측한 조합 3개 중에서 고르는 것만으로 가능한 전체 조합 4개 중 가장 좋은 것을 찾을 수도 없습니다. 테스트하지 않은 조합은 다르게 작동할 수 있습니다.

셋째, 대각선 설계에는 A와 이미지 1, B와 이미지 2만 들어 있습니다. 이 조합 2개 사이에서 고정된 요소는 없습니다. 유효한 테스트라면 이 완성 시안 2개 중 하나를 고르는 근거는 될 수 있습니다. 하지만 그 비교만으로 헤드라인과 이미지가 각각 얼마나 기여했는지 따로 파악할 수는 없습니다.

이 설계들 중 언제나 가장 좋은 것은 없습니다. 특정 출시를 위해 승인된 콘셉트 2개 중 하나를 골라야 한다면 조합 비교가 공방의 과제에 맞을 수 있습니다. 여러 이미지에서 헤드라인을 재사용하려면 그처럼 더 넓은 선택과 관련된 근거가 필요합니다. 추가 조합은 팀이 실제로 가진 질문에 답할 때 포함할 이유가 생깁니다. [3]

예시 설계 3가지는 서로 다른 조합을 포함합니다

헤드라인 2개(A와 B)와 이미지 2개(1과 2)를 사용한 가상의 도예 공방 예시입니다. 이 셀들은 설계를 설명하는 예시이며 아카이브의 관측값이 아닙니다.

그림의 값 보기
헤드라인·이미지 조합전체 조합표일부 조합표대각선 설계
헤드라인 A + 이미지 1111
헤드라인 A + 이미지 2100
헤드라인 B + 이미지 1110
헤드라인 B + 이미지 2111
1은 포함, 0은 미포함을 뜻합니다. 완전 설계에는 셀 4개가 모두 있습니다. 일부 조합 설계는 A와 이미지 2를 뺍니다. 대각선 설계는 두 요소가 모두 다른 조합 2개를 비교합니다. 성과 값은 부여하지 않았습니다.

양방향으로 비교할 수 있어도 완전한 2×2 테스트는 아닙니다

아카이브는 이 차이를 구체적으로 보여줍니다. 두 종류의 비교가 모두 있는 설계 106건 중 74건에는 헤드라인 2개와 이미지 2개로 된 완전한 직사각형 조합이 단 하나도 없었습니다. 따라서 설계의 어느 한쪽에서는 헤드라인을, 다른 쪽에서는 이미지를 비교할 수 있어도 그 차이들을 직접 비교하는 데 필요한 셀 4개는 없을 수 있습니다.

공방의 일부 조합표를 다시 생각해 보세요. 이미지 1에서 A와 B를 비교하는 것은 한 가지 질문입니다. B에서 이미지 1과 이미지 2를 비교하는 것은 또 다른 질문입니다. 어느 쪽도 이미지가 바뀔 때 헤드라인 간 차이 자체가 달라지는지는 알려주지 않습니다. 이 세 번째 질문은 상호작용에 관한 것입니다. 한 요소와 반응 사이의 관계가 다른 요소에 따라 달라지는지 묻는 것입니다.

설계 188건 중 32건에는 적어도 1개의 완전한 직사각형 조합이 있었습니다. 여기에는 전체 조합표 31건과 규모가 더 큰 불완전한 조합표 1건이 포함됩니다. 이런 직사각형 조합이 있으면 상호작용을 직접 비교할 틀이 마련됩니다. 이것이 상호작용의 존재를 보여주지는 않으며, 다른 설계나 모형 가정 아래에서 상호작용을 연구할 수 있는 유일한 근거도 아닙니다.

캠페인 팀은 이 구분을 통계 모형보다 먼저 기획서에 담아야 합니다. ‘이 이미지로 이 헤드라인 2개를 비교하자’는 요청은 ‘우리 이미지 전반에 쓸 수 있는 헤드라인을 찾자’보다 범위가 좁습니다. 첫 질문에 답한 결과를 아무 설명 없이 두 번째 질문의 답으로 삼아서는 안 됩니다.

날짜 범위를 넓혀도 기획에 주는 교훈은 같습니다

주 목록에서는 생성일 범위가 2013년 6월 25일부터 2014년 1월 10일까지의 구간에 걸치는 테스트를 제외합니다. 아카이브 연구진은 그 기간에 배정 문제가 있었을 가능성을 확인했습니다. 이런 우려는 인과관계 연구에서 중요하지만, 조합 기록을 구조 목록에 사용할 수 없게 만들지는 않습니다. 따라서 그 기간을 포함해 비교를 반복했습니다. [4]

범위를 넓히면 두 요소를 모두 바꾼 테스트가 239건 있습니다. 40건에는 모든 조합이 있고, 199건은 불완전합니다. 불완전한 설계 중 180건, 즉 90.5%에 한 요소를 고정한 비교가 적어도 1개 남아 있으며, 93건, 즉 46.7%에는 두 종류가 모두 남아 있습니다. 이에 대응하는 주 분석 범위의 비율은 95.5%와 47.8%입니다. 정확한 비율은 달라져도 불완전한 설계에 특정 비교가 남아 있는 경우가 흔하다는 점은 같습니다.

텍스트 처리 방식도 점검했습니다. 주 분석은 헤드라인과 발췌문 문자열을 정확히 그대로 비교합니다. 앞뒤 공백을 제거하고 반복된 공백을 하나로 합치면 두 요소를 모두 바꾼 테스트가 189건이 됩니다. 전체 조합표는 31건, 두 종류의 비교를 모두 포함한 것은 108건, 완전한 직사각형 조합을 포함한 것은 32건입니다. 이 점검은 조건을 충족하는 설계가 무엇인지도 바꾸므로 자체 분모와 함께 건수를 표시합니다. [5]

조합 포함률의 중앙값은 3개 분석 범위 모두에서 50%입니다. 포함률은 관측한 헤드라인·이미지 조합 수를 그 테스트에서 관측한 헤드라인과 이미지 ID로 만들 수 있는 조합 수로 나눈 값입니다. 중앙값은 현황을 설명하며 품질 점수가 아닙니다. 빠진 조합은 관련이 없거나 부적절했거나 편집자가 의도한 비교의 범위 밖이었을 수 있습니다. 아카이브만으로 빠진 이유를 알 수는 없습니다.

범위를 바꿔도 조합 포함률과 가능한 비교의 구분은 유지됩니다

모든 열은 테스트 수를 세며, 각 행은 두 요소를 모두 바꾼 테스트의 자체 분모를 사용합니다. 텍스트 처리 점검은 주 분석의 날짜 제한을 유지하고, 전체 기간 점검은 정확한 텍스트 처리를 유지합니다.

그림의 값 보기
분석 범위두 요소를 모두 바꾼 테스트전체 조합표두 종류의 비교 모두적어도 1개의 완전한 2×2
주 분석 범위: 정확한 텍스트, 날짜 제한1883110632
공백 정규화 텍스트, 날짜 제한1893110832
정확한 텍스트, 전체 기간 포함2394013342
이 열들은 서로 겹치므로 더하면 안 됩니다. 전체 조합표에는 모두 두 종류의 비교와 완전한 2×2가 포함되지만, 그 역은 성립하지 않습니다. 전체 기간 목록은 구조만 다룹니다. 기록된 배정 위험 기간을 포함한 것이 인과 분석을 승인한다는 뜻은 아닙니다.

다음 테스트 기획서는 의사결정을 중심으로 작성하세요

도예 공방이라면 테스트가 끝난 뒤 무엇을 할지부터 정하세요. 워크숍 홍보용 완성 소재 하나를 고를까요? 이미지 하나는 유지하고 헤드라인을 고칠까요? 아니면 헤드라인 하나를 앞으로 여러 설계에 사용할까요? 각 결정에는 서로 다른 비교 조합이 필요합니다. 조합표가 더 크다고 해서 팀의 노력을 자동으로 더 잘 쓰는 것은 아닙니다.

완성 조합을 결정하려는 경우에는 각 구성 요소를 설명해 주겠다고 약속하지 말고 후보 조합을 나열하세요. 헤드라인을 결정하려는 경우에는 고정할 이미지를 명시하세요. 헤드라인 간 차이가 이미지 2개에 따라 달라지는지 살펴봐야 한다면 관련 조합 4개를 포함하거나 정당한 근거가 있는 대안 설계를 마련하세요. 반응 측정값, 배분, 관측 기간을 정하는 일은 이와 구분하세요.

조합을 추가하기 전에 그 조합이 타당한지 확인하세요. 특정 혜택에 맞춘 헤드라인은 특정 제품 이미지 하나에만 어울릴 수 있습니다. 조합표를 채우기 위해 부적절한 짝을 만들면 과제가 달라집니다. 대신 질문의 범위를 좁히거나 자연스럽게 조합할 수 있는 시안을 개발할 수 있습니다. 전체 조합표는 채운 표가 더 꼼꼼해 보이기 때문이 아니라, 그 비교가 결정에 도움이 될 때 유용합니다.

다음 항목으로 짧은 기획서를 작성하세요. 대괄호 안의 내용은 자신의 캠페인에 맞게 채울 부분이며 이 연구의 결과가 아닙니다.

테스트 후 내릴 결정: [완성 조합 선택, 특정 조건에서 명시한 요소 비교, 명시한 요소 조합 검토].

요소와 시안: [정확한 헤드라인 문구, 이미지 파일 또는 안정적인 ID, 그 밖에 달라지는 콘텐츠].

포함할 조합: [실제로 보여줄 헤드라인·이미지 쌍].

필요한 비교: [한 요소를 고정하는 쌍, 해당하는 경우 상호작용 질문을 뒷받침할 셀 4개].

근거 수집 계획: [반응 측정값, 대상과 배정, 노출 조건, 계획한 관측·검토 규칙].

결론의 범위: [설계가 뒷받침할 수 있는 내용, 의사결정 범위 밖에 남는 미시험 조합이나 조건].

예를 들어 셀 3개의 일부 조합 설계를 사용하는 공방은 이렇게 적을 수 있습니다. ‘이미지 1에서 헤드라인을 비교하고, 헤드라인 B에서 이미지를 비교하겠습니다. 헤드라인 A와 이미지 2의 조합은 테스트하지 않습니다.’ 이 문장은 설계가 부적절하다고 단정하지 않으면서 유용한 질문 2개와 빠진 비교를 드러냅니다.

클라이언트를 위해 작업하는 크리에이터도 수정한 썸네일과 제목을 논의할 때 같은 구분을 사용할 수 있습니다. 질문은 클라이언트가 어떤 시안이나 요소를 고르고 싶은지입니다. 다만 이 연구의 수치는 한 발행사의 웹사이트에서 나온 것이며, 현재 소셜 플랫폼이 소재 시안을 어떻게 배정하거나 측정하는지 입증하지 않습니다.

조합 옆에 질문을 함께 적으세요

그림 속 받침 3개에 서로 다른 완성 소재 쌍, 같은 이미지를 사용한 헤드라인 비교, 카드 4개로 된 조합표가 보입니다.
  1. 완성 소재 선택하기

    의사결정의 후보인 조합들을 비교하세요.

  2. 한 요소 비교하기

    필요한 비교에서 다른 요소는 고정하세요.

  3. 요소의 조합 살펴보기

    헤드라인 간 차이가 이미지에 따라 달라지는지 확인하는 데 필요한 조합을 포함하세요.

기획할 때 선택할 수 있는 3가지 방식을 표현한 개념도입니다. 카드에는 성과 결과가 표시되어 있지 않습니다. 예시에 쓰인 정확한 조합은 접근성을 갖춘 표에 나와 있습니다.

설계 목록을 만든 방법

원자료는 J. Nathan Matias, Kevin Munger, Marianne Aubin Le Quere, Charles Ebersole의 설명에 나온 Upworthy Research Archive의 공개 탐색용 파일입니다. 과거 2013–2015년 아카이브의 테스트 4,873건으로 묶인 조합 행 22,666개가 들어 있습니다. 헤드라인, 이미지 식별자, 발췌문, 테스트 식별자, 생성 타임스탬프, 아카이브 행 인덱스를 사용했습니다. 클릭 수, 노출 수, 편집자의 선택은 사용하지 않았습니다. [1] [6]

최종 설계 검토 계획에 앞서 구조 분석이 가능한지 확인했고, 그 결과가 질문에 영향을 주었습니다. 따라서 이 검토는 사전등록된 확증 연구가 아니라 탐색적 재분석입니다. 지정한 규칙은 활용 가능한 구조 필드를 가진 테스트를 유지하고, 주 분석의 날짜 제한을 적용하며, 각 테스트의 조합들에서 발췌문 텍스트가 같도록 요구합니다. 논문과 아카이브 문서가 그 필드의 표시 여부를 다르게 설명하므로 발췌문 제한은 보수적인 조치입니다. [6]

선정 표는 순차적인 제외 과정과 그 뒤에 남은 적격 테스트의 구성을 보여줍니다. 테스트 5건에는 헤드라인이나 이미지 ID가 없고, 그다음 1,050건은 날짜 범위 규칙을 충족하지 못하며, 606건은 발췌문이 달라집니다. 유지한 테스트 3,212건에는 헤드라인만 바꾼 1,624건, 이미지 ID만 바꾼 1,078건, 두 요소를 모두 바꾼 188건, 관측된 조합이 하나인 322건이 포함됩니다. 마지막 범주에도 원자료 행이 여러 개 있을 수 있습니다.

한 테스트 안에서 반복되는 동일한 헤드라인·이미지 쌍은 설계 셀 1개로 셉니다. 두 요소를 모두 바꾼 테스트 188건 중 5건에는 반복 셀이 있습니다. 전체 조합표는 그 테스트에서 관측한 헤드라인 문자열과 이미지 ID의 모든 짝을 포함합니다. 문자열이 다르다고 서로 다른 아이디어를 표현하는 것은 아니며, 이미지 ID가 다르다고 눈으로 보기에 다른 사진인 것도 아닙니다. 이미지 파일은 제공되지 않습니다.

결과에서는 사람, 노출, 기업이 아니라 각 설계를 같은 비중으로 셉니다. 현재의 마케팅 관행, 성과, 통계적 검정력을 입증하지 않습니다. 다운로드 자료는 분석 범위 점검 2개를 포함한 집계 결과와 재현 방법을 제공하므로, 독자는 관측된 조합과 그로부터 내린 결론의 차이를 살펴볼 수 있습니다. [7]

주 비교는 적격 테스트 3,212건 중 188건에서 시작합니다

공개 탐색용 파일의 테스트 4,873건에서 선정했습니다. 제외는 표시한 순서대로 적용합니다. 마지막 설계 범주 4개가 적격 테스트 3,212건을 나눕니다.

선정 단계와 모든 적격 범주 보기
그림의 값 보기
선정 단계 또는 적격 설계 범주테스트 수
최초 탐색용 테스트4,873
제외: 헤드라인 또는 이미지 ID 누락5
제외: 지정한 생성일 구간1,050
다음 제외: 발췌문 텍스트가 다름606
제외 후 적격3,212
적격: 헤드라인 변경, 이미지 고정1,624
적격: 이미지 변경, 헤드라인 고정1,078
적격: 헤드라인·이미지 모두 변경188
적격: 관측된 조합 1개322
순차적인 과정과 그 뒤의 구성으로 읽으세요. 4,873에서 5, 1,050, 606을 빼면 3,212입니다. 헤드라인만 바꾼 1,624건, 이미지만 바꾼 1,078건, 둘 다 바꾼 188건, 단일 조합인 322건을 합하면 3,212건입니다. 모든 행을 더하면 안 됩니다. 최소 실험군 수나 날짜 해석 점검에서 탈락한 테스트는 없었습니다.

CSV에는 그림 4개의 값 41개가 들어 있으며, 예시 설계의 셀은 관측한 건수·비율과 따로 표시되어 있습니다. ZIP에는 집계 결과, 테스트 구조 기록, 분석 코드가 들어 있습니다. 번역된 재현 안내가 제공됩니다. 원본 공개 아카이브는 별도로 다운로드하세요. 클릭 수나 노출 수 결과는 포함되어 있지 않습니다.

출처와 주

  1. Matias, J. Nathan; Munger, Kevin; Aubin Le Quere, Marianne; Ebersole, Charles(2021), The Upworthy Research Archive, a time series of 32,487 experiments in U.S. media, Scientific Data 8, 195. DOI: 10.1038/s41597-021-00934-7. Influence IQ의 분석은 탐색용 부분집합과 수정된 원자료 설명을 사용합니다. 원 논문은 편집자들이 모든 헤드라인·이미지 조합을 테스트하지 않는 경우가 많았다고 정성적으로 설명합니다.
  2. 주 분석에서 두 요소를 모두 바꾼 테스트의 분모는 188건입니다. 전체 조합표는 31건, 불완전한 조합표는 157건입니다. 불완전한 집단에는 두 종류의 비교가 모두 있는 75건, 헤드라인 비교만 있는 30건, 이미지 비교만 있는 45건, 둘 다 없는 7건이 포함됩니다. 따라서 150/157 = 95.5%에 적어도 한 종류의 비교가 남아 있습니다. 여기서 ‘비교’는 구조상 가능한 비교를 뜻하며, 추정한 효과나 유효성이 확인된 실험을 뜻하지 않습니다.
  3. 공방 설계 3가지는 예시입니다. 요인 2개에 각각 수준 2개가 있는 완전 설계에는 조합 4개가 모두 포함됩니다. 일부 조합만 있는 예시에서는 A와 이미지 2의 조합을 빼고, 대각선 예시에서는 A와 이미지 1, B와 이미지 2만 남깁니다. 셀 4개로 된 설계만으로 배정의 적절성, 충분한 표본 크기, 의미 있는 상호작용이 입증되지는 않습니다. NIST 핸드북은 완전 요인 설계와 그 조합을 설명합니다.
  4. 아카이브의 2024년 6월 정정 안내는 2013년 6월 25일부터 2014년 1월 10일까지 무작위 배정에 문제가 있었을 가능성을 밝히고, 그 기간을 이용한 인과 연구를 권장하지 않습니다. 다른 연구 용도는 명시적으로 유지합니다. 주 분석에서는 생성일 범위가 이 구간과 겹치는 테스트를 모두 제외합니다. 타임스탬프는 노출일을 입증하지 않으며 시간대도 알 수 없습니다. 전체 기간의 구조 점검에는 이 기록을 유지합니다.
  5. 공백 민감도 점검에서는 헤드라인과 발췌문 텍스트의 앞뒤 공백을 제거하고 내부의 연속된 공백을 하나로 합칩니다. 대소문자와 문장부호는 유지합니다. 테스트 8건이 새로 조건을 충족하고, 두 분석 범위에 공통으로 포함된 적격 테스트 1건은 구조 분류가 바뀝니다. 분모를 188건으로 고정하지 않고 다시 계산합니다. 두 요소를 모두 바꾼 테스트는 주 분석, 공백 처리, 전체 기간 범위에 각각 188건, 189건, 239건 있습니다.
  6. 고정한 탐색용 CSV는 upworthy-archive-exploratory-packages-03.12.2020.csv이며, OSF 파일 버전 1, 14,260,949바이트입니다. SHA-256은 8368313b060f4015a0c6fb34e6d788163cee29554144aba9390b14922eb9d8ce입니다. 파일에는 갱신된 문제 표시가 없으므로 날짜 제한은 별도로 도출합니다. 논문은 발췌문 텍스트가 표시되었다고 설명하지만, 아카이브 문서는 표시되지 않았을 것으로 여기는 필드에 이를 포함합니다. 발췌문을 고정하면 이처럼 해석이 엇갈리는 필드의 차이를 결과 차이의 원인으로 돌리는 일을 피할 수 있습니다.
  7. Cornell University는 Upworthy Research Archive와 관련 코드·문서를 크리에이티브 커먼즈 저작자표시 4.0 국제 라이선스로 공개합니다. Influence IQ는 이 파생 구조 분석을 제공하며, Upworthy나 아카이브 저자들의 보증을 뜻하지 않습니다. 분석 패키지에는 집계 결과, 테스트 구조 기록, 코드, 번역된 재현 안내가 들어 있습니다. 원본 공개 데이터는 아카이브에서 별도로 받으세요.

이 영문 글이 원본입니다. 모든 언어판은 같은 과거 Upworthy 탐색용 부분집합과 같은 예시 설계를 설명합니다. 번역된 결과를 현지 시장이나 현재 플랫폼의 기준치로 볼 수는 없습니다.

테스트 질문을 캠페인 계획과 연결하세요