이메일 A/B 테스트: 첫 1시간 뒤 무엇이 달라졌을까요?
이메일 테스트 보고서에서 1시간 후 한 버전이 앞섭니다. 나중에도 앞설까요? 차이는 얼마나 클까요? 이 과거 자료에서는 대부분의 우세가 유지됐지만 역전과 동률도 있어, 보고서에 관찰 시점과 수치를 함께 남길 이유가 됩니다.
원자료가 2022–2024년 캠페인 기록이라고 설명하는 SendGuard900K를 Influence IQ가 분석했습니다. 고객 ID 473개에 걸친 관찰 쌍 5,743개이며 대부분 발신자 이름 테스트입니다. 기록된 클릭 지표를 설명하며 사람만의 클릭, 매출, 대표성 있는 이메일 기준치가 아닙니다.
초록
초기 이메일 A/B 보고서는 어느 버전이 앞서는지 보여 줄 수 있지만 이후 비교 결과까지 확정하지는 못합니다. SendGuard900K에서 60분에 한 버전이 앞서던 관찰 쌍 4,712개 중 74.5%는 1,440분에도 우세를 유지했고 21.0%는 역전, 4.5%는 동률이 됐습니다. 지표는 기록된 고유 클릭 카운터를 보고된 이메일 발송 건수로 나눈 뒤 100을 곱한 값입니다. 버전별로 자체의 고정 발송 건수를 사용합니다. 원자료는 2022–2024년 기록이라고 설명하며, 적격 쌍 5,743개 중 5,647개는 발신자 이름 테스트였습니다. [1]
나머지 1,031개 쌍은 첫 1시간에 동률이었으며, 이후 57.0%에서는 한 버전이 다른 버전보다 앞섰습니다. 역전 쌍의 이후 차이 중앙값은 발송 100건당 기록된 클릭 0.110이었습니다. 결과는 발송 후 관찰 경과 시간, 우세·동률, 차이, 개수 맥락을 함께 보고할 근거가 됩니다. 진정한 승자, 최적 대기 시간, 최종 발송을 늦추는 효과를 식별하지 않습니다.
뉴스레터의 다음 발송을 준비한다고 가정해 보세요. A/B 보고서를 열어 한 버전이 앞서는 것을 보고 동료에게 다음 행동을 알려 줘야 합니다. ‘이 버전이 이겼어요’는 빠른 메시지입니다. 하지만 질문 2개를 빠뜨립니다. 얼마나 앞서며, 그 비교는 언제 기록됐나요?
같은 이메일 쌍의 첫 1시간과 24시간 기록을 비교했습니다. 대부분의 첫 1시간 우세는 유지됐습니다. 전체 설명에는 역전된 우세, 동률이 된 우세, 이후 차이가 생긴 동률도 포함됩니다. 이 경로들은 다음 발송 선택에 사용하기 전에 초기 보고서가 무엇을 말하는지 설명하는 데 도움이 됩니다.
같은 이메일 쌍의 관찰 시점 2개

첫 1시간의 우세는 대부분 유지됐지만 전부는 아니었습니다
60분에 적격 쌍 5,743개 중 4,712개는 우세가 있었습니다. 한 버전의 기록된 클릭 지표가 다른 버전보다 높았습니다. 각 버전 발송 후 1,440분, 즉 24시간에는 3,510개가 여전히 같은 버전에 유리했습니다. 다른 991개는 반대 버전에 유리했고 211개는 동률이었습니다. 우세로 시작한 쌍 중 유지 74.5%, 역전 21.0%, 동률 4.5%입니다. [2]
특정 기록 지표의 비교입니다. 각 버전의 고유 클릭 카운터를 보고된 이메일 발송 건수로 나누고 100을 곱합니다. 단위는 발송 100건당 기록된 클릭입니다. 우세는 차이가 아무리 작아도 이 지표가 더 높다는 뜻입니다. 통계적으로 유의한 결과라는 뜻은 아닙니다.
다수의 결과도 함께 봐야 합니다. 이 자료는 첫 1시간 보고서가 대체로 뒤집혔다고 보여 주지 않습니다. 유지, 역전, 이후 동률이 모두 있었다고 보여 줍니다. 초기 순서만 기록하는 보고서는 이후 경로의 차이를 잃습니다.
나중 순서가 달라져도 첫 1시간 보고서는 당시 기록된 정보를 정확히 설명할 수 있습니다. 역전을 ‘잘못된 승자’라고 부르면 더 나아간 주장이 됩니다. 나중 순서를 진실로 취급하고 초기 보고서가 현재의 우세 이상을 주장했다고 가정하기 때문입니다. 여기서는 관찰 2개를 모두 보존합니다. 기록상 순서의 변화이며 의사결정 시스템의 오류율이 아닙니다.
원자료 범위도 ‘이메일 A/B 테스트’라는 일반 표현보다 좁습니다. 적격 쌍 중 5,647개는 발신자 이름, 96개는 주제 라벨이었습니다. 발신자 이름 테스트가 분석의 98.3%입니다. 결과를 제목 줄 기준치나 모든 이메일 플랫폼에 대한 추정치로 제시해서는 안 됩니다.
아래 차트는 동률로 시작한 1,031개를 포함해 쌍 5,743개 전체를 분모로 씁니다. 관찰 경로가 모두 드러납니다. 역전 991개는 전체 쌍의 17.3%이지만 초기 우세 쌍 4,712개 중에서는 21.0%입니다. 수치 2개 모두 맞으며 서로 다른 질문에 답합니다.
경로 5개가 관찰 이메일 쌍 5,743개 전체를 설명합니다
원자료가 2022–2024년 자료로 설명하는 SendGuard900K에서 각 버전 발송 후 60분–1,440분입니다. 우세는 보고 이메일 발송 건수당 고유 클릭 카운터가 더 높다는 뜻이며 동률은 정확한 비율을 사용합니다.
| 관찰 경로 | 관찰 쌍 수 | 전체 쌍 5,743개 중 비율(%) |
|---|---|---|
| 초기 우세 유지 | 3,510 | 61.1% |
| 초기 우세 역전 | 991 | 17.3% |
| 초기 우세 → 동률 | 211 | 3.7% |
| 초기 동률 → 우세 | 588 | 10.2% |
| 초기 동률 유지 | 443 | 7.7% |
초기 동률은 출발점이 다릅니다
첫 1시간이 동률이면 유지하거나 역전할 우세 버전이 없습니다. 이 자료의 초기 동률 쌍 1,031개 중 588개는 나중에 우세가 생겼고 443개는 동률로 남았습니다. 초기 동률의 57.0%입니다. 다른 집단에서 시작하는 역전 비율에 더해서는 안 됩니다.
초기 동률 중 상당수는 기록 활동도 적었습니다. 동률 쌍 1,031개 중 655개는 첫 1시간의 고유 클릭 카운터가 버전 2개 모두 0이었습니다. 다른 동률은 카운터가 양수여도 비율이 정확히 같을 수 있습니다. 차트의 반올림 비율이 아니라 원래 카운터와 발송 합계로 같음을 분류합니다. [3]
보고 팀은 ‘기록된 지표에 우세가 없다’와 ‘버전 2개의 성과가 같다’를 구분할 수 있습니다. 전자는 명시한 경과 시점의 관찰입니다. 후자에는 현상을 서술하는 이 비교가 제공하지 않는 근거가 필요합니다. 일부 동률이 나중에 갈라졌다고 해서 앞서 어느 버전을 골라야 했는지 확정되지는 않습니다.
실제 자료 개수로 짧게 계산해 분모를 확인할 수 있습니다. 초기 동률의 이후 변화를 설명하려면 588을 1,031로 나누세요. 초기 우세 중 역전을 설명하려면 991을 4,712로 나누세요. 전체 적격 쌍을 묻는 경우에만 어느 개수든 5,743으로 나누세요. 보고서 제목에 출발 집단을 명시해야 합니다.
우세 버전의 변화만으로 차이의 크기는 알 수 없습니다
역전 쌍 991개의 절대 차이 중앙값은 첫 1시간에 발송 100건당 기록된 클릭 0.062, 24시간에 0.110이었습니다. 버전 2개의 기록 지표 차이이며 추가 인원, 기여 구매, 매출 증감률이 아닙니다. [3]
차이를 읽을 때 발송 분모가 중요합니다. 발송 합계가 다른 버전을 비교하려면 원시 클릭 카운터의 차이만으로는 부족합니다. 먼저 각 카운터를 자체의 보고 발송 합계로 나눠야 합니다. 이 지표의 차이 0.110을 상대 개선율 0.110%라고 설명해서도 안 됩니다. 발송 100건당 척도의 절대 차이이며 매출 가치를 붙이지 않습니다.
이후 차이의 크기는 다양했습니다. 역전 쌍의 가운데 50%는 발송 100건당 기록된 클릭 약 0.025–0.336 사이였습니다. 중앙값은 집단의 가운데 위치를 설명하며 모든 역전이 작았다는 뜻은 아닙니다. 작은 차이에서도 순서가 바뀔 수 있고 일부 기록 차이는 훨씬 컸습니다.
다른 경로도 유용한 맥락입니다. 우세 유지 쌍의 이후 차이 중앙값은 0.291, 동률에서 우세로 바뀐 쌍은 0.444였습니다. 이후 동률의 차이는 정의상 정확히 0입니다. 표는 역전만 강조하지 않고 경로 5개를 함께 유지합니다.
초기·이후 열은 각 행 안에서 따로 구한 중앙값입니다. 대표 쌍 1개를 따라가는 값이 아니며, 서로 빼도 쌍별 변화의 중앙값이 되지 않습니다. 관찰 시점별 차이의 요약으로 읽으세요. 비교 방향을 설명하려면 크기와 함께 경로 라벨을 사용하세요.
이 집단은 관찰 시점 2개에서 일어난 일로 정의합니다. 차이의 중앙값을 새 캠페인의 역전을 미리 식별하는 규칙으로 쓸 수 없습니다. 특히 역전 쌍의 더 작은 초기 중앙값은 보고서를 언제 믿고 행동해도 되는지 판단하는 검증된 기준이 아닙니다.
차이 옆에는 개수 맥락도 있어야 합니다. 첫 1시간 우세 쌍 4,712개 전체에서 버전 2개의 고유 클릭 카운터 합계 중앙값은 9였습니다. 그중 488개 쌍은 합계가 정확히 1이었습니다. 초기 우세 집단의 출발 근거를 설명하며, 그 특정 쌍들이 역전 합계를 만들었다거나 낮은 카운터가 변화를 설명한다고 보여 주지는 않습니다.
관찰 경로 5개에 따라 차이 중앙값이 다릅니다
원자료가 2022–2024년 자료로 설명하는 SendGuard900K에서 60분·1,440분의 버전 2개 간 기록 클릭 지표 절대 차이입니다. 각 지표는 고유 클릭 카운터를 보고 이메일 발송 건수로 나눈 뒤 100을 곱한 값입니다.
| 관찰 경로 | 관찰 쌍 수 | 60분의 차이 중앙값(발송 100건당 기록된 클릭) | 1,440분의 차이 중앙값(발송 100건당 기록된 클릭) |
|---|---|---|---|
| 초기 우세 유지 | 3,510 | 0.175 | 0.291 |
| 초기 우세 역전 | 991 | 0.062 | 0.110 |
| 초기 우세 → 동률 | 211 | 0.295 | 0.000 |
| 초기 동률 → 우세 | 588 | 0.000 | 0.444 |
| 초기 동률 유지 | 443 | 0.000 | 0.000 |
시점과 고객 구성을 확인하면 무엇이 달라졌을까요?
결과 계산 전에 추가 비교를 고정했습니다. 60분 대신 30분에 시작하면 초기 우세 쌍은 4,507개였고, 그중 24.3%가 1,440분까지 역전됐습니다. 첫 1시간 결과는 우세 쌍 4,712개 중 21.0%였습니다. 분모 차이가 중요합니다. 어떤 쌍은 한 시점에는 동률이고 다른 시점에는 우세였습니다. [4]
30분을 더 기다리면 잘못된 결정의 특정 비율을 막는다고 입증하지 않습니다. 계산 2개는 다른 경과 시점의 관찰 순서를 설명합니다. 대기 정책을 무작위 배정하거나 최종 발송 결정의 결과를 평가하지 않습니다.
첫 1시간 비교를 버전 2개의 기록된 발송 타임스탬프가 같은 쌍 686개로도 한정했습니다. 초기 우세 560개 중 19.6%가 나중에 역전됐습니다. 기록 데이터의 시점 차이 1개를 줄이는 점검입니다. 타임스탬프가 같아도 동시 도착이나 같은 대상 노출을 입증하지는 않습니다.
일부 고객 ID는 다른 ID보다 훨씬 많은 쌍을 제공합니다. 주요 계산은 각 쌍에 같은 가중치를 줍니다. 별도 점검은 첫 1시간 우세가 1개 이상인 고객 ID 403개 각각에서 역전 비율을 구한 뒤 ID마다 같은 가중치를 줍니다. 평균은 19.2%입니다. 각 역전 비율의 평균이며 역전을 겪은 고객의 비율이 아닙니다. [4]
고정 점검을 함께 보면 실무 문제는 유지됩니다. 관찰된 초기 우세는 유지, 역전, 동률이 될 수 있습니다. 보편적인 역전 확률은 제공하지 않습니다. 자료에는 고객 ID 안의 반복 기록이 있으며 그 ID들은 검증된 독립 기업 표본이 아닙니다.
고정 비교 3가지의 역전 비율
원자료가 2022–2024년 자료로 설명하는 SendGuard900K에서 이후 역전 수를 초기 관찰 시점에 한 버전이 앞선 쌍 수로 나눈 비율입니다. 이후 관찰 시점은 항상 각 버전 발송 후 1,440분입니다.
| 비교 | 초기에 한 버전이 앞선 쌍 수 | 초기 우세 쌍 중 이후 역전(%) |
|---|---|---|
| 60분–1,440분: 전체 적격 쌍 | 4,712 | 21.0% |
| 30분–1,440분: 전체 적격 쌍 | 4,507 | 24.3% |
| 60분–1,440분: 기록 발송 타임스탬프 동일 | 560 | 19.6% |
다음 발송을 고르는 사람에게 승자 라벨 이상의 정보를 주세요
유용한 보고서는 결정할 일에서 시작합니다. 받는 사람은 다음 발송을 고르나요, 끝난 테스트를 기록하나요, 계획 회의를 위해 과거 테스트를 검토하나요? 첫 1시간 관찰은 각각에 관련될 수 있지만 한 작업용 보고서가 다른 작업에 필요한 정보를 빠뜨릴 수 있습니다.
우세 버전을 말하기 전에 테스트 변수와 지표를 명시하세요. 여기서는 발신자 이름 또는 주제와, 보고된 발송 100건당 고유 클릭 카운터입니다. 도착한 이메일, 검증된 사람 클릭, 구매를 쓰는 팀은 그 정의를 밝혀야 합니다. 지표를 드러내 두면 이후 비교도 해석하기 쉽습니다.
그다음 우세·동률 옆에 관찰 시점을 두세요. 지표 2개의 차이와 버전별 원래 카운터·발송 합계를 포함하세요. 읽는 사람은 강조된 행에서 3가지를 모두 추측하지 않고 방향, 차이, 그 뒤의 기록 활동을 볼 수 있습니다.
인계 문장 예시는 이렇습니다. ‘[관찰 시점]에 [버전 또는 동률]이 [정의한 지표]의 현재 순서를 설명합니다. 차이는 [값]이며 근거는 [카운터와 발송 합계]입니다.’ 괄호는 실제 보고서로 채울 항목이며 이 연구의 캠페인 결과가 아닙니다. 별도 문장으로 선택한 행동과 이유를 기록해야 합니다.
이후 관찰 시점이 있다면 초기 관찰을 보존하고 우세가 유지·역전·동률 중 무엇이 됐는지 보여 주세요. 사후 검토에서 당시 알려진 것과 이후 기록된 것을 구분할 수 있습니다. 이미 우세가 있는 쌍만 다룬다고 명시하지 않는 한 동률로 시작한 쌍도 포함하세요.
버전 선택은 여전히 캠페인 목표, 전달 제약, 측정 품질, 각 선택의 비용에 달려 있습니다. 자료는 그 규칙을 정하지 않습니다. ‘승자’라는 단어 1개가 관찰과 결정을 함께 대신하지 않게 할 유용한 이유를 제공합니다.
이메일의 초기 평가는 이미 연구되어 온 질문입니다
선행 연구는 이미 이메일 성과를 시간에 따라 전개되는 것으로 다룹니다. Bonfrer와 Drèze의 “Real-Time Evaluation of E-mail Campaign Performance”는 2008년 온라인, 2009년 Marketing Science에 출판됐으며, 캠페인 25개로 평가한 예측 방법과 순차적 의사결정 틀을 설명합니다. 초기·이후 결과가 다를 수 있다는 일반적인 생각은 새롭지 않습니다. [5]
이 분석은 다른 자료로 현상을 서술하는 더 좁은 질문에 답합니다. 적격 쌍에서 기록 순서가 얼마나 자주 유지·역전·동률이 됐고 각 경로에 어떤 차이가 있었을까요? 초기 동률을 드러내고 고정된 시점·가중치 선택에 따라 설명이 달라지는지 확인합니다.
결과를 읽을 때 이 구별이 중요합니다. 예측 모델은 가정 아래 다음에 일어날 일을 추정합니다. 이 표는 공개 기록의 지정 경과 시점에 무엇이 있는지 설명합니다. 관찰 비율은 팀이 보고서를 설명하는 방식에 참고할 수 있지만 다음 캠페인 버전을 고르는 모델은 아닙니다.
기록된 쌍의 비교 방법
SendGuard900K에는 공개 캠페인 기록 908,229개가 있습니다. 원자료 설명은 2022–2024년 실제 운영 메타데이터라고 명시합니다. 고객 ID와 테스트 ID 조합으로 식별한 집단 6,801개를 점검한 뒤, 관찰된 적격 테스트 부분 기록이 정확히 2개이고 보고된 발송 건수가 양수인 집단 5,743개를 유지했습니다. 최종 발송 기록은 쌍 비교에서 제외하며 해당 기록의 존재를 요구하지는 않았습니다. [1] [6]
유지한 쌍은 고객 ID 473개에 걸쳐 있습니다. 적격 관찰 기록이 정확히 2개라고 해서 원실험마다 설정 버전이 2개뿐이었거나, 보관 자료가 완전하거나, 대상이 무작위로 배정됐다고 확정되지는 않습니다. 따라서 완전한 무작위 실험의 검증된 집합이 아니라 관찰 쌍으로 설명합니다.
버전마다 30분, 60분, 1,440분의 고유 클릭 카운터와 자료의 같은 보고 발송 분모를 사용합니다. 관찰 시점은 각각 해당 버전 발송을 기준으로 잽니다. 주요 쌍의 실제 발송 시각이 같을 필요는 없습니다. 같은 타임스탬프 점검은 모든 쌍에 적용하는 가정이 아니라 별도 제한입니다.
적격 쌍의 필수 카운터는 모두 있고 유효한 0 이상 값이며, 보고 발송 건수를 넘는 값은 없었습니다. 관찰 시점 3개에 걸쳐 감소한 카운터도 없었습니다. 기록 산술을 뒷받침하는 점검이지만 고유 클릭의 의미, 봇 필터링, 도착, 이후 관찰이 최종 반응을 전부 담는지는 확정하지 못합니다. [6]
반올림 전에 원래 비율을 정확히 비교해 우세·동률을 정합니다. 차이는 발송 100건당 기록된 클릭의 절대 차이입니다. 중앙값과 다른 분위수는 값을 정렬하고 보간 없이 지정 순위 값을 고르는 최근접 순위 규칙을 사용합니다. 도표는 비율을 소수점 1자리, 차이 중앙값을 3자리로 반올림하며, 도표 다운로드는 해당하는 경우 소수점 6자리를 보존합니다.
결과를 읽기 전에 적격 구조, 관찰 시점, 경로 5개, 개수·차이 요약, 시점 점검, 고객별 동일 가중치 계산을 고정했습니다. 0 개수와 품질 점검을 포함한 고정 집계 표 전체를 연구 다운로드에 남깁니다. 독립적인 원자료 재현이 집계 출력 전체와 일치했습니다. 자료를 서술하는 결과로 신뢰구간, 유의성 검정, 업계 대표 표본이라는 주장은 없습니다. [7]
도표 CSV에는 도표 3개의 표시 행 13개에서 나온 숫자 값 31개가 데이터 행마다 1개씩 있습니다. ZIP은 집계 표 11개 전체, 원자료 점검, 재현 코드를 보존합니다. 캠페인 단위 행이나 고객·테스트 식별자는 없습니다. 번역된 지침이 포함되며 분석 재현에는 원자료 파일을 따로 다운로드해야 합니다. 숫자 다운로드는 소수점으로 마침표를 사용합니다.
출처 및 주석
- 출처: Bobek, Nalepa, Obara, Suszalski, Bałec, SendGuard900K: Massive Dataset for Metadata-Based Quality Assurance of Email Marketing, 버전 1.0.0. 원자료는 2022–2024년 캠페인 메타데이터라고 명시하며 저작권은 Freshmail, 2025로 표시합니다. 분석은 캠페인 행 908,229개 전체가 아니라 적격 관찰 쌍 5,743개를 사용합니다. 이 중 5,647개는 sender_name, 96개는 topic 라벨입니다.
- 첫 1시간에 한 버전이 앞선 쌍 4,712개 중 3,510개는 우세 유지, 991개는 역전, 211개는 이후 동률로 각각 74.5%, 21.0%, 4.5%입니다. 초기 동률 1,031개 중 588개는 한 버전이 앞서게 됐고 443개는 동률 유지로 57.0%, 43.0%입니다. 경로 5개 도표는 대신 각 개수를 전체 쌍 5,743개로 나눕니다. 표시 반올림 전에 계산한 값입니다.
- 지표는 고유 클릭 카운터를 버전의 고정 보고 발송 건수로 나누고 100을 곱한 값입니다. 우세·동률은 반올림 표시가 아니라 정확한 비율로 분류합니다. 절대 차이의 단위는 발송 100건당 기록된 클릭입니다. 역전 쌍의 이후 중앙값은 0.109543, 1·3사분위수는 0.024817과 0.336215입니다. 경로 5개 중앙값 표에 표시된 차이 0은 모두 정확한 0입니다.
- 30분 비교에서 초기 우세가 있는 쌍 4,507개에는 이후 역전 1,093개가 포함됩니다. 기록 타임스탬프 동일 제한의 쌍 686개에는 초기 우세 쌍 560개와 역전 110개가 있습니다. 고객별 동일 가중치 주요 결과는 초기 우세가 1개 이상인 고객 ID 403개의 ID 내 역전 비율을 평균냅니다. 평균은 19.227847%이며 고객 인원수 비율이나 대표 기업 추정치가 아닙니다.
- Bonfrer와 Drèze, Real-Time Evaluation of E-mail Campaign Performance, Marketing Science 28(2), 251–263쪽. 2008년 10월 7일 온라인 출판, 2009년 호. 발표 기관 초록은 예측 분할 위험 접근, 캠페인 25개, 순차적 의사결정 틀을 설명합니다. 이메일 초기 평가의 선행 역사를 뒷받침하며 이 분석이 자료를 서술한 비율을 검증하지는 않습니다.
- 고정 원자료 점검은 고객·테스트 복합 집단마다 적격 관찰 테스트 부분 기록을 정확히 2개 유지하고 최종 발송 행은 제외합니다. 공개 필드는 발송 시계의 시작·종료 기준이나 발송 소요 시간, 클릭 중복 판정 키, 사람만의 활동, 도착 이메일 분모, 원실험 배정의 완전성, 추출 자료의 충분한 경과 여부를 모두 확정하지 못합니다. 유효하고 감소하지 않는 카운터만으로 그 한계가 해결되지 않습니다. 같은 기록 발송 타임스탬프는 동시 도착을 입증하지 않습니다.
- SendGuard900K는 Creative Commons Attribution 4.0 International로 공개됩니다. 연구 묶음에는 분석 코드, 고정 방법, 파생 집계 표가 있으며 캠페인 단위 기록이나 고객·테스트 식별자는 재배포하지 않습니다. 원자료 재현에는 원본 파일을 별도로 다운로드해야 합니다. 공유 묶음에는 번역된 지침이 포함됩니다.
영어 기사가 원문판입니다. 모든 언어판은 원자료가 2022–2024년 기록이라고 명시한 같은 과거 SendGuard900K 자료를 설명합니다. 번역해도 결과가 현지 시장이나 현재 업계의 기준치가 되지는 않습니다.
