Thử nghiệm email A/B: điều gì đổi sau giờ đầu

Báo cáo thử nghiệm email cho thấy 1 phiên bản dẫn đầu sau 1 giờ. Liệu phiên bản đó còn dẫn đầu về sau, và chênh lệch lớn đến đâu? Trong kho dữ liệu lịch sử này, phần lớn phiên bản giữ được vị trí dẫn đầu, nhưng các trường hợp đảo chiều hoặc bằng nhau cho thấy cần ghi cả mốc quan sát lẫn số liệu trong báo cáo.

Phân tích SendGuard900K của Influence IQ, nguồn khai báo bản ghi chiến dịch 2022–2024. Nghiên cứu gồm 5.743 cặp quan sát ở 473 mã khách hàng, chủ yếu thử tên người gửi. Mô tả thước đo nhấp ghi nhận, không phải nhấp chỉ từ người thật, doanh thu hay chuẩn email đại diện.

Tóm tắt

Báo cáo email A/B ở thời điểm sớm có thể xác định phiên bản đang dẫn đầu mà chưa cho biết phép so sánh sẽ ra sao về sau. Trong 4.712 cặp quan sát của SendGuard900K có bên dẫn đầu ở phút 60, 74,5% vẫn có cùng phiên bản dẫn đầu ở phút 1.440, 21,0% đổi phiên bản dẫn đầu và 4,5% trở thành bằng nhau. Thước đo là bộ đếm lượt nhấp duy nhất được ghi nhận chia cho số email được báo cáo là đã gửi, rồi nhân 100. Mỗi phiên bản dùng mẫu số cố định là số email đã gửi của chính phiên bản đó. Nguồn khai báo các bản ghi thuộc giai đoạn 2022–2024; 5.647 trong 5.743 cặp đủ điều kiện là thử nghiệm tên người gửi. [1]

1.031 cặp còn lại bằng nhau ở giờ đầu; 57,0% về sau có 1 phiên bản dẫn đầu. Các cặp đảo chiều có trung vị chênh lệch về sau là 0,110 lượt nhấp được ghi nhận trên 100 email đã gửi. Kết quả cho thấy báo cáo cần trình bày cùng nhau thời gian đã trôi qua kể từ lúc gửi, phiên bản dẫn đầu hoặc trạng thái bằng nhau, chênh lệch và số đếm làm căn cứ. Kết quả không xác định phiên bản thực sự thắng, thời gian chờ tối ưu hay tác động của việc trì hoãn gửi rộng.

Giả sử bạn chuẩn bị lần gửi bản tin tiếp. Mở báo cáo A/B, thấy một phiên bản dẫn và cần báo đồng nghiệp làm gì. “Bản này thắng” là tin nhắn nhanh. Nhưng bỏ qua 2 câu: dẫn bao xa và so sánh được ghi lúc nào?

Chúng tôi so sánh bản ghi giờ đầu với bản ghi sau 24 giờ của cùng các cặp email. Phần lớn phiên bản dẫn đầu trong giờ đầu vẫn giữ được vị trí đó. Bức tranh đầy đủ còn gồm các trường hợp đổi phiên bản dẫn đầu, từ có bên dẫn đầu thành bằng nhau và từ bằng nhau thành có bên dẫn đầu. Những diễn biến này giúp giải thích báo cáo sớm cho biết điều gì trước khi dùng báo cáo để chọn lần gửi tiếp theo.

Cùng cặp email ở 2 mốc

2 ô trong suốt, mỗi ô có phong bì xanh navy dấu tròn và phong bì xanh xô thơm dấu thoi dưới viền đồng hồ không kim. Dải vàng nối hai ô.
Minh họa khái niệm cùng 2 bản email quan sát ở 2 mốc.

Phần lớn bên dẫn giờ đầu vẫn dẫn, nhưng không phải tất cả

Ở phút 60, 4.712 trong 5.743 cặp đủ điều kiện có bên dẫn: một phiên bản có thước đo nhấp ghi nhận cao hơn bản kia. Ở phút 1.440, tức 24 giờ sau lúc gửi từng bản, 3.510 vẫn nghiêng về cùng bản. 991 nghiêng bản còn lại, 211 bằng nhau. Tức 74,5% giữ, 21,0% đảo và 4,5% bằng trong cặp ban đầu có bên dẫn. [2]

Đây là phép so sánh một thước đo được ghi nhận cụ thể. Chúng tôi chia bộ đếm lượt nhấp duy nhất của từng phiên bản cho số email được báo cáo là đã gửi của phiên bản đó, rồi nhân 100. Đơn vị thu được là lượt nhấp được ghi nhận trên 100 email đã gửi. Dẫn đầu nghĩa là thước đo có giá trị cao hơn, dù chênh lệch nhỏ đến đâu. Điều đó không có nghĩa kết quả có ý nghĩa thống kê.

Cần giữ rõ đa số. Kho này không cho thấy báo cáo giờ đầu nói chung bị đảo ngược. Nó cho thấy giữ nguyên, đảo chiều và bằng nhau về sau đều xảy ra. Báo cáo chỉ ghi thứ tự sớm mất phân biệt các diễn biến sau.

Báo cáo giờ đầu có thể mô tả đúng thông tin lúc đó dù thứ tự sau khác. Gọi đảo chiều là “bên thắng sai” sẽ đi xa hơn: coi thứ tự sau là sự thật, mặc định báo cáo sớm khẳng định hơn việc đang dẫn. Ở đây giữ cả hai quan sát. So sánh cho thấy đổi thứ tự ghi nhận, không phải tỷ lệ lỗi hệ thống quyết định.

Nguồn cũng hẹp hơn cụm “thử nghiệm email A/B” nói chung gợi ra. Trong cặp đủ điều kiện, 5.647 có nhãn tên người gửi, 96 nhãn chủ đề. Vì vậy thử tên người gửi chiếm 98,3% phân tích. Không nên trình bày kết quả như chuẩn dòng tiêu đề hay ước lượng cho mọi nền tảng email.

Biểu đồ dưới dùng cả 5.743 cặp làm mẫu số, gồm 1.031 ban đầu bằng nhau. Như vậy mọi diễn biến quan sát được hiện rõ. 991 đảo chiều là 17,3% mọi cặp nhưng 21,0% của 4.712 cặp có bên dẫn sớm. Cả hai đúng; trả lời câu khác nhau.

5 diễn biến bao phủ cả 5.743 cặp email quan sát

Từ phút 60 đến 1.440 sau lúc gửi mỗi bản trong SendGuard900K, nguồn ghi kho thuộc 2022–2024. Dẫn là bộ đếm nhấp duy nhất trên email báo cáo đã gửi cao hơn; bằng dùng tỷ số chính xác.

Đọc giá trị biểu đồ
Diễn biến quan sátCặp quan sátTỷ lệ cả 5.743 cặp (%)
Giữ bên dẫn sớm3.51061,1%
Đảo bên dẫn sớm99117,3%
Dẫn sớm thành bằng2113,7%
Bằng sớm thành có bên dẫn58810,2%
Bằng sớm vẫn bằng4437,7%
Mọi tỷ lệ ở đây dùng cả 5.743 cặp. 3 hàng đầu cùng chứa 4.712 cặp dẫn sớm; 2 hàng cuối có 1.031 cặp bằng sớm. Tỷ lệ có điều kiện đảo và tách bằng trong bài dùng nhóm xuất phát riêng đó.

Bằng nhau ban đầu là điểm xuất phát khác

Báo cáo giờ đầu bằng nhau không có bản dẫn để giữ hay đảo. Trong kho, 588 trên 1.031 cặp bằng nhau sớm về sau có bên dẫn, 443 vẫn bằng. Tức 57,0% nhóm bằng sớm. Không nên cộng vào tỷ lệ đảo chiều vốn bắt đầu từ nhóm khác.

Nhiều cặp bằng sớm cũng ít hoạt động ghi nhận. Trong 655 trên 1.031 cặp, cả hai bộ đếm nhấp duy nhất giờ đầu bằng 0. Trường hợp bằng khác có thể có bộ đếm dương với tỷ số bằng chính xác. Chúng tôi phân loại bằng từ số đếm và tổng gửi nền, không từ tỷ lệ biểu đồ làm tròn. [3]

Với nhóm báo cáo, điều này tách “không có bên dẫn trong thước đo ghi nhận” khỏi “2 bản hiệu quả bằng nhau”. Vế đầu là quan sát tại thời điểm từ lúc gửi được nêu. Vế sau cần bằng chứng so sánh mô tả này không cung cấp. Một số cặp tách về sau không xác lập bản nên chọn sớm hơn.

Có thể kiểm tra mẫu số bằng phép tính ngắn từ số đếm thật trong kho. Chia 588 cho 1.031 để mô tả cặp bằng sớm. Chia 991 cho 4.712 để mô tả đảo chiều trong bên dẫn sớm. Chỉ chia cho 5.743 khi câu hỏi về mọi cặp đủ điều kiện. Tiêu đề báo cáo nên nêu rõ nhóm xuất phát.

Đổi bên dẫn không mô tả độ lớn chênh lệch

991 cặp đảo chiều có trung vị chênh lệch tuyệt đối là 0,062 lượt nhấp được ghi nhận trên 100 email đã gửi ở giờ đầu và 0,110 sau 24 giờ. Đây là chênh lệch giữa thước đo được ghi nhận của 2 phiên bản, không phải số người tăng thêm, lượt mua được quy cho chiến dịch hay phần trăm thay đổi doanh thu. [3]

Mẫu số là số email đã gửi có ý nghĩa khi đọc chênh lệch này. Chênh lệch giữa các bộ đếm lượt nhấp thô chưa đủ để so sánh những phiên bản có tổng số email đã gửi khác nhau. Trước hết, phải chia mỗi bộ đếm cho tổng số email được báo cáo là đã gửi của chính phiên bản đó. Cũng không nên mô tả chênh lệch 0,110 của thước đo này là mức cải thiện tương đối 0,110%: đây là chênh lệch tuyệt đối trên thang tính cho mỗi 100 email đã gửi, không gắn với giá trị bán hàng.

Chênh lệch về sau có độ lớn khác nhau. Với các cặp đảo chiều, nửa giữa của các mức chênh lệch nằm trong khoảng xấp xỉ 0,025 đến 0,336 lượt nhấp được ghi nhận trên 100 email đã gửi. Vì vậy, trung vị mô tả một vị trí điển hình trong nhóm, không có nghĩa mọi trường hợp đảo chiều đều có chênh lệch nhỏ. Thứ tự có thể đổi khi chênh lệch nhỏ, và một số chênh lệch được ghi nhận lớn hơn nhiều.

Diễn biến khác cung cấp bối cảnh hữu ích. Cặp giữ bên dẫn có trung vị chênh sau 0,291. Cặp từ bằng thành dẫn có trung vị 0,444. Bằng về sau có chênh đúng 0 theo định nghĩa. Bảng giữ cả 5 diễn biến thay vì chỉ nổi bật đảo chiều.

Các cột sớm và muộn là những trung vị được tính riêng trong từng hàng. Chúng không mô tả diễn biến của 1 cặp điển hình; lấy hiệu của chúng cũng không cho trung vị của mức thay đổi giữa các cặp. Hãy đọc chúng như số liệu tóm tắt chênh lệch tại từng mốc. Để mô tả chiều của phép so sánh, hãy đọc nhãn diễn biến cùng với độ lớn chênh lệch.

Các nhóm được định nghĩa bằng điều xảy ra ở cả hai mốc. Trung vị chênh không dùng làm quy tắc dự báo đảo chiều chiến dịch mới. Đặc biệt, trung vị sớm nhỏ hơn ở cặp đảo không phải ngưỡng xác thực để quyết định khi nào báo cáo an toàn làm căn cứ hành động.

Bối cảnh số đếm cần cạnh chênh. Trong cả 4.712 cặp dẫn giờ đầu, trung vị tổng bộ đếm nhấp duy nhất của 2 bản là 9. Ở 488 cặp, tổng đúng 1. Nó mô tả bằng chứng ban đầu của bên dẫn sớm; không cho thấy các cặp đó gây tổng đảo chiều hay số đếm thấp giải thích thay đổi.

Trung vị chênh khác giữa 5 diễn biến quan sát

Chênh tuyệt đối thước đo nhấp ghi nhận của 2 bản tại phút 60 và 1.440 trong SendGuard900K, nguồn ghi kho thuộc 2022–2024. Mỗi thước đo là bộ đếm nhấp duy nhất chia email báo cáo đã gửi, nhân 100.

Đọc giá trị biểu đồ
Diễn biến quan sátCặp quan sátTrung vị chênh lệch ở phút 60 (lượt nhấp được ghi nhận trên 100 email đã gửi)Trung vị chênh lệch ở phút 1.440 (lượt nhấp được ghi nhận trên 100 email đã gửi)
Giữ bên dẫn sớm3.5100,1750,291
Đảo bên dẫn sớm9910,0620,110
Dẫn sớm thành bằng2110,2950,000
Bằng sớm thành có bên dẫn5880,0000,444
Bằng sớm vẫn bằng4430,0000,000
Chênh lệch được tính bằng lượt nhấp được ghi nhận trên 100 email đã gửi, không phải tỷ lệ nhấp đã xác minh là từ người thật hay số lượt mua tăng thêm. Mỗi trung vị dùng các cặp trong hàng tương ứng. Giá trị 0 được hiển thị là chính xác; các trung vị dương được làm tròn đến 3 chữ số thập phân. Các diễn biến dùng cả 2 mốc quan sát, nên những trung vị này không phải ngưỡng quyết định cho tương lai.

Điều gì đổi khi kiểm tra thời gian và cơ cấu khách hàng

Chúng tôi ấn định so sánh bổ sung trước tính kết quả. Bắt đầu phút 30 thay vì 60 cho 4.507 cặp có bên dẫn sớm. Trong đó, 24,3% đảo ở phút 1.440. Kết quả giờ đầu là 21,0% trong 4.712 cặp có bên dẫn. Mẫu số khác quan trọng: vài cặp bằng ở mốc này nhưng dẫn ở mốc kia. [4]

Không chứng minh chờ thêm 30 phút ngăn một tỷ lệ quyết định sai cụ thể. 2 phép tính mô tả thứ tự quan sát tại thời điểm khác. Không phân ngẫu nhiên chính sách chờ hay đánh giá hệ quả quyết định gửi rộng.

Chúng tôi cũng giới hạn so giờ đầu vào 686 cặp có 2 bản cùng dấu thời gian gửi ghi nhận. Trong 560 cặp dẫn sớm, 19,6% đảo về sau. Kiểm tra giảm 1 khác biệt thời gian trong dữ liệu. Dấu thời gian khớp không chứng minh giao đồng thời hay đối tượng tiếp xúc tương đương.

Một số mã khách góp nhiều cặp hơn. Phép tính chính cho mỗi cặp trọng số bằng nhau. Kiểm tra riêng tính tỷ lệ đảo trong từng mã của 403 mã có ít nhất 1 bên dẫn giờ đầu, rồi cho mỗi mã trọng số bằng nhau. Trung bình là 19,2%. Đây là trung bình tỷ lệ đảo của họ, không phải phần trăm khách từng có đảo chiều. [4]

Các kiểm tra cố định cùng giữ vấn đề thực tế: bên dẫn sớm quan sát có thể giữ, đảo hoặc bằng. Không tạo xác suất đảo phổ quát. Kho có bản ghi lặp trong mã khách, và mã không phải mẫu xác minh doanh nghiệp độc lập.

Tỷ lệ đảo theo 3 phép so cố định

Trong SendGuard900K, nguồn ghi kho thuộc 2022–2024, mỗi tỷ lệ chia đảo về sau cho cặp có bên dẫn tại mốc sớm. Mốc sau luôn 1.440 phút sau lúc gửi mỗi bản.

Đọc giá trị biểu đồ
So sánhCặp có bên dẫn sớmĐảo sau trong cặp có bên dẫn sớm (%)
60 đến 1.440 phút: mọi cặp đủ điều kiện4.71221,0%
30 đến 1.440 phút: mọi cặp đủ điều kiện4.50724,3%
60 đến 1.440 phút: dấu thời gian gửi ghi nhận giống nhau56019,6%
So phút 60 và 30 bắt đầu cùng 5.743 cặp nhưng mẫu số bên dẫn khác. Giới hạn dấu thời gian giống bắt đầu 686 cặp. So sánh không ước tính lợi ích nhân quả của chờ hay chứng minh giao đồng thời.

Cho người chọn lần gửi tiếp nhiều hơn nhãn thắng

Báo cáo hữu ích bắt đầu từ quyết định. Người nhận chọn lần gửi tiếp, ghi thử nghiệm đã xong hay xem thử trước cho họp kế hoạch? Quan sát giờ đầu có thể liên quan mỗi việc, nhưng báo cáo cho việc này có thể thiếu thông tin việc kia cần.

Nêu biến thử và thước đo trước bên dẫn. Ở đây là tên người gửi hoặc chủ đề, rồi bộ đếm nhấp duy nhất trên 100 email báo cáo đã gửi. Nhóm dùng email được giao, nhấp người thật xác minh hay giao dịch nên nêu định nghĩa đó. Giữ thước đo hiện rõ cũng giúp diễn giải so sánh sau.

Tiếp theo, đặt mốc quan sát cạnh thông tin về phiên bản dẫn đầu hoặc trạng thái bằng nhau. Nêu chênh lệch giữa 2 thước đo cùng bộ đếm và tổng số email đã gửi dùng làm căn cứ cho từng phiên bản. Nhờ đó, người đọc thấy được chiều so sánh, chênh lệch và hoạt động được ghi nhận phía sau, thay vì phải suy ra cả 3 điều từ một hàng được tô nổi.

Câu bàn giao minh họa: “Tại [mốc], [phiên bản hoặc bằng nhau] mô tả thứ tự hiện tại trong [thước đo xác định]; chênh là [giá trị], có [bộ đếm và tổng gửi] làm căn cứ.” Ngoặc là mục điền từ báo cáo thật, không phải kết quả nghiên cứu. Câu riêng nên ghi hành động đã chọn và lý do.

Nếu có mốc sau, giữ quan sát trước và thể hiện bên dẫn giữ, đảo hay thành bằng. Xem lại nhờ đó tách điều biết lúc ấy khỏi ghi nhận sau. Gồm cả cặp bắt đầu bằng, trừ khi báo cáo nêu rõ chỉ xét cặp đã có bên dẫn.

Chọn phiên bản vẫn tùy mục tiêu, ràng buộc giao, chất lượng đo và chi phí mỗi lựa chọn. Kho không đặt quy tắc đó. Nó cho lý do hữu ích để tránh dùng một từ “thắng” thay cả quan sát và quyết định.

Giữ quan sát gắn với quyết định

Phong bì xanh navy và xanh xô thơm nối thẻ riêng ghép mỗi phong bì với viền đồng hồ không kim. Mũi tên dẫn đến sổ mở có 2 thẻ cạnh bút chì.
  1. Nêu phép so

    Xác định biến thử, thước đo ghi nhận và mốc.

  2. Giữ bằng chứng cùng nhau

    Báo cáo dẫn hoặc bằng cùng độ chênh và bộ đếm phía sau.

  3. Nêu quyết định riêng

    Giữ quy tắc quyết định chiến dịch tách khỏi bên dẫn hoặc bằng quan sát.

Minh họa khái niệm đưa từng phiên bản email và thời điểm quan sát vào báo cáo.

Đánh giá email sớm là câu hỏi nghiên cứu đã có

Nghiên cứu trước đã coi hiệu quả email diễn tiến theo thời gian. “Real-Time Evaluation of E-mail Campaign Performance” của Bonfrer và Drèze, công bố trực tuyến 2008 và trong Marketing Science 2009, mô tả phương pháp dự đoán, khung quyết định tuần tự, đánh giá trên 25 chiến dịch. Ý tưởng kết quả sớm và sau có thể khác không mới. [5]

Phân tích này trả lời câu mô tả hẹp hơn bằng kho khác: thứ tự ghi nhận giữ, đảo hay bằng thường xuyên đến đâu ở cặp đủ điều kiện, và chênh nào đi cùng? Giữ cặp bằng sớm hiện rõ, kiểm tra mô tả có đổi theo lựa chọn thời gian, trọng số cố định không.

Phân biệt quan trọng khi đọc kết quả. Mô hình dự đoán ước tính điều sẽ xảy ra theo giả định. Bảng chúng tôi mô tả bản ghi công bố chứa gì tại thời điểm chỉ định. Tỷ lệ quan sát giúp giải thích báo cáo; không phải mô hình chọn bản cho chiến dịch tiếp.

Cách so sánh các cặp ghi nhận

SendGuard900K có 908.229 bản ghi chiến dịch công bố. Mô tả nguồn khai báo siêu dữ liệu vận hành thực 2022–2024. Chúng tôi sàng 6.801 nhóm từ tổ hợp mã khách và mã thử, giữ 5.743 nhóm có đúng 2 bản ghi phần thử quan sát đủ điều kiện và số gửi báo cáo dương. Bản ghi gửi rộng cuối bị loại khỏi so cặp; không yêu cầu chúng hiện diện. [1] [6]

Cặp giữ lại trải 473 mã khách. Đúng 2 bản ghi quan sát đủ điều kiện không xác lập mỗi thử nghiệm gốc chỉ cấu hình 2 biến thể, kho đầy đủ hay đối tượng phân ngẫu nhiên. Vì vậy mô tả cặp quan sát, không phải tập thử nghiệm ngẫu nhiên hoàn chỉnh đã xác minh.

Với mỗi bản, dùng bộ đếm nhấp duy nhất ở phút 30, 60 hoặc 1.440 cùng mẫu số gửi báo cáo cố định trong kho. Mỗi mốc tính từ lúc gửi bản đó. Cặp chính không cần cùng giờ gửi theo đồng hồ. Kiểm tra cùng dấu thời gian là hạn chế riêng, không phải giả định mọi cặp.

Mọi bộ đếm cần ở cặp đủ điều kiện đều có, hợp lệ, không âm; không vượt số gửi báo cáo. Không bộ đếm nào giảm qua 3 mốc. Kiểm tra hỗ trợ số học ghi nhận, nhưng không xác lập nghĩa nhấp duy nhất, lọc bot, giao email hay quan sát sau có thu mọi phản hồi cuối không. [6]

Chúng tôi xác định phiên bản dẫn đầu và trạng thái bằng nhau bằng cách so sánh chính xác các tỷ số gốc trước khi làm tròn. Chênh lệch là hiệu tuyệt đối tính bằng lượt nhấp được ghi nhận trên 100 email đã gửi. Trung vị và các phân vị khác dùng quy tắc hạng gần nhất: sắp xếp các giá trị rồi chọn hạng đã nêu, không nội suy. Các biểu đồ làm tròn tỷ lệ phần trăm đến 1 chữ số thập phân và trung vị chênh lệch đến 3 chữ số thập phân; tệp tải xuống của biểu đồ giữ 6 chữ số thập phân khi áp dụng.

Phương pháp ấn định cấu trúc đủ điều kiện, mốc, 5 diễn biến, tổng hợp số đếm và chênh, kiểm tra thời gian và tính trọng số khách bằng nhau trước khi đọc kết quả. Mọi bảng tổng hợp cố định ở bản tải nghiên cứu, gồm số 0 và kiểm tra chất lượng. Tái lập nguồn độc lập khớp toàn bộ đầu ra. Đây là mô tả kho, không có khoảng tin cậy, kiểm định ý nghĩa thống kê hay khẳng định mẫu ngành đại diện. [7]

CSV biểu đồ chứa 31 giá trị số, mỗi hàng dữ liệu 1 giá trị, từ 13 hàng hiển thị qua 3 hình. ZIP giữ cả 11 bảng tổng hợp, kiểm tra nguồn và mã tái lập. Không có hàng cấp chiến dịch hay mã định danh khách hàng/thử nghiệm. Có hướng dẫn đã dịch; để tái lập phân tích, cần tải riêng tệp nguồn. Bản tải số dùng dấu chấm thập phân.

Nguồn và ghi chú

  1. Nguồn: Bobek, Nalepa, Obara, Suszalski và Bałec, SendGuard900K: Massive Dataset for Metadata-Based Quality Assurance of Email Marketing, phiên bản 1.0.0. Nguồn khai báo siêu dữ liệu chiến dịch 2022–2024, ghi bản quyền Freshmail, 2025. Phân tích dùng 5.743 cặp quan sát đủ điều kiện, không phải cả 908.229 hàng. Trong cặp, 5.647 nhãn sender_name, 96 topic.
  2. Trong 4.712 cặp có bên dẫn giờ đầu, 3.510 giữ, 991 đảo, 211 bằng sau: 74,5%, 21,0% và 4,5%. Trong 1.031 cặp bằng sớm, 588 thành có bên dẫn, 443 vẫn bằng: 57,0% và 43,0%. Hình 5 diễn biến thay vào đó chia mọi số đếm cho cả 5.743 cặp. Giá trị tính trước làm tròn hiển thị.
  3. Thước đo là bộ đếm nhấp duy nhất chia số gửi báo cáo cố định mỗi bản, nhân 100. Phân loại dẫn, bằng dùng tỷ số chính xác, không phải hiển thị làm tròn. Chênh tuyệt đối có đơn vị lượt nhấp ghi nhận trên 100 email đã gửi. Với cặp đảo, trung vị sau 0,109543, tứ phân vị thứ nhất và thứ ba 0,024817 và 0,336215. Mọi số 0 chênh hiển thị ở bảng trung vị 5 diễn biến đều là 0 chính xác.
  4. So phút 30 có 4.507 cặp dẫn sớm, gồm 1.093 đảo sau. Giới hạn cùng dấu thời gian gửi ghi nhận có 686 cặp, gồm 560 dẫn sớm và 110 đảo. Kết quả chính trọng số khách bằng nhau lấy trung bình tỷ lệ đảo trong 403 mã khách có ít nhất 1 bên dẫn sớm. Trung bình 19,227847%; không phải phần trăm số khách hay ước lượng doanh nghiệp đại diện.
  5. Bonfrer và Drèze, Real-Time Evaluation of E-mail Campaign Performance, Marketing Science 28(2), 251–263; công bố trực tuyến 7/10/2008, số năm 2009. Tóm tắt nhà xuất bản mô tả cách dự đoán split-hazard, 25 chiến dịch và khung quyết định tuần tự. Hỗ trợ lịch sử nghiên cứu đánh giá email sớm, không xác thực tỷ lệ mô tả kho của chúng tôi.
  6. Sàng lọc nguồn cố định giữ đúng 2 bản ghi phần thử quan sát đủ điều kiện mỗi nhóm khách/thử tổng hợp, loại hàng gửi rộng cuối. Trường công khai chưa xác lập đầy đủ quy ước bắt đầu/kết thúc đồng hồ gửi, thời lượng gửi, khóa nhấp duy nhất, hoạt động chỉ người thật, mẫu số email được giao, phân công thử nghiệm gốc đầy đủ hay độ hoàn thiện trích xuất. Bộ đếm hợp lệ, không giảm không giải quyết giới hạn. Dấu thời gian giống không chứng minh giao đồng thời.
  7. SendGuard900K phát hành theo Creative Commons Attribution 4.0 International. Gói nghiên cứu chứa mã phân tích, phương pháp cố định và bảng tổng hợp dẫn xuất; không phân phối lại bản ghi chiến dịch hay mã khách/thử. Tái lập từ nguồn cần tải tệp gốc riêng. Gói dùng chung có hướng dẫn đã dịch.

Bản tiếng Anh của bài viết là bản nguồn. Mọi ngôn ngữ mô tả cùng kho SendGuard900K lịch sử, nguồn khai báo bản ghi 2022–2024. Bản dịch không biến kết quả thành chuẩn thị trường địa phương hay ngành hiện tại.

Giữ rõ thước đo và khoảng quan sát