Thử nghiệm đa biến: phép thử nội dung sáng tạo có thể cho biết điều gì
Đổi tiêu đề và hình ảnh cùng lúc có thể giúp chọn mẫu nội dung hoàn chỉnh. Muốn tìm hiểu từng thành phần cần cách so sánh khác. Các thiết kế Upworthy trong quá khứ cho thấy vẫn có thể so sánh được nhiều điều dù thiếu một số tổ hợp.
Phân tích của Influence IQ dựa trên tập con thăm dò của Upworthy Research Archive, bao gồm thử nghiệm website từ đầu năm 2013 đến tháng 4 năm 2015. So sánh chính gồm 188 thử nghiệm đủ điều kiện, thay đổi cả nội dung tiêu đề và mã hình ảnh. Đây là thống kê thiết kế, không phải phân tích lượt nhấp hay hiệu quả chiến dịch.
Tóm tắt
Thiết kế đa biến không đầy đủ vẫn có thể giữ được các phép so sánh riêng tiêu đề hoặc hình ảnh. Trong 188 thử nghiệm Upworthy đủ điều kiện thay đổi cả nội dung tiêu đề và mã hình ảnh, 31 có mọi tổ hợp. Trong 157 thử nghiệm còn lại, 150 có ít nhất 1 phép so sánh giữ cố định tiêu đề hoặc hình ảnh; 75 có cả 2 loại. Những số đếm này mô tả các tổ hợp hiện có, không cho biết thử nghiệm có tạo ra kết quả đánh giá hiệu quả đáng tin cậy hay hữu ích hay không. [1]
Nghiên cứu dùng tập con thăm dò của các thử nghiệm website trong quá khứ từ đầu năm 2013 đến tháng 4 năm 2015, giữ cố định nội dung đoạn trích và loại giai đoạn đã ghi nhận có thể có vấn đề phân bổ khỏi phạm vi chính. Khi đưa giai đoạn đó vào, bài học tổng quát vẫn vậy: 180 trong 199 thiết kế không đầy đủ giữ được ít nhất 1 phép so sánh như thế. Với doanh nghiệp và người sáng tạo, lựa chọn thực tế là ghép các tổ hợp với đúng câu hỏi: chọn toàn bộ mẫu nội dung, so sánh 1 thành phần hay xem xét cách 2 thành phần kết hợp với nhau.
Nhóm đã chuẩn bị sẵn 2 phiên bản chiến dịch. Một bản ghép ảnh sản phẩm với tiêu đề trực tiếp; bản kia dùng ảnh khác và tiêu đề mang tính trò chuyện hơn. Nếu 1 bản đạt hiệu quả tốt hơn, nhóm sẽ học được gì?
So sánh được thực hiện đúng có thể giúp chọn giữa những phiên bản hoàn chỉnh đó. Tự nó không cho biết thay đổi nào tạo nên khác biệt. Thử nghiệm đa biến thay đổi nhiều hơn 1 thành phần trên tập hợp các tổ hợp. Câu hỏi khởi đầu hữu ích là nhóm muốn những tổ hợp đó giúp quyết định điều gì.
Chỉ số lượng phiên bản không trả lời được câu hỏi đó. 4 phiên bản tiêu đề ghép với 1 hình ảnh cho phép nhóm so sánh tiêu đề trong bối cảnh đó. 2 tiêu đề ghép với 2 hình ảnh cũng tạo ra 4 tổ hợp khi bao gồm mọi cách ghép, nhưng cho phép các phép so sánh khác. Ghi rõ các cặp giúp thấy sự khác biệt trước khi thử nghiệm bắt đầu.
Mẫu nội dung hoàn chỉnh chứa nhiều lựa chọn

Thiết kế không đầy đủ thường vẫn giữ được phép so sánh hữu ích
Chúng tôi xem xét tổ hợp tiêu đề và hình ảnh trong từng thử nghiệm website Upworthy. Trong 3.212 thử nghiệm đáp ứng quy tắc phạm vi chính, 188 thay đổi cả 2 thành phần. Phần lớn thử nghiệm còn lại chỉ thay đổi 1 trong 2. Chúng tôi giữ từng thử nghiệm riêng và đếm mỗi thử nghiệm 1 lần, bất kể có bao nhiêu người có thể đã thấy nó. [2]
Chỉ 31 trong 188 thử nghiệm có mọi tổ hợp của các tiêu đề và mã hình ảnh quan sát được. 157 thử nghiệm còn lại là lưới không đầy đủ. Điều đó có vẻ hạn chế cho đến khi xem trong các lưới ấy còn những phép so sánh nào. Trong 157 thiết kế đó, 75 có cả phép so sánh tiêu đề với cùng hình ảnh và phép so sánh hình ảnh với cùng tiêu đề. 30 thiết kế khác chỉ có loại thứ nhất và 45 chỉ có loại thứ hai. 7 không có loại so sánh nào.
Gộp lại, 150 trong 157 thiết kế không đầy đủ, tức 95,5%, giữ được ít nhất 1 cách so sánh thành phần trong khi cố định thành phần kia. Điều này không chứng minh phép so sánh nào có đủ lượt truy cập, phân bổ đúng hay kết quả có ý nghĩa. Nó cho thấy lý do “không phải mọi tổ hợp đều được thử” quá chung để bác bỏ 1 thiết kế.
Bảng đặt thiết kế đầy đủ và không đầy đủ cạnh nhau. Trên toàn bộ 188 thiết kế, 106 có cả 2 loại so sánh, 30 chỉ có so sánh tiêu đề, 45 chỉ có so sánh hình ảnh và 7 không có loại nào. “Cả 2” nghĩa là có ít nhất 1 phép so sánh mỗi loại. Nó không có nghĩa mọi tiêu đề hay hình ảnh đều có thể được so sánh trong điều kiện tương đương.
Bài báo gốc về kho dữ liệu đã giải thích rằng biên tập viên thường chọn các tổ hợp mà không thử mọi cách ghép có thể. Đóng góp của chúng tôi là thống kê những phép so sánh mà các lựa chọn đó còn cho phép thực hiện. Chúng tôi không thể dựng lại mục tiêu của từng biên tập viên hay đánh giá thiết kế có đáp ứng mục tiêu đó hay không. [1]
Phần lớn thiết kế thay đổi cả 2 thành phần giữ được phép so sánh thành phần
188 thử nghiệm Upworthy đủ điều kiện trong quá khứ, thay đổi nội dung tiêu đề và mã hình ảnh, giữ cố định đoạn trích và áp dụng hạn chế thời gian đã nêu. Mỗi thử nghiệm có trọng số bằng nhau.
| Phép so sánh có trong thiết kế | Thử nghiệm | Tỷ lệ trong 188 thử nghiệm |
|---|---|---|
| So sánh tiêu đề và hình ảnh | 106 | 56,4% |
| Chỉ so sánh tiêu đề | 30 | 16,0% |
| Chỉ so sánh hình ảnh | 45 | 23,9% |
| Không có so sánh riêng thành phần nào | 7 | 3,7% |
3 thiết kế trả lời những câu hỏi khác nhau
Hãy hình dung xưởng gốm đang quảng bá buổi thực hành cuối tuần. Xưởng có 2 tiêu đề: A, “Tự làm chiếc bát gốm đầu tiên”, và B, “Dành ngày thứ Bảy bên bàn xoay gốm”. Hình 1 là chiếc bát hoàn thiện; Hình 2 là bàn xoay. Đây là lựa chọn minh họa, không phải ví dụ Upworthy hay kết quả chiến dịch được đo. Giữ nguyên ưu đãi và nội dung hiển thị khác khi cân nhắc 3 thiết kế có thể dùng.
Thứ nhất, lưới đầy đủ gồm A với Hình 1, A với Hình 2, B với Hình 1 và B với Hình 2. Nhóm có thể so sánh tiêu đề khi giữ Hình 1 cố định, rồi lặp lại cùng phép so sánh tiêu đề với Hình 2. Nhóm cũng có thể so sánh hình ảnh dưới từng tiêu đề. 4 ô tạo ra những cơ hội đó; chúng không xác định lượng bằng chứng sẽ thu được trong mỗi ô.
Thứ hai, lưới một phần gồm A với Hình 1, B với Hình 1 và B với Hình 2. Không có A với Hình 2. Nhóm có thể so sánh A và B khi giữ Hình 1 cố định. Nhóm có thể so sánh riêng hình ảnh khi giữ tiêu đề B cố định. Ô thiếu không xóa đi 2 phép so sánh đó.
Nhưng lưới một phần không cho phép trả lời trực tiếp 1 câu hỏi khác bằng phép so sánh 4 ô: khác biệt A so với B có giống như vậy với Hình 2 không? Không có kết quả A với Hình 2 để dùng. Nhóm cũng không thể xác định tổ hợp tốt nhất trong cả 4 tổ hợp có thể chỉ bằng cách chọn trong 3 tổ hợp đã quan sát. Tổ hợp chưa thử có thể cho kết quả khác.
Thứ ba, thiết kế đường chéo chỉ gồm A với Hình 1 và B với Hình 2. Không thành phần nào được giữ cố định giữa 2 tổ hợp. Thử nghiệm hợp lệ vẫn có thể hỗ trợ lựa chọn giữa 2 phiên bản hoàn chỉnh đó. Chỉ riêng phép so sánh ấy không xác định riêng được đóng góp của tiêu đề hay hình ảnh.
Không thiết kế nào luôn tốt nhất trong mọi trường hợp. Nếu xưởng phải chọn giữa 2 ý tưởng đã phê duyệt cho lần ra mắt cụ thể, so sánh cả tổ hợp có thể phù hợp với nhiệm vụ. Nếu muốn dùng lại tiêu đề trên nhiều hình ảnh, xưởng cần bằng chứng phù hợp với lựa chọn rộng hơn đó. Các tổ hợp bổ sung có giá trị khi trả lời câu hỏi mà nhóm thực sự có. [3]
3 thiết kế minh họa có các tổ hợp khác nhau
Ví dụ xưởng gốm giả định có 2 tiêu đề A và B, cùng 2 hình ảnh 1 và 2. Những ô này minh họa thiết kế, không phải quan sát từ kho dữ liệu.
| Tổ hợp tiêu đề và hình ảnh | Lưới đầy đủ | Lưới một phần | Thiết kế đường chéo |
|---|---|---|---|
| Tiêu đề A + Hình 1 | 1 | 1 | 1 |
| Tiêu đề A + Hình 2 | 1 | 0 | 0 |
| Tiêu đề B + Hình 1 | 1 | 1 | 0 |
| Tiêu đề B + Hình 2 | 1 | 1 | 1 |
Có phép so sánh theo mỗi chiều chưa phải thử nghiệm 2×2 đầy đủ
Kho dữ liệu làm rõ sự khác biệt này. Trong 106 thiết kế có cả 2 loại so sánh, 74 không có dù chỉ 1 hình chữ nhật đầy đủ gồm 2 tiêu đề và 2 hình ảnh. Vì vậy, thiết kế có thể có phép so sánh tiêu đề ở chỗ này và phép so sánh hình ảnh ở chỗ khác mà không cung cấp 4 ô cần thiết để so sánh trực tiếp các độ chênh lệch.
Xét lại lưới một phần của xưởng. So sánh A và B với Hình 1 trả lời 1 câu hỏi. So sánh Hình 1 và Hình 2 dưới B trả lời câu hỏi khác. Không phép nào cho biết chính độ chênh lệch giữa các tiêu đề có đổi khi hình ảnh đổi hay không. Câu hỏi thứ ba đó nói về tương tác: mối quan hệ giữa 1 thành phần và phản hồi có phụ thuộc thành phần kia hay không.
Trong tập 188 thiết kế, 32 có ít nhất 1 hình chữ nhật đầy đủ. Số này gồm cả 31 lưới đầy đủ và 1 lưới không đầy đủ lớn hơn. Có hình chữ nhật như vậy cho phép lập phép đối chiếu tương tác trực tiếp. Nó không cho thấy có tương tác, và cũng không phải cơ sở duy nhất có thể dùng để nghiên cứu tương tác theo thiết kế hoặc giả định mô hình khác.
Với nhóm chiến dịch, sự khác biệt này cần có trong bản yêu cầu trước khi đưa vào mô hình thống kê. “So sánh 2 tiêu đề này với hình ảnh này” là yêu cầu hẹp hơn “tìm tiêu đề hiệu quả trên các hình ảnh của chúng ta”. Kết quả trả lời câu hỏi thứ nhất không nên âm thầm trở thành câu trả lời cho câu hỏi thứ hai.
Khoảng thời gian rộng hơn cho cùng bài học lập kế hoạch
Thống kê chính loại các thử nghiệm có khoảng ngày tạo chạm vào giai đoạn từ ngày 25 tháng 6 năm 2013 đến hết ngày 10 tháng 1 năm 2014. Các nhà nghiên cứu kho dữ liệu xác định có thể có vấn đề phân bổ trong giai đoạn đó. Những lo ngại ấy quan trọng với nghiên cứu nhân quả; chúng không khiến bản ghi tổ hợp trở nên không dùng được cho thống kê cấu trúc. Vì vậy, chúng tôi lặp lại so sánh khi bao gồm cả giai đoạn đó. [4]
Phạm vi rộng hơn gồm 239 thử nghiệm thay đổi cả 2 thành phần. 40 có mọi tổ hợp, còn 199 không đầy đủ. Trong các thiết kế không đầy đủ đó, 180, tức 90,5%, giữ được ít nhất 1 phép so sánh cố định 1 thành phần, và 93, tức 46,7%, giữ được cả 2 loại. Các tỷ lệ tương ứng trong phạm vi chính là 95,5% và 47,8%. Tỷ lệ cụ thể thay đổi, nhưng thiết kế không đầy đủ vẫn thường giữ được phép so sánh cụ thể.
Chúng tôi cũng kiểm tra 1 lựa chọn xử lý văn bản. Phân tích chính so sánh chính xác chuỗi tiêu đề và đoạn trích. Loại khoảng trắng ở 2 đầu và gộp khoảng trắng lặp lại cho 189 thử nghiệm thay đổi cả 2 thành phần, với 31 lưới đầy đủ, 108 có cả 2 loại so sánh và 32 có hình chữ nhật đầy đủ. Kiểm tra này thay đổi những thiết kế đủ điều kiện, nên số đếm được trình bày với mẫu số riêng. [5]
Trung vị mức độ bao phủ là 50% trong cả 3 phạm vi. Mức độ bao phủ là số tổ hợp tiêu đề–hình ảnh quan sát được chia cho số tổ hợp có thể tạo từ các tiêu đề và mã hình ảnh quan sát được của thử nghiệm đó. Trung vị là mô tả, không phải điểm chất lượng. Tổ hợp thiếu có thể không liên quan, không phù hợp hoặc nằm ngoài phép so sánh biên tập viên dự kiến; kho dữ liệu không giải đáp lý do bị bỏ qua.
Đổi phạm vi vẫn giữ sự phân biệt giữa mức độ bao phủ và phép so sánh
Mọi cột đều đếm thử nghiệm, mỗi dòng dùng mẫu số riêng cho nhóm thay đổi cả 2. Kiểm tra xử lý văn bản giữ hạn chế thời gian chính; kiểm tra toàn bộ thời gian giữ cách so sánh các chuỗi văn bản nguyên trạng.
| Phạm vi phân tích | Thử nghiệm thay đổi cả 2 thành phần | Lưới đầy đủ | Cả 2 loại so sánh | Ít nhất 1 hình 2×2 đầy đủ |
|---|---|---|---|---|
| Phạm vi chính: chuỗi văn bản nguyên trạng, hạn chế thời gian | 188 | 31 | 106 | 32 |
| Văn bản được chuẩn hóa khoảng trắng, hạn chế thời gian | 189 | 31 | 108 | 32 |
| Chuỗi văn bản nguyên trạng, bao gồm mọi giai đoạn | 239 | 40 | 133 | 42 |
Soạn bản yêu cầu thử nghiệm tiếp theo theo quyết định cần đưa ra
Với xưởng gốm, hãy bắt đầu bằng việc quyết định điều sẽ diễn ra sau thử nghiệm. Nhóm sẽ chọn 1 mẫu quảng bá buổi thực hành hoàn chỉnh, giữ 1 hình ảnh và sửa tiêu đề, hay đưa tiêu đề vào nhiều thiết kế về sau? Mỗi quyết định cần tập phép so sánh khác nhau. Lưới lớn hơn không tự động là cách dùng công sức nhóm tốt hơn.
Nếu quyết định liên quan đến tổ hợp hoàn chỉnh, hãy liệt kê các tổ hợp đó mà không hứa giải thích từng thành phần. Nếu quyết định liên quan đến tiêu đề, hãy xác định hình ảnh sẽ giữ cố định. Nếu nhóm cần xem độ chênh lệch giữa các tiêu đề có đổi trên 2 hình ảnh hay không, hãy đưa vào 4 tổ hợp liên quan hoặc có thiết kế thay thế với cơ sở hợp lý. Tách việc này khỏi quyết định về thước đo phản hồi, phân bổ và thời gian quan sát.
Kiểm tra các tổ hợp đề xuất có hợp lý trước khi thêm vào. Tiêu đề dành riêng cho ưu đãi có thể chỉ phù hợp với 1 ảnh sản phẩm. Tạo cặp không phù hợp chỉ để lấp đầy lưới sẽ thay đổi nhiệm vụ. Thay vào đó, nhóm có thể thu hẹp câu hỏi hoặc phát triển các phiên bản có thể ghép hợp lý. Lưới đầy đủ hữu ích khi các phép so sánh phục vụ quyết định, không phải vì bảng được điền kín trông kỹ lưỡng hơn.
Dùng các trường sau làm bản yêu cầu lập kế hoạch ngắn. Nội dung trong ngoặc vuông dành cho chiến dịch của nhóm, không phải kết quả nghiên cứu này.
Quyết định sau thử nghiệm: [chọn tổ hợp hoàn chỉnh; so sánh thành phần được nêu trong bối cảnh xác định; xem xét tổ hợp thành phần cụ thể].
Thành phần và phiên bản: [nội dung tiêu đề chính xác; tệp hình ảnh hoặc mã định danh ổn định; mọi nội dung khác thay đổi].
Tổ hợp được đưa vào: [các cặp tiêu đề–hình ảnh thực tế sẽ hiển thị].
Phép so sánh cần có: [những cặp giữ cố định 1 thành phần; 4 ô hỗ trợ câu hỏi tương tác, nếu liên quan].
Kế hoạch bằng chứng: [thước đo phản hồi; đối tượng và cách phân bổ; điều kiện tiếp xúc; quy tắc quan sát và xem lại dự kiến].
Giới hạn kết luận: [thiết kế có thể hỗ trợ điều gì; những tổ hợp hay bối cảnh chưa thử vẫn nằm ngoài quyết định].
Ví dụ, xưởng dùng thiết kế một phần 3 ô có thể viết: “Chúng tôi sẽ so sánh tiêu đề với Hình 1 và so sánh hình ảnh với tiêu đề B. Chúng tôi không thử tiêu đề A với Hình 2.” Câu đó giữ rõ 2 câu hỏi hữu ích và phép so sánh còn thiếu mà không kết luận thiết kế không đủ tốt.
Người sáng tạo chuẩn bị nội dung cho khách hàng có thể dùng cùng sự phân biệt khi thảo luận ảnh thu nhỏ và tiêu đề đã sửa. Câu hỏi là khách hàng muốn chọn phiên bản hay thành phần nào. Tuy nhiên, số đếm của chúng tôi đến từ website của nhà xuất bản và không xác định cách nền tảng mạng xã hội hiện tại phân bổ hay đo các biến thể nội dung sáng tạo.
Đặt câu hỏi cạnh các tổ hợp

Chọn mẫu nội dung hoàn chỉnh
So sánh các tổ hợp đang được cân nhắc cho quyết định.
So sánh 1 thành phần
Giữ cố định thành phần kia trong phép so sánh cần thực hiện.
Xem xét cách ghép cặp
Đưa vào các tổ hợp cần thiết để hỏi xem độ chênh lệch giữa tiêu đề có đổi theo hình ảnh hay không.
Cách lập thống kê thiết kế
Nguồn là tệp thăm dò được công bố công khai của Upworthy Research Archive, do J. Nathan Matias, Kevin Munger, Marianne Aubin Le Quere và Charles Ebersole mô tả. Tệp chứa 22.666 dòng tổ hợp, nhóm thành 4.873 thử nghiệm từ kho dữ liệu giai đoạn 2013–2015. Chúng tôi dùng tiêu đề, mã định danh hình ảnh, đoạn trích, mã định danh thử nghiệm, dấu thời gian tạo và chỉ số dòng trong kho. Không dùng lượt nhấp, lượt hiển thị hay lựa chọn của biên tập viên. [1] [6]
Kiểm tra tính khả thi về cấu trúc diễn ra trước kế hoạch kiểm tra thiết kế cuối cùng và định hướng câu hỏi của nó. Vì vậy, đây là phân tích lại mang tính thăm dò, không phải nghiên cứu khẳng định đã đăng ký trước. Các quy tắc đã xác định giữ lại thử nghiệm có trường cấu trúc dùng được, áp dụng hạn chế thời gian chính và yêu cầu nội dung đoạn trích giống hệt giữa các tổ hợp. Hạn chế về đoạn trích mang tính thận trọng vì bài báo và tài liệu kho dữ liệu không thống nhất liệu trường này có được hiển thị hay không. [6]
Bảng chọn mẫu thể hiện các bước loại trừ liên tiếp, rồi phân loại các thử nghiệm đủ điều kiện. 5 thử nghiệm thiếu tiêu đề hoặc mã hình ảnh; tiếp theo, 1.050 không đạt quy tắc phạm vi thời gian và 606 có đoạn trích thay đổi. 3.212 thử nghiệm được giữ gồm 1.624 chỉ thay đổi tiêu đề, 1.078 chỉ thay đổi mã hình ảnh, 188 thay đổi cả 2 và 322 có 1 tổ hợp quan sát được. Nhóm cuối vẫn có thể chứa nhiều dòng nguồn.
Trong từng thử nghiệm, các cặp tiêu đề–hình ảnh giống hệt lặp lại chỉ được tính là 1 ô thiết kế. 5 trong 188 thử nghiệm thay đổi cả 2 có ô lặp lại. Lưới đầy đủ chứa mọi cặp của chuỗi tiêu đề và mã hình ảnh quan sát được trong thử nghiệm đó. Chuỗi khác nhau không nhất thiết diễn đạt ý tưởng khác nhau, và mã hình ảnh khác nhau không nhất thiết là ảnh khác nhau về thị giác; không có sẵn các tệp hình ảnh.
Kết quả đếm các thiết kế với trọng số bằng nhau, không đếm người, lượt hiển thị hay doanh nghiệp. Chúng không xác định thực hành tiếp thị hiện tại, hiệu quả hay lực kiểm định thống kê. Các tệp tải xuống cung cấp kết quả tổng hợp và phương pháp tái lập, gồm cả 2 kiểm tra phạm vi, để người đọc xem xét sự khác biệt giữa tổ hợp quan sát được và kết luận rút ra từ nó. [7]
So sánh chính bắt đầu với 188 trong 3.212 thử nghiệm đủ điều kiện
Chọn từ 4.873 thử nghiệm trong tệp thăm dò công khai. Các bước loại trừ theo thứ tự hiển thị. 4 nhóm thiết kế cuối chia 3.212 thử nghiệm đủ điều kiện thành các phần không giao nhau.
Xem các bước chọn mẫu và toàn bộ nhóm đủ điều kiện
| Bước chọn mẫu hoặc nhóm thiết kế đủ điều kiện | Thử nghiệm |
|---|---|
| Thử nghiệm thăm dò ban đầu | 4.873 |
| Loại: thiếu tiêu đề hoặc mã hình ảnh | 5 |
| Loại: khoảng ngày tạo đã xác định | 1.050 |
| Loại tiếp: nội dung đoạn trích thay đổi | 606 |
| Đủ điều kiện sau loại trừ | 3.212 |
| Đủ điều kiện: tiêu đề thay đổi, hình ảnh cố định | 1.624 |
| Đủ điều kiện: hình ảnh thay đổi, tiêu đề cố định | 1.078 |
| Đủ điều kiện: cả tiêu đề và hình ảnh thay đổi | 188 |
| Đủ điều kiện: 1 tổ hợp quan sát được | 322 |
- Tải giá trị biểu đồ và nhãn phạm vi (CSV)
- Tải kết quả, bản ghi cấu trúc thử nghiệm và mã phân tích (ZIP)
Tệp CSV gồm 41 giá trị từ 4 biểu đồ, với ô thiết kế minh họa được gắn nhãn riêng, phân biệt với số đếm và tỷ lệ quan sát được. Tệp ZIP chứa kết quả tổng hợp, bản ghi cấu trúc thử nghiệm và mã phân tích. Có hướng dẫn tái lập đã dịch; tải riêng kho dữ liệu công khai gốc. Không gồm kết quả lượt nhấp hay lượt hiển thị.
Nguồn và ghi chú
- Matias, J. Nathan; Munger, Kevin; Aubin Le Quere, Marianne; và Ebersole, Charles (2021), The Upworthy Research Archive, a time series of 32,487 experiments in U.S. media, Scientific Data 8, 195. DOI: 10.1038/s41597-021-00934-7. Phân tích của Influence IQ dùng tập con thăm dò và mô tả nguồn đã sửa. Bài báo gốc giải thích định tính rằng biên tập viên thường không thử mọi tổ hợp tiêu đề–hình ảnh.
- Mẫu số chính cho nhóm thay đổi cả 2: 188 thử nghiệm. Lưới đầy đủ: 31; không đầy đủ: 157. Nhóm không đầy đủ có 75 thiết kế với cả 2 loại so sánh, 30 chỉ so sánh tiêu đề, 45 chỉ so sánh hình ảnh và 7 không có loại nào. Vì vậy, 150/157 = 95,5% giữ được ít nhất 1 loại. “Phép so sánh” xác định cơ hội về cấu trúc, không phải tác động ước tính hay thử nghiệm đã xác minh là hợp lệ.
- 3 thiết kế của xưởng là minh họa. Thiết kế đầy đủ gồm 2 nhân tố, mỗi nhân tố 2 mức, chứa đủ 4 tổ hợp. Ví dụ một phần bỏ A với Hình 2; ví dụ đường chéo chỉ giữ A với Hình 1 và B với Hình 2. Chỉ thiết kế 4 ô không xác định được chất lượng phân bổ, cỡ mẫu đủ hay tương tác có ý nghĩa. Sổ tay NIST giải thích thiết kế nhân tố đầy đủ và các tổ hợp của chúng.
- Bản sửa tháng 6 năm 2024 của kho dữ liệu xác định có thể có vấn đề ngẫu nhiên hóa từ ngày 25 tháng 6 năm 2013 đến hết ngày 10 tháng 1 năm 2014 và khuyến cáo không nghiên cứu nhân quả bằng giai đoạn đó. Bản sửa nêu rõ vẫn giữ các mục đích nghiên cứu khác. Phân tích chính của chúng tôi loại mọi thử nghiệm có khoảng ngày tạo giao với giai đoạn này; dấu thời gian không chứng minh ngày tiếp xúc và không rõ múi giờ. Kiểm tra cấu trúc trên toàn bộ thời gian vẫn giữ các bản ghi đó.
- Kiểm tra độ nhạy với khoảng trắng loại khoảng trắng ở đầu/cuối và gộp khoảng trắng bên trong tiêu đề, đoạn trích, giữ nguyên chữ hoa/chữ thường và dấu câu. 8 thử nghiệm trở nên đủ điều kiện; 1 thử nghiệm đủ điều kiện chung giữa các phạm vi đổi phân loại cấu trúc. Mẫu số được tính lại thay vì giữ ở 188. Phạm vi chính, chuẩn hóa khoảng trắng và toàn bộ thời gian lần lượt có 188, 189 và 239 thử nghiệm thay đổi cả 2 thành phần.
- Tệp CSV thăm dò được cố định là upworthy-archive-exploratory-packages-03.12.2020.csv, phiên bản tệp OSF 1, 14.260.949 byte. SHA-256 của tệp là 8368313b060f4015a0c6fb34e6d788163cee29554144aba9390b14922eb9d8ce. Tệp không có cờ vấn đề được cập nhật, nên hạn chế thời gian được xác định riêng. Bài báo mô tả nội dung đoạn trích là có hiển thị; tài liệu kho dữ liệu liệt kê nó trong các trường được cho là không hiển thị. Giữ đoạn trích cố định giúp tránh quy khác biệt cho trường còn tranh luận này.
- Cornell University công bố Upworthy Research Archive, mã và tài liệu liên quan theo Creative Commons Attribution 4.0 International. Influence IQ cung cấp phân tích cấu trúc từ nguồn này; không hàm ý Upworthy hay các tác giả kho dữ liệu tán thành. Gói phân tích chứa kết quả tổng hợp, bản ghi cấu trúc thử nghiệm, mã và hướng dẫn tái lập đã dịch. Hãy lấy riêng dữ liệu công khai gốc từ kho.
Bài viết tiếng Anh này là bản nguồn. Mọi bản ngôn ngữ đều mô tả cùng tập con thăm dò Upworthy trong quá khứ và cùng thiết kế minh họa. Bản dịch không biến kết quả thành chuẩn so sánh cho thị trường địa phương hay nền tảng hiện tại.