בדיקה רב־משתנית: מה אפשר ללמוד מבדיקת הקריאייטיב שלכם

שינוי כותרת ותמונה יחד יכול לעזור לבחור קריאייטיב מוגמר. כדי ללמוד על כל רכיב בנפרד, צריך השוואה אחרת. מבני ניסויים היסטוריים של Upworthy מראים אילו אפשרויות עשויות להישאר גם כשחלק מהשילובים חסרים.

ניתוח של Influence IQ לתת־המדגם החקרני של Upworthy Research Archive, הכולל ניסויים באתר מראשית 2013 עד אפריל 2015. ההשוואה העיקרית כוללת 188 בדיקות שעומדות בתנאי הסף, ובהן השתנו גם נוסח הכותרת וגם מזהי התמונות. זהו מיפוי של מבני ניסויים, ולא ניתוח של קליקים או ביצועי קמפיינים.

תקציר

מבנה חלקי של ניסוי רב־משתני עדיין יכול לאפשר השוואות נפרדות בין כותרות או בין תמונות. מתוך 188 בדיקות Upworthy שעמדו בתנאי הסף ובהן השתנו גם נוסח הכותרת וגם מזהי התמונות, 31 כללו את כל השילובים. מתוך 157 האחרות, 150 כללו לפחות השוואה 1 שבה הכותרת או התמונה נשארה קבועה; 75 כללו את שני סוגי ההשוואות. הספירות מתארות את השילובים שנכללו, ולא אם הבדיקות הניבו תוצאות ביצועים אמינות או שימושיות. [1]

המחקר משתמש בתת־מדגם חקרני היסטורי של ניסויים באתר מראשית 2013 עד אפריל 2015, משאיר את קטע הטקסט הנלווה קבוע ומחריג מהניתוח העיקרי תקופה מתועדת שבה ייתכן שהיו בעיות בהקצאה. הכללת התקופה מובילה לאותו לקח כללי: 180 מתוך 199 מבנים חלקיים משאירים לפחות השוואה 1 כזאת. לעסקים וליוצרי תוכן, הבחירה המעשית היא להתאים את השילובים לשאלה: בחירת קריאייטיב שלם, השוואת רכיב 1, או בחינה של האופן שבו 2 רכיבים פועלים יחד.

לצוות שלכם יש 2 גרסאות מוכנות לקמפיין. אחת משלבת תמונת מוצר עם כותרת ישירה; השנייה משתמשת בתמונה אחרת ובכותרת שקרובה יותר לשפת הדיבור. אם אחת תשיג ביצועים טובים יותר, מה תלמדו מכך?

השוואה שנערכת כראוי יכולה לעזור לבחור בין הגרסאות המוגמרות האלה. היא אינה מראה כשלעצמה איזה שינוי יצר את ההבדל. בבדיקה רב־משתנית משנים יותר מרכיב 1 לאורך סדרת שילובים. שאלת הפתיחה המועילה היא איזו החלטה השילובים האלה אמורים לעזור לכם לקבל.

מספר הגרסאות לבדו לא עונה על השאלה הזאת. 4 נוסחי כותרת עם תמונה 1 מאפשרים לצוות להשוות כותרות בהקשר הזה. גם 2 כותרות עם 2 תמונות יוצרות 4 חבילות קריאייטיב כשכוללים כל צימוד, אבל הן מאפשרות השוואות אחרות. רישום הצימודים מבהיר את ההבדל עוד לפני תחילת הבדיקה.

קריאייטיב מוגמר כולל כמה בחירות

איור רעיוני של כרטיסי קמפיין שמורכבים מרכיבי טקסט ותמונה נפרדים.
איור רעיוני ללא מילים. הכרטיסים מייצגים רכיבי קריאייטיב, ולא חבילות אמיתיות של Upworthy, תוצאות שנמדדו או ממשק מוצר.

מבנים חלקיים השאירו לעיתים קרובות השוואה שימושית

בדקנו את שילובי הכותרות והתמונות בכל בדיקה נפרדת באתר Upworthy. מתוך 3,212 בדיקות שעמדו בכללי הניתוח העיקרי, ב־188 השתנו שני הרכיבים. ברוב הבדיקות האחרות השתנה רק אחד מהם. השארנו כל בדיקה בנפרד וספרנו אותה פעם אחת, בלי קשר למספר האנשים שאולי ראו אותה. [2]

רק 31 מתוך 188 הבדיקות כללו את כל השילובים של הכותרות ומזהי התמונות שנצפו בהן. 157 האחרות היו טבלאות שילובים חלקיות. זה נשמע מגביל, עד שבודקים אילו השוואות עדיין התאפשרו בטבלאות האלה. מתוך 157 המבנים, 75 כללו גם השוואת כותרות עם אותה תמונה וגם השוואת תמונות תחת אותה כותרת. עוד 30 כללו רק את הסוג הראשון, ו־45 רק את השני. ב־7 לא היה אף אחד מהם.

יחד, 150 מתוך 157 המבנים החלקיים, שהם 95.5%, השאירו לפחות דרך 1 להשוות רכיב כשהרכיב האחר קבוע. אין בכך הוכחה שהייתה בהשוואה כלשהי תנועה מספקת, הקצאה תקינה או תוצאה בעלת משמעות. אבל זה מראה מדוע ״לא כל שילוב נבדק״ היא סיבה רחבה מדי לפסול מבנה ניסוי.

הטבלה מציגה יחד מבנים מלאים וחלקיים. מתוך כל 188 הבדיקות, 106 כללו את שני סוגי ההשוואות, 30 רק השוואות כותרת, 45 רק השוואות תמונה, ו־7 לא כללו אף סוג. ״שניהם״ פירושו לפחות השוואה 1 מכל סוג. אין פירושו שאפשר להשוות כל כותרת או תמונה בתנאים שווים.

המאמר המקורי על הארכיון כבר מסביר שהעורכים בחרו לעיתים קרובות חבילות קריאייטיב בלי לבדוק כל שילוב אפשרי. התרומה שלנו היא המיפוי הזה של ההשוואות שהבחירות האלה השאירו אפשריות. אין לנו אפשרות לשחזר את המטרה של כל עורך או לשפוט אם מבנה הניסוי התאים לה. [1]

ברוב המבנים שבהם השתנו שני הרכיבים נשארה אפשרות להשוות רכיב בנפרד

188 בדיקות היסטוריות של Upworthy שעמדו בתנאי הסף ושבהן השתנו נוסח הכותרת ומזהי התמונות, עם קטע טקסט נלווה קבוע ומגבלת התאריכים שהוגדרה. לכל בדיקה משקל שווה.

קריאת ערכי התרשים
השוואות שנכללות במבנה הניסויבדיקותשיעור מתוך 188 בדיקות
השוואות בין כותרות ובין תמונות10656.4%
השוואת כותרות בלבד3016.0%
השוואת תמונות בלבד4523.9%
אף אחת מהשוואות הרכיבים73.7%
4 הקטגוריות מחלקות את 188 הבדיקות. ״שניהם״ פירושו לפחות השוואת כותרות 1 עם אותה תמונה ולפחות השוואת תמונות 1 תחת אותה כותרת, ולא כל השוואה אפשרית. הספירות מתארות אפשרויות שמבנה הניסוי מאפשר, ולא השפעות, עוצמה סטטיסטית או תוצאות קמפיין.

3 מבנים עונים על שאלות שונות

דמיינו סטודיו לקרמיקה שמקדם סדנת סוף שבוע. יש לו 2 כותרות: A, ״צרו את קערת הקרמיקה הראשונה שלכם״, ו־B, ״בלו את שבת ליד האובניים״. תמונה 1 מציגה קערה מוכנה; תמונה 2 מציגה את האובניים. אלה בחירות להמחשה, ולא דוגמאות של Upworthy או תוצאות קמפיין שנמדדו. השאירו את ההצעה ואת שאר הטקסט המוצג ללא שינוי, ובחנו 3 מבנים אפשריים.

במבנה הראשון, טבלת השילובים המלאה כוללת A עם תמונה 1, A עם תמונה 2, B עם תמונה 1 ו־B עם תמונה 2. הצוות יכול להשוות את הכותרות כשמשאירים את תמונה 1 קבועה, ואז לערוך את אותה השוואת כותרות עם תמונה 2. הוא יכול גם להשוות את התמונות תחת כל כותרת. 4 תאים יוצרים את האפשרויות האלה; הם אינם קובעים כמה ראיות ייאספו בכל תא.

במבנה השני, הטבלה החלקית כוללת A עם תמונה 1, B עם תמונה 1 ו־B עם תמונה 2. A עם תמונה 2 חסר. הצוות יכול להשוות את A ו־B כשתמונה 1 נשארת קבועה. בנפרד, הוא יכול להשוות את התמונות כשכותרת B נשארת קבועה. התא החסר לא מבטל את 2 ההשוואות האלה.

אבל הטבלה החלקית משאירה שאלה אחרת ללא מענה בהשוואה ישירה של 4 תאים: האם ההבדל בין A ל־B ייראה זהה גם עם תמונה 2? אין תוצאה של A עם תמונה 2 שאפשר להשתמש בה. הצוות גם אינו יכול לזהות את הטובה מכל 4 חבילות הקריאייטיב האפשריות רק מבחירה בין 3 החבילות שצפה בהן. החבילה שלא נבדקה עשויה להתנהג אחרת.

המבנה השלישי, האלכסוני, כולל רק A עם תמונה 1 ו־B עם תמונה 2. אף רכיב לא נשאר קבוע בין 2 החבילות. בדיקה תקפה עדיין יכולה לתמוך בבחירה בין 2 הגרסאות המוגמרות האלה. ההשוואה הזאת לבדה לא תזהה בנפרד את תרומת הכותרת או את תרומת התמונה.

אין מבנה עדיף תמיד. אם הסטודיו צריך לבחור בין 2 קונספטים שאושרו להשקה מסוימת, השוואת החבילות עשויה להתאים למשימה. אם הוא רוצה להשתמש שוב בכותרת לצד תמונות שונות, הוא צריך ראיות שרלוונטיות לבחירה הרחבה הזאת. שילובים נוספים מצדיקים את מקומם כשהם עונים על שאלה שיש לצוות בפועל. [3]

3 מבנים להמחשה כוללים שילובים שונים

דוגמה בדיונית של סטודיו לקרמיקה עם 2 כותרות, A ו־B, ו־2 תמונות, 1 ו־2. התאים האלה ממחישים מבני ניסוי, ואינם תצפיות מהארכיון.

קריאת ערכי התרשים
שילוב כותרת ותמונהטבלת שילובים מלאהטבלת שילובים חלקיתמבנה אלכסוני
כותרת A + תמונה 1111
כותרת A + תמונה 2100
כותרת B + תמונה 1110
כותרת B + תמונה 2111
1 פירושו נכלל; 0 פירושו לא נכלל. המבנה המלא כולל את כל 4 התאים. במבנה החלקי חסר A עם תמונה 2. המבנה האלכסוני משווה 2 חבילות שבהן שני הרכיבים שונים. לא משויכים להן ערכי ביצועים.

השוואה בכל כיוון אינה בדיקת 2×2 מלאה

הארכיון ממחיש את ההבדל הזה. מתוך 106 המבנים שכללו את שני סוגי ההשוואות, ב־74 לא היה אפילו מלבן שלם 1 של 2 כותרות ו־2 תמונות. לכן, מבנה יכול לאפשר השוואת כותרות במקום אחד והשוואת תמונות במקום אחר, בלי לספק את 4 התאים הנדרשים להשוואה ישירה בין ההבדלים שלהן.

חזרו לטבלה החלקית של הסטודיו. השוואת A ו־B עם תמונה 1 מעלה שאלה אחת. השוואת תמונה 1 ותמונה 2 תחת B מעלה שאלה אחרת. אף אחת מהן לא מראה אם ההבדל בין הכותרות עצמו משתנה כשהתמונה משתנה. השאלה השלישית היא על אינטראקציה: האם הקשר בין רכיב אחד לתגובה תלוי ברכיב האחר.

בקבוצה של 188 המבנים, 32 כללו לפחות מלבן שלם 1. אלה כוללים את כל 31 טבלאות השילובים המלאות ובנוסף טבלה 1 גדולה יותר שחסרים בה חלק מהשילובים. מלבן כזה מספק בסיס לניגוד ישיר לבחינת אינטראקציה. הוא אינו מראה שקיימת אינטראקציה, ואינו הבסיס האפשרי היחיד לחקר אינטראקציות במבנים אחרים או תחת הנחות מידול אחרות.

עבור צוות קמפיין, ההבחנה הזאת צריכה להופיע בבריף לפני שהיא מופיעה במודל סטטיסטי. ״השוו את 2 הכותרות האלה עם התמונה הזאת״ היא בקשה מצומצמת יותר מ״מצאו כותרת שעובדת עם התמונות שלנו״. תוצאה שעונה על השאלה הראשונה לא צריכה להפוך בלי הסבר לתשובה על השנייה.

טווח התאריכים הרחב יותר מוביל לאותו לקח תכנוני

המיפוי העיקרי מחריג בדיקות שטווח תאריכי היצירה שלהן חופף ולו בחלקו לתקופה מ־25 ביוני 2013 עד 10 בינואר 2014, כולל שני הקצוות. חוקרי הארכיון זיהו אפשרות לבעיות בהקצאה בתקופה הזאת. החששות האלה חשובים למחקר סיבתי; הם אינם הופכים את רישומי השילובים לבלתי שמישים למיפוי מבני. לכן חזרנו על ההשוואה גם עם התקופה הזאת. [4]

הניתוח הרחב יותר כולל 239 בדיקות שבהן השתנו שני הרכיבים. 40 כוללות כל שילוב, ו־199 חלקיות. מתוך המבנים החלקיים האלה, 180, שהם 90.5%, משאירים לפחות השוואה 1 שבה רכיב 1 קבוע, ו־93, שהם 46.7%, משאירים את שני הסוגים. הנתונים המקבילים בניתוח העיקרי הם 95.5% ו־47.8%. השיעורים המדויקים משתנים, אבל מבנים חלקיים עדיין משאירים לעיתים קרובות השוואה מוגדרת.

בדקנו גם בחירה באופן הטיפול בטקסט. הניתוח העיקרי משווה במדויק את מחרוזות הכותרת וקטע הטקסט הנלווה. הסרת רווחים בקצוות ואיחוד רצפי רווחים מניבים 189 בדיקות שבהן השתנו שני הרכיבים, עם 31 טבלאות שילובים מלאות, 108 שכוללות את שני סוגי ההשוואות ו־32 שכוללות מלבן שלם. הבדיקה הזאת משנה אילו מבנים עומדים בתנאי הסף, ולכן הספירות שלה מוצגות עם מכנה משלהן. [5]

חציון כיסוי השילובים הוא 50% בכל 3 הניתוחים. הכיסוי הוא מספר שילובי הכותרת והתמונה שנצפו, חלקי מספר השילובים האפשריים לפי הכותרות ומזהי התמונות שנצפו באותה בדיקה. החציון הוא תיאור, לא ציון איכות. שילוב חסר עשוי היה להיות לא רלוונטי, לא מתאים או מחוץ להשוואה שהעורך התכוון לערוך; הארכיון אינו מכריע מדוע הושמט.

שינוי טווח הניתוח שומר על ההבחנה בין כיסוי שילובים להשוואות

כל העמודות סופרות בדיקות, ולכל שורה מכנה משלה: מספר הבדיקות שבהן משתנים שני הרכיבים באותו טווח ניתוח. בדיקת הטיפול בטקסט משאירה את מגבלת התאריכים העיקרית; בדיקת כל התקופות משאירה את ההשוואה המדויקת של הטקסט.

קריאת ערכי התרשים
טווח הניתוחבדיקות שבהן שני הרכיבים משתניםטבלאות שילובים מלאותשני סוגי ההשוואותלפחות מערך מלא 1 של 2×2
הניתוח העיקרי: טקסט מדויק, מגבלת תאריכים1883110632
טקסט לאחר איחוד רווחים, מגבלת תאריכים1893110832
טקסט מדויק, כל התקופות נכללות2394013342
העמודות האלה חופפות ואין לחבר אותן. כל טבלת שילובים מלאה כוללת את שני סוגי ההשוואות וגם מערך 2×2 מלא, אבל הכיוון ההפוך אינו מתחייב. המיפוי של כל התקופות הוא מבני בלבד; הכללת התקופה המתועדת של סיכון לבעיות בהקצאה אינה אישור לניתוח סיבתי.

כתבו את הבריף לבדיקה הבאה סביב ההחלטה

בסטודיו לקרמיקה, התחילו בהחלטה מה יקרה אחרי הבדיקה. האם הצוות יבחר גרסה מוגמרת לקידום הסדנה, ישאיר 1 מהתמונות וישנה את הכותרת שלה, או ישתמש באותה כותרת בכמה גרסאות קריאייטיב עתידיות? כל החלטה דורשת סדרת השוואות אחרת. טבלת שילובים גדולה יותר אינה בהכרח שימוש טוב יותר במאמץ של הצוות.

אם ההחלטה נוגעת לחבילות קריאייטיב מוגמרות, פרטו אותן בלי להבטיח הסבר לכל רכיב. אם ההחלטה נוגעת לכותרת, ציינו איזו תמונה תישאר קבועה. אם הצוות צריך לבחון אם הבדל בין כותרות משתנה בין 2 תמונות, כללו את 4 השילובים הרלוונטיים או השתמשו במבנה חלופי מוצדק. הפרידו זאת מההחלטה על מדד התגובה, ההקצאה ותקופת התצפית.

לפני הוספת השילובים המוצעים, בדקו אם הם הגיוניים. כותרת שמיועדת להצעה מסוימת עשויה להתאים רק לתמונת מוצר 1. צימוד לא מתאים שנוצר רק כדי למלא טבלה ישנה את המשימה. במקום זאת, הצוות יכול לצמצם את השאלה או ליצור גרסאות שאפשר לצמד באופן הגיוני. טבלת שילובים מלאה מועילה כשההשוואות שלה משרתות את ההחלטה, ולא מפני שטבלה מלאה נראית יסודית יותר.

השתמשו בשדות הבאים כבריף תכנון קצר. הטקסט בסוגריים מיועד לקמפיין שלכם, ואינו ממצא מהמחקר הזה.

ההחלטה אחרי הבדיקה: [בחירת חבילת קריאייטיב מוגמרת; השוואת רכיב מוגדר בהקשר מסוים; בחינת שילוב מוגדר של רכיבים].

רכיבים וגרסאות: [נוסחי הכותרות המדויקים; קובצי תמונה או מזהים קבועים; כל תוכן אחר שמשתנה].

החבילות שנכללות: [צמדי הכותרת והתמונה שיוצגו בפועל].

ההשוואות הנדרשות: [אילו צמדים משאירים רכיב קבוע; אילו 4 תאים תומכים בשאלת האינטראקציה, אם היא רלוונטית].

תוכנית הראיות: [מדד התגובה; הקהל וההקצאה; תנאי החשיפה; התצפית המתוכננת והכלל לבחינת התוצאות].

גבול המסקנה: [במה מבנה הניסוי יכול לתמוך; אילו שילובים או הקשרים שלא נבדקו נשארים מחוץ להחלטה].

למשל, סטודיו שמשתמש במבנה החלקי של 3 תאים יכול לכתוב: ״נשווה את הכותרות עם תמונה 1 ונשווה את התמונות עם כותרת B. אנחנו לא בודקים את כותרת A עם תמונה 2.״ המשפט הזה משאיר גלויות 2 שאלות שימושיות ואת ההשוואה החסרה, בלי לקבוע שמבנה הניסוי אינו מתאים.

יוצר תוכן שמכין עבודה ללקוח יכול להשתמש באותה הבחנה בדיון על תמונה ממוזערת וכותרת שעודכנו. השאלה היא איזו גרסה או איזה רכיב הלקוח רוצה לבחור. עם זאת, הספירות שלנו מגיעות מאתר של גוף תוכן, ואינן קובעות כיצד פלטפורמה חברתית עכשווית מקצה או מודדת גרסאות קריאייטיב.

השאירו את השאלה לצד השילובים

3 מגשים מאוירים מציגים צמדים שונים של קריאייטיב מוגמר, השוואת כותרות עם אותה תמונה וטבלת שילובים של 4 כרטיסים.
  1. בחרו קריאייטיב מוגמר

    השוו את חבילות הקריאייטיב שמועמדות לבחירה.

  2. השוו רכיב 1

    השאירו את הרכיב האחר קבוע בהשוואה שנחוצה לכם.

  3. בחנו את הצימוד

    כללו את השילובים הנדרשים כדי לשאול אם הבדל בין כותרות משתנה בין תמונות.

איור רעיוני של 3 אפשרויות תכנון. הכרטיסים אינם מציגים תוצאות ביצועים; השילובים המדויקים בדוגמה המפורטת מופיעים בטבלה הנגישה.

איך נבנה מיפוי מבני הניסויים

המקור הוא הקובץ החקרני שפורסם לציבור מתוך Upworthy Research Archive, שתואר בידי J. Nathan Matias, Kevin Munger, Marianne Aubin Le Quere ו־Charles Ebersole. הוא כולל 22,666 שורות של חבילות קריאייטיב, שמקובצות ל־4,873 בדיקות מהארכיון ההיסטורי של 2013–2015. השתמשנו בכותרת, במזהה התמונה, בקטע הטקסט הנלווה, במזהה הבדיקה, בחותמת זמן היצירה ובאינדקס השורה בארכיון. לא השתמשנו בקליקים, בחשיפות או בבחירות העורכים. [1] [6]

בדיקת היתכנות מבנית קדמה לתוכנית הסופית למיפוי מבני הניסויים ועזרה לגבש את שאלתה. לכן זהו ניתוח חוזר חקרני, ולא מחקר מאשש שנרשם מראש. הכללים שהוגדרו משאירים בדיקות עם שדות מבניים שמישים, מחילים את מגבלת התאריכים העיקרית ודורשים קטע טקסט נלווה זהה בכל החבילות. הדרישה לקטע קבוע היא שמרנית, מפני שהמאמר ותיעוד הארכיון חלוקים בשאלה אם השדה הזה הוצג. [6]

טבלת הסינון מציגה החרגות בזו אחר זו, ואחריהן פירוט של הבדיקות שעמדו בתנאי הסף. ב־5 בדיקות חסרה כותרת או חסר מזהה תמונה; לאחר מכן, 1,050 אינן עומדות בכלל טווח התאריכים, וב־606 בדיקות אחרות קטעי הטקסט הנלווים משתנים. 3,212 הבדיקות שנשארו כוללות 1,624 שבהן משתנות רק הכותרות, 1,078 שבהן משתנים רק מזהי התמונות, 188 שבהן שני הרכיבים משתנים ו־322 שבהן יש שילוב נצפה יחיד. הקטגוריה האחרונה עדיין יכולה לכלול כמה שורות מקור.

בתוך כל בדיקה, צמדי כותרת ותמונה זהים שחוזרים על עצמם נספרים פעם אחת כתאי מבנה. ב־5 מתוך 188 הבדיקות שבהן השתנו שני הרכיבים יש תאים חוזרים. טבלת שילובים מלאה כוללת כל צימוד של מחרוזות הכותרת ומזהי התמונות שנצפו באותה בדיקה. מחרוזות שונות לא בהכרח מבטאות רעיונות שונים, ומזהי תמונות שונים לא בהכרח מייצגים תמונות שנראות שונות; קובצי התמונות אינם זמינים.

בתוצאות ניתן משקל שווה לכל מבנה ניסוי, ולא לאנשים, לחשיפות או לעסקים. הן אינן קובעות מהו נוהג השיווק כיום, מהם הביצועים או מהי העוצמה הסטטיסטית. הקבצים להורדה מספקים את התוצאות המצרפיות ואת שיטת השחזור, כולל שתי בדיקות טווח הניתוח, כדי שהקוראים יוכלו לבחון את ההבדל בין שילוב שנצפה למסקנה שנגזרה ממנו. [7]

ההשוואה העיקרית מתחילה ב־188 מתוך 3,212 בדיקות שעמדו בתנאי הסף

סינון מתוך 4,873 הבדיקות בקובץ החקרני הציבורי. ההחרגות מיושמות לפי הסדר המוצג. 4 הקטגוריות הסופיות של מבני הניסוי מחלקות את 3,212 הבדיקות שעמדו בתנאי הסף.

הצגת שלבי הסינון וכל הקטגוריות שעומדות בתנאי הסף
קריאת ערכי התרשים
שלב סינון או קטגוריית מבנה שעומד בתנאי הסףבדיקות
בדיקות חקרניות בתחילת הסינון4,873
הוחרגו: חסרה כותרת או חסר מזהה תמונה5
הוחרגו: טווח תאריכי היצירה שהוגדר1,050
הוחרגו בהמשך: קטע טקסט נלווה שמשתנה606
עומדות בתנאי הסף לאחר ההחרגות3,212
עומדות בתנאי הסף: הכותרת משתנה, התמונה קבועה1,624
עומדות בתנאי הסף: התמונה משתנה, הכותרת קבועה1,078
עומדות בתנאי הסף: גם הכותרת וגם התמונה משתנות188
עומדות בתנאי הסף: שילוב נצפה 1322
קראו זאת כרצף, ואחריו פירוט: 4,873 פחות 5 פחות 1,050 פחות 606 שווה 3,212. 1,624 בדיקות שבהן משתנה רק הכותרת, 1,078 שבהן משתנה רק התמונה, 188 שבהן שני הרכיבים משתנים ו־322 שבהן יש שילוב יחיד מסתכמות ב־3,212. אין לחבר את כל השורות. אף בדיקה לא נכשלה בבדיקת המספר המזערי של זרועות הניסוי או בפענוח התאריך.

קובץ ה-CSV כולל 41 ערכים מ-4 התרשימים, ותאי התכנון להמחשה מסומנים בנפרד מהספירות ומהשיעורים שנצפו. קובץ ה-ZIP מכיל תוצאות מצרפיות, רישומי בדיקות מבניות וקוד ניתוח. כלולות הוראות שחזור מתורגמות; הורידו בנפרד את הארכיון הציבורי המקורי. לא כלולות תוצאות של קליקים או חשיפות.

מקורות והערות

  1. Matias, J. Nathan; Munger, Kevin; Aubin Le Quere, Marianne; ו־Ebersole, Charles (2021), ארכיון המחקר של Upworthy, סדרת זמן של 32,487 ניסויים בתקשורת בארצות הברית, Scientific Data 8, 195. DOI: 10.1038/s41597-021-00934-7. הניתוח של Influence IQ משתמש בתת־המדגם החקרני ובתיאור המקור המתוקן. המאמר המקורי מסביר באופן איכותני שהעורכים לעיתים קרובות לא בדקו את כל שילובי הכותרת והתמונה.
  2. המכנה העיקרי לבדיקות שבהן השתנו שני הרכיבים: 188 בדיקות. טבלאות שילובים מלאות: 31; חלקיות: 157. בקבוצה החלקית יש 75 עם שני סוגי ההשוואות, 30 עם השוואות כותרת בלבד, 45 עם השוואות תמונה בלבד ו־7 ללא אף סוג. לכן 150/157 = 95.5% מהבדיקות משאירות לפחות סוג 1 של השוואה. ״השוואה״ מציינת אפשרות מבנית, ולא אומדן של השפעה או ניסוי שאומת כתקף.
  3. 3 מבני הניסוי של הסטודיו נועדו להמחשה. מבנה מלא של 2 גורמים עם 2 רמות כולל את כל 4 השילובים. הדוגמה החלקית משמיטה את A עם תמונה 2; הדוגמה האלכסונית משאירה רק את A עם תמונה 1 ואת B עם תמונה 2. מבנה של 4 תאים לבדו אינו קובע שההקצאה איכותית, שהמדגם גדול מספיק או שיש אינטראקציה בעלת משמעות. המדריך של NIST מסביר מבנים פקטוריאליים מלאים ואת שילוביהם.
  4. התיקון לארכיון מיוני 2024 מצביע על בעיות אפשריות בהקצאה אקראית מ־25 ביוני 2013 עד 10 בינואר 2014, כולל שני הקצוות, וממליץ שלא להשתמש בתקופה הזאת למחקר סיבתי. הוא משאיר במפורש אפשרות לשימושי מחקר אחרים. הניתוח העיקרי שלנו מחריג כל בדיקה שטווח תאריכי היצירה שלה חופף לתקופה; חותמות הזמן אינן מוכיחות את תאריכי החשיפה, ואזור הזמן שלהן אינו ידוע. הבדיקה המבנית של כל התקופות משאירה את הרשומות האלה.
  5. בדיקת הרגישות לרווחים מסירה רווחים בתחילת הטקסט ובסופו ומאחדת רצפי רווחים בתוך נוסח הכותרת וקטע הטקסט הנלווה, תוך שמירה על אותיות גדולות וקטנות ועל סימני פיסוק. 8 בדיקות נעשות כשירות להכללה; בדיקה 1 שנכללה בשני הניתוחים משנה סיווג מבני. המכנים מחושבים מחדש ואינם נשארים 188. בניתוח העיקרי, בניתוח הרווחים ובניתוח כל התקופות יש בהתאמה 188, 189 ו־239 בדיקות שבהן משתנים שני הרכיבים.
  6. קובץ ה־CSV החקרני המקובע הוא upworthy-archive-exploratory-packages-03.12.2020.csv, גרסת קובץ 1 ב־OSF, בגודל 14,260,949 בתים. ערך ה־SHA-256 שלו הוא 8368313b060f4015a0c6fb34e6d788163cee29554144aba9390b14922eb9d8ce. בקובץ אין סימון מעודכן של הבעיה, ולכן מגבלת התאריכים נגזרת בנפרד. המאמר מתאר את קטע הטקסט הנלווה כטקסט שהוצג; תיעוד הארכיון מונה אותו בין שדות שלפי ההערכה לא הוצגו. השארת הקטע קבוע מונעת ייחוס הבדלים לשדה הזה, שמעמדו שנוי במחלוקת.
  7. Cornell University מפרסמת את Upworthy Research Archive ואת הקוד והתיעוד הנלווים ברישיון Creative Commons Attribution 4.0 International. Influence IQ מספק את הניתוח המבני הנגזר הזה; אין בכך כדי להעיד על תמיכה מצד Upworthy או מחברי הארכיון. חבילת הניתוח מכילה פלטים מצרפיים, רישומי בדיקות מבניות, קוד והוראות שחזור מתורגמות. השיגו את הנתונים הציבוריים המקוריים בנפרד מהארכיון.

המאמר באנגלית הוא מהדורת המקור. כל מהדורת שפה מתארת את אותו תת־מדגם חקרני היסטורי של Upworthy ואת אותם מבני ניסוי להמחשה. התרגום אינו הופך את הממצאים למדד ייחוס לשוק המקומי או לפלטפורמה עכשווית.

חברו את שאלת הבדיקה לתוכנית הקמפיין