אילו תגובות למתכון כדאי לקרוא כדי לקבל משוב?
קריאת התגובות שקיבלו הכי הרבה הצבעות חיוביות או התגובות החדשות ביותר עשויה לשנות את תמהיל הדירוגים שתראו. השוואה של בחירות בנות 10 תגובות ב־100 דיונים נבחרים על מתכונים מראה למה שיטת הקריאה צריכה להתאים לשאלה שרוצים לענות עליה.
ניתוח של 18,182 תגובות בארכיון מתכונים ש־UCI פרסם ב־2023.
תקציר
כשהמטרה הייתה לשקף את תמהיל הדירוגים בדיון על מתכון, בחירה אקראית הייתה קרובה יותר בממוצע מבחירת התגובות שקיבלו הכי הרבה הצבעות חיוביות או החדשות ביותר. Influence IQ השווה בחירות בנות 10 תגובות בקבוצה נבחרת של 100 מתכונים בעלי דירוג גבוה, מתוך ארכיון היסטורי של 18,182 תגובות ש־UCI פרסם ב־2023. ממוצע תוחלות הפער בתמהיל הדירוגים היה 16.5 נקודות אחוז בבחירה אקראית, 18.7 לפי הצבעות חיוביות ו־20.3 בתגובות החדשות ביותר. [1][4]
התוצאה מודדת את תמהיל התגובות עם דירוג של 1–5 כוכבים וללא דירוג, ולא את התועלת שבעצות שלהן. בחירה לפי הצבעות חיוביות הייתה קרובה יותר מבחירה אקראית ב־46 מתכונים ורחוקה יותר ב־54. ליוצרי תוכן בתחום האוכל ולמנהלי קהילות, המשמעות היא להבחין בין מדגם שמסכם דיון לבין דוגמאות שמשמשות לתכנון תגובה.
יש לכם מתכון לשפר ודיון ארוך מתחתיו. לפני שמחליטים מה להבהיר, יש זמן לקרוא קבוצה קטנה של תגובות. מתחילים בתגובות שקיבלו הכי הרבה הצבעות, בחדשות ביותר או בבחירה אקראית מתוך הדיון?
הבחירה הזאת קודמת לפרשנות של כל משפט. היא קובעת אילו קולות ייכנסו לבריף שתעבירו ליוצרים, לעורכים או לעמיתים. בדקנו איך 3 כללי בחירה מפורשים שינו מאפיין מדיד 1 של הבריף: האיזון בין הדירוגים, כולל תגובות שמחבריהן לא השאירו דירוג.
מבט נבחר על דיון רחב יותר

- התגובות שנבחרו
- הדיון המלא בארכיון
10 תגובות יכולות להציג 3 תמונות שונות
יוצרי מתכונים שמכינים תוכן המשך צריכים להחליט מה לקרוא קודם. התגובות שקיבלו הכי הרבה הצבעות חיוביות עשויות להיראות כמו קיצור דרך מועיל. התגובות החדשות ביותר מציעות דרך אחרת להיכנס לדיון. שתי האפשרויות מקדימות תגובות מסוימות לאחרות, אבל אף בחירה אינה מתארת בהכרח את הדיון כולו.
בדקנו את השאלה המצומצמת הזאת בעזרת 18,182 תגובות מהארכיון על 100 מתכונים נבחרים בעלי דירוג גבוה של Taste of Home, במאגר נתונים ציבורי שפורסם באמצעות UCI ב־2023. בכל מתכון השווינו 10 תגובות שנבחרו לפי הצבעות חיוביות, 10 לפי זמן היצירה ו־10 באקראי. נקודת הייחוס הייתה תמהיל הדירוגים בכל תגובות הארכיון לאותו מתכון. [1]
ממוצע תוחלות הפער מתמהיל הדירוגים המלא היה 18.7 נקודות אחוז בבחירה לפי הצבעות חיוביות, 20.3 בבחירת החדשות ביותר ו־16.5 בבחירה אקראית. לכל מתכון היה משקל שווה בממוצעים האלה, בלי קשר למספר התגובות שלו. [4]
לעומת בחירה אקראית, הפער היה גדול ב־2.2 נקודות אחוז בבחירה לפי הצבעות חיוביות וב־3.8 נקודות בבחירת החדשות ביותר. ההבדלים נוגעים לתמהיל של דירוגים ותגובות ללא דירוג. לא מדדנו אילו תגובות הציעו את עצת הבישול הטובה ביותר, את ההסבר הברור ביותר או את הרעיון העסקי המועיל ביותר.
ההבחנה חשובה ליוצרי תוכן אוכל ולמנהלי קהילות. תגובה יכולה להיות בעלת ערך מספיק כדי לעורר רעיון למדריך, בלי להיות טיפוסית לדיון. להשתמש בה כדוגמה זו החלטה שונה משימוש בקבוצת תגובות מצומצמת כסיכום.
הפער הממוצע מתמהיל הדירוגים המלא של כל מתכון
10 תגובות בכל בחירה, ב־100 דיוני מתכונים נבחרים מהארכיון ההיסטורי של UCI. פער קטן יותר פירושו התאמה קרובה יותר להרכב הדירוגים והתגובות ללא דירוג.
| שיטת הבחירה | ממוצע תוחלות הפער |
|---|---|
| לפי מספר ההצבעות החיוביות הגבוה ביותר | 18.7 נקודות אחוז |
| החדשות ביותר לפי זמן היצירה | 20.3 נקודות אחוז |
| בחירה אקראית | 16.5 נקודות אחוז |
מה המשמעות של פער בתמהיל הדירוגים?
אפשר לחשוב על כל דיון במתכון כתמהיל של 6 קטגוריות: 1 עד 5 כוכבים, לצד תגובות ללא דירוג. למדגם של 10 תגובות יש תמהיל משלו. מדדנו כמה התמהיל הקטן רחוק מזה של הדיון המלא בארכיון, באמצעות מדד של מרחק בין התפלגויות שנקרא total variation distance.
הנה דוגמה היפותטית עם 2 קטגוריות בלבד. נניח שמחצית מהתגובות נותנות 4 כוכבים ומחציתן 5 כוכבים. אם בבחירה של 10 תגובות יש 7 עם 4 כוכבים ו־3 עם 5 כוכבים, התמהיל הוא 70% לעומת 30%, במקום 50% לעומת 50%. המרחק הוא 20 נקודות אחוז: מחצית מסכום 2 ההפרשים המוחלטים של 20 נקודות.
אותו חישוב פועל בכל 6 הקטגוריות. ערך קטן יותר פירושו התאמה קרובה יותר להרכב הדירוגים בארכיון. אין פירושו שהכתיבה מספקת יותר מידע או שהתגובות אמיתיות יותר. גם תוצאה של 18.7 נקודות אינה אומרת ש־18.7% מהתגובות שגויות.
השארנו בהשוואה תגובות ללא דירוג. לפי ההגדרה של UCI, ערך 0 בשדה הדירוג מציין שאין דירוג, ולא ציון נמוך מ־1 כוכב. הוצאת התגובות האלה הייתה משנה את הדיון שמסכמים. הקטגוריה המספרית לבדה אינה מגלה אם תגובה ללא דירוג כוללת שאלה, שבח, בעיה או דבר אחר. [1]
הבחירה האקראית הייתה קרובה יותר בממוצע, אבל לא בכל מתכון
ההשוואה הכוללת אינה מצביעה על מנצחת בכל מצב. בבחירה לפי הצבעות חיוביות, תוחלת הפער הייתה קטנה מזו של בחירה אקראית ב־46 מתוך 100 המתכונים, וגדולה יותר ב־54. הבחירה בחדשות ביותר הייתה קרובה יותר ב־42 מתכונים ורחוקה יותר ב־58. באף השוואה לא היה שוויון מדויק. [4]
אלה השוואות בין תוחלות הפער של השיטות בתוך כל מתכון. אין פירושן שכל הגרלה אקראית אפשרית עדיפה על בחירה לפי הצבעות חיוביות באותם 54 דיונים. קבוצה מסוימת של 10 תגובות שנבחרו באקראי עשויה במקרה להיות דומה מאוד לדיון המלא, או להחמיץ חלקים ממנו.
התוצאה של הבחירה האקראית היא ממוצע על פני כל מדגם אפשרי של 10 תגובות, כשההסתברות לכל מדגם שווה. זו אינה תוצאה של הגרלה מוצלחת 1 או של ערך אתחול אקראי שנבחר. גם כשכמה תגובות חלקו את מספר ההצבעות או את חותמת הזמן שבסף הבחירה, חישבנו ממוצע על פני אפשרויות ההכרעה בשוויון.
שוויון בסף הבחירה חייב מיצוע ב־70 מתכונים בבחירה לפי הצבעות חיוביות וב־4 בבחירת החדשות ביותר. לא העדפנו תגובה מבין השוות לפי המחבר, מיקום השורה או המזהה שלה. החישוב בודק מה קורה תחת כלל בחירה מוגדר, במקום לראות בסדר שרירותי ראיה. [4]
ליוצרי תוכן יש כאן מסקנה מעשית צנועה אבל מועילה: הצבעות חיוביות ועדכניות הן קריטריונים לבחירה. אם משתמשים באחד מהם כדי לסכם דיון, צריך לציין זאת. אל תניחו שקבוצת התגובות שמוצגת לכם שומרת על האיזון של הארכיון כולו.
השיטה הקרובה יותר הייתה שונה מדיון לדיון על מתכונים
כל בחירה לפי סדר מיון מושווית לבחירה אקראית באותו מתכון. אלה השוואות של תוחלות הפער, ולא תוצאות של הגרלות אקראיות בודדות.
| שיטת הבחירה | פער קטן יותר מאשר בבחירה אקראית | פער זהה לבחירה אקראית | פער גדול יותר מאשר בבחירה אקראית |
|---|---|---|---|
| לפי הצבעות חיוביות לעומת בחירה אקראית | 46 | 0 | 54 |
| החדשות ביותר לעומת בחירה אקראית | 42 | 0 | 58 |
בחרו את השאלה לפני שבוחרים את התגובות
שיטות לקריאת משוב לקוחות משרתות מטרות שונות. עסק עשוי לרצות להבין דפוס רחב, לבדוק בעיה מסוימת או למצוא שאלה לפוסט הבא. המחקר הזה עוסק בחלק מהעבודה: האם קבוצה קטנה של תגובות שומרת על הרכב הדירוגים בדיון. הוא אינו מדרג את כל הדרכים לאיסוף משוב.
אם השאלה היא ״איך נראה הדיון הזה כמכלול?״, התחילו בהגדרה אילו תגובות שייכות אליו. בחירה אקראית מרשימה מלאה ונגישה נמנעת מהעדפה מכוונת של הצבעות או של זמני יצירה מאוחרים. בארכיון הזה היא הייתה קרובה יותר בממוצע, אבל גם למדגם אקראי קטן היה פער מדיד. 10 היה מספר התגובות שבחרנו להשוואה, ולא המלצה ש־10 תגובות מספיקות.
אם השאלה היא ״על מה כדאי לענות עכשיו?״, תגובה מסוימת עשויה להצדיק תשומת לב בפני עצמה. שאלה ברורה על החלפת מרכיב יכולה להצדיק בדיקת המתכון והכנת הסבר. לא צריך להציג אותה כשאלה נפוצה כדי לענות עליה. הרלוונטיות שלה לתוכן הבא היא שיקול נפרד.
אם השאלה נוגעת לשינויים אחרונים, זמן היצירה יכול להגדיר חלון קריאה רלוונטי. ציינו את החלון בסיכום. במחקר שלנו ״התגובות החדשות ביותר״ היו אלה עם חותמות זמן היצירה המאוחרות ביותר בארכיון השמור, ולא תגובות שמגיעות היום או הסדר שמוצג כרגע באתר.
גם ארכיון התגובות המלא הוא נקודת ייחוס מוגבלת. הוא כולל תוכן מאנשים שבחרו להגיב, ולא מכל מי שקראו את המתכון או ניסו אותו. אם עסק זקוק למשוב מאנשים שאינם מגיבים, דרושה דרך נפרדת להגיע אליהם. התאמה קרובה יותר לארכיון התגובות אינה משלימה את החסר הזה. שמרו את המשוב הנוסף בנפרד, כדי שיהיה ברור מה מקורו ואיך נבחר.
שמרו 2 רישומים נפרדים: באחד תארו את הבחירה ששימשה לסיכום הדיון, ובאחר פרטו שאלות שכדאי לבדוק. זו הצעה לתכנון, ולא תהליך עבודה שנבחן במחקר הזה.
דוגמה בדיונית: תכנון תוכן המשך למתכון
דמיינו יוצרי תוכן אוכל שמתכננים המשך למתכון אפייה. תגובה שקיבלה הצבעות חיוביות רבות שואלת אם אפשר להשתמש בתבנית אחרת. מפתה לפתוח את הסרטון הבא במילים ״כולם מתקשים עם גודל התבנית״. זהו תרחיש בדיוני, ולא תגובה או מתכון שנבחרו ממאגר הנתונים.
כדאי אולי לענות על שאלת התבנית גם בלי להראות עד כמה היא נפוצה. הצבעות חיוביות אינן מוכיחות מי ניסו את המתכון או חוו את אותו הדבר.
בריף מדויק יותר יהיה: ״מישהו מהקוראים שאל איך בחירת התבנית משפיעה על המתכון. הראו את התבנית שבה השתמשתם, הסבירו את הממדים וציינו מה צריך לבדוק לפני שממליצים על אחרת״. כך אפשר לאמת את פרטי הבישול. התגובה מספקת את שאלת הפתיחה; היא אינה מבססת את התשובה.
אם רוצים גם לסכם את הדיון, צריך לשמור רישום נפרד של מה שנקרא ואיך נבחר. במדגם אקראי מתוך רשימה זמינה ומלאה, לכל תגובה צריכה להיות הזדמנות שווה להיבחר, בלי לבחור את אותה תגובה פעמיים. גלילה לכמה מקומות נוחים אינה ההליך האקראי שנבדק כאן.
כשאין רשימה מלאה, תארו את הבחירה שאפשר לבצע בפועל. ״בדקנו את התגובות הראשונות שהוצגו לפי סדר המיון הזה״ מספק יותר מידע מהכינוי ״מדגם מייצג״. אל תייחסו להליך השונה הזה את הפערים המספריים שמצאנו בארכיון.
תוכן ההמשך צריך להציג את הציוד ולענות על השאלה שנבדקה. תעדו מה הבהרתם, כדי שבבדיקה הבאה תוכלו להתמקד בשאלות שנותרו פתוחות. העריכו את ההסבר על סמך המשוב שיתקבל על תוכן ההמשך עצמו.
הפרידו בין הבחירה לפרשנות

הגדירו את קבוצת הקריאה
ציינו את הדיון ואת כלל הבחירה לפני שמתחילים לקרוא.
בדקו מה הבחירה מכסה
הבחינו בין התמונה שעולה מהבחירה לבין הדיון המלא.
קראו את התגובה בהקשר שלה
השתמשו בשאלה שנשאלה בפועל כדי לתכנן מענה ולבדוק את התשובה.
בריף קצר לקריאת דיון על מתכון
השתמשו בשאלות האלה לפני שמטילים על יוצרים או על עמיתים לעבור על תגובות. הן כלי עזר מעשי לתכנון, ולא שאלות ממאגר המקור.
החלטה: איזו החלטה תתבסס על הקריאה? הגדירו משימה קונקרטית, כמו הבהרת שלב במתכון או בחירת נושא לתוכן המשך. הפרידו בין בקשה לדוגמאות לבין בקשה לתאר את הדיון כולו.
היקף: איזה מתכון, איזו פלטפורמה ואיזו תקופה נכללים? ציינו אם הרשימה הזמינה מלאה. ספרו תגובות כתגובות; אל תציגו אותן כאנשים ייחודיים או כלקוחות מאומתים בלי ראיות נפרדות.
בחירה: איך ייכנסו תגובות לקבוצת הקריאה? תעדו את סדר המיון או את הליך הדגימה האקראית, את מספר התגובות שנקראו ואת כלל ההכרעה בשוויון. השאירו בהיקף הבדיקה תגובות ללא דירוג, כשהן חלק מהדיון שרוצים להבין.
תצפיות: מה נאמר בפועל בתגובות שנבחרו? הפרידו בין שאלה ישירה לבין הפרשנות שלכם. שמרו מספיק הקשר להבנת הנושא, בלי לכלול מידע אישי בבריף משותף.
הפעולה הבאה: איזו טענה או איזה פרט במתכון דורשים בדיקה לפני הפרסום? הטילו את הבדיקה על מי שיכולים לענות עליה. כתבו את ההסבר המוצע ואת היעד לפרסום, בלי להפוך את הדוגמאות שנבחרו לטענה לא מבוססת על שכיחות.
איך השווינו בין 3 שיטות הבחירה
המקור הוא מאגר ״ביקורות על מתכונים ומשוב משתמשים״ של Ali, Matuszewski ו־Czupyt, ש־UCI פרסם ב־2023 ברישיון CC BY 4.0. הוא כולל תגובות לרשימה נבחרת של 100 מתכונים בעלי דירוג גבוה של Taste of Home. שנת הפרסום אינה מועד איסוף מדויק, וחומרי המקור הזמינים אינם מוכיחים שכל תגובה מקורית נכללה. זהו ניתוח של ארכיון היסטורי, ולא מדד השוואתי עדכני של הפלטפורמה. [1][2][3]
אימתנו את הארכיון המלא שפורסם: 18,182 מזהי תגובות נבדלים ב־100 מיקומי מתכונים. בכל מתכון היו יותר מ־10 תגובות, ולכן כל 100 המתכונים נכללו בהשוואה. תגובות חוזרות של אותו אדם נשארו תגובות נפרדות. לא הסרנו כפילויות לפי אדם ולא ניתחנו את טקסט הביקורות, שמות, מוניטין המשתמשים או ציון הדירוג של המקור.
לכל מתכון, כלל ההצבעות החיוביות בחר את 10 התגובות עם מספר ההצבעות החיוביות המתועד הגבוה ביותר. כלל החדשות ביותר השתמש ב־10 חותמות זמן היצירה המאוחרות ביותר. כשבסף הבחירה היה שוויון, לכל דרך אפשרית למלא את המקומות הנותרים מתוך קבוצת השוויון הייתה הסתברות שווה. הבחירה האקראית נתנה לכל תת־קבוצה של 10 תגובות מארכיון המתכון הסתברות שווה.
בכל בחירה אפשרית השווינו את התפלגות הדירוגים שלה ב־6 קטגוריות לזו של ארכיון המתכון המלא, ואז מיצענו את המרחק לפי כלל הבחירה. חישובי הסתברות מדויקים נותנים את התוחלת הזאת ללא סימולציה. חשוב למצע את המרחקים עצמם: חישוב המרחק רק אחרי מיצוע שיעורי הקטגוריות היה עונה על שאלה אחרת ועלול היה להסתיר את השונות בין המדגמים.
לאחר מכן מיצענו את תוחלות המרחק של המתכונים במשקל שווה לכל מתכון. חישבנו הפרשים לפני עיגול ל־1 ספרה אחרי הנקודה. מספר התגובות שנקבע, 10, כללי ההכללה, ההשוואות ותוכנית הדיווח הוגדרו לפני בחינת תוצאות היעד. לא בחרנו בדיעבד מספר תגובות חלופי או תת־קבוצה של מתכונים עם תוצאה נוחה.
התוצאות מתארות את הארכיון המוגבל הזה ואת כללי הבחירה שנקבעו, ולכן איננו מציגים רווח סמך לאוכלוסייה או השפעה סיבתית. הצבעות חיוביות מצטברות אינן חושפות את החשיפה או את היסטוריית ההצבעה. המאמר המקורי של יוצרי המאגר עוסק בסיווג טקסט; הניתוח הזה פועל לפי קטגוריות הכוכבים שתועדו ב־UCI ובוחן את הבחירה. ההסבר הטכני מפרט את ההבדל בין שדות המקור. [1][2]
ההורדות כוללות תוצאות מצרפיות, ביקורת מספרית לכל מיקום מתכון וקוד שחזור. אין בהן טקסט תגובות, שמות או מזהי משתמשים. רשומות המקור זמינות בנפרד מ־UCI; מתן ייחוס למחברי המאגר ולמאגר המארח אינו אומר שהם תומכים בפרשנות שלנו. [1][3]
אין צורך בהרשמה. ההורדות כוללות השוואות מצרפיות, תוצאות מספריות לפי מיקום המתכון והסברים מתורגמים של השיטה. הן אינן כוללות טקסט תגובות, שמות משתמשים או מזהים של תגובות בודדות. מאגר המקור זמין בנפרד מ-UCI. [1]
מקורות והערות
- Ali, A., Matuszewski, S. ו־Czupyt, J. (2023). ביקורות על מתכונים ומשוב משתמשים [מאגר נתונים]. מאגר למידת המכונה של UCI. DOI: 10.24432/C5FG95. לפי תיעוד UCI, המאגר כולל 18,182 תגובות, ושדה stars מוגדר כ־1–5 כוכבים, כאשר 0 פירושו שאין דירוג. חישובי Influence IQ משתמשים בארכיון שפורסם, ולא בנתונים עדכניים מהאתר.
- מאמר יוצרי המאגר, ״בלוטות טעם בטקסט: בחינה מעמיקה של זיהוי רגשות במתכוני אוכל באמצעות מודלי BERT ו־AttBiRNN״, מתאר את מקור המתכונים הנבחר ואת מחקר סיווג הטקסט. התיאור שלו לשדה best_score סותר את שדה הדירוג המתועד ב־UCI. אנחנו משתמשים ב־stars ולא מנתחים את best_score או את טקסט הביקורות. החומר הזמין אינו קובע את מועד צילום המצב המדויק או את שלמות האיסוף.
- מאגר הנתונים של UCI מופץ ברישיון Creative Commons Attribution 4.0. Influence IQ חישב ממנו השוואות מצרפיות חדשות. ייחוס המאגר אינו מעיד על תמיכה מצד המחברים, UCI או Taste of Home. ההורדות אינן מפיצות מחדש תגובות בודדות או זהויות משתמשים.
- Influence IQ (2026). דגימת משוב על מתכונים: שיטת הניתוח, תוצאות מצרפיות וקוד שחזור. החבילה מתעדת את ההשוואה הקבועה של 10 תגובות, חישובים מדויקים של תוחלת מרחק הווריאציה הכוללת, טיפול בתיקו ותוצאות מספריות לכל 100 מיקומי המתכונים. נתוני המקור מתקבלים בנפרד מ-UCI. הסברים מתורגמים מלווים את הקבצים הטכניים המקוריים.
המאמר, בריף התכנון, תוויות התרשימים וקובץ התוצאות ב-CSV זמינים בכל שפות המאמר. חבילת השחזור הטכנית כוללת הסברים מתורגמים. כל מהדורה מתארת את אותו ארכיון מתכונים היסטורי ואת אותו ניתוח.