Какие комментарии к рецепту читать для разбора отзывов?
Чтение самых новых комментариев или тех, у которых больше всего голосов «за», может изменить видимое распределение оценок. Сравнение выборок по 10 комментариев в 100 отобранных обсуждениях рецептов показывает, почему способ чтения должен отвечать вашему вопросу.
Анализ 18 182 комментариев из архива рецептов, опубликованного UCI в 2023 году.
Аннотация
Когда цель — отразить распределение оценок в обсуждении рецепта, случайный отбор в среднем был ближе, чем выбор по голосам «за» или новизне. Influence IQ сравнил наборы по 10 комментариев для 100 отобранных рецептов с высокими оценками в историческом архиве из 18 182 комментариев, выпущенном UCI в 2023 году. Среднее ожидаемое расхождение составило 16,5 процентного пункта при случайном отборе, 18,7 — по голосам «за» и 20,3 — по новизне. [1][4]
Результат измеряет соотношение комментариев с оценками 1–5 звёзд и без оценки, а не полезность советов. Для 46 рецептов отбор по голосам «за» давал меньшее ожидаемое расхождение с полным распределением оценок, чем случайный, а для 54 — большее. Авторам кулинарного контента и менеджерам сообществ стоит различать выборку для обобщения обсуждения и примеры для подготовки ответа.
У вас есть рецепт, который хочется улучшить, и длинное обсуждение под ним. До решения, что уточнить, можно прочитать лишь часть комментариев. С чего начать: с набравших больше голосов, с последних по времени или со случайного набора?
Выбор происходит ещё до трактовки первого предложения. От него зависит, чьи мнения попадут в бриф автору, редактору или коллеге. Мы проверили, как 3 явных правила отбора меняют 1 измеримую характеристику такого брифа — распределение оценок, включая комментарии без них.
Выбранная часть большого обсуждения

- Отобранные комментарии
- Полное архивное обсуждение
10 комментариев могут дать 3 разные картины
Автору рецепта, который готовит продолжение материала, нужно решить, что читать первым. Комментарии с наибольшим числом голосов «за» кажутся удобным сокращением пути. Самые новые дают другой вход в обсуждение. Оба способа ставят одни комментарии впереди других, но ни один автоматически не описывает обсуждение целиком.
Мы проверили этот узкий вопрос на 18 182 архивных комментариях к 100 отобранным рецептам Taste of Home с высокими оценками из публичного набора UCI 2023 года. Для каждого рецепта сравнили 10 комментариев по голосам «за», 10 по времени создания и 10 случайных. Эталоном было распределение оценок всех архивных комментариев к этому рецепту. [1]
Среднее ожидаемое расхождение с полным распределением — 18,7 процентного пункта для голосов «за», 20,3 для самых новых и 16,5 для случайного отбора. Каждый рецепт вносил одинаковый вклад в средние независимо от числа комментариев. [4]
По сравнению со случайным отбором расхождение по голосам «за» было на 2,2 процентного пункта больше, по новизне — на 3,8 пункта. Это различия в распределении звёздных оценок, включая комментарии без оценки. Мы не измеряли, где лучшие советы по готовке, самые ясные объяснения или наиболее полезные идеи для бизнеса.
Для автора кулинарного контента и менеджера сообщества это важное различие. Комментарий может быть ценным поводом для обучающего материала, оставаясь нетипичным для обсуждения. Использовать его как пример — не то же решение, что считать короткий список обобщением.
Среднее расхождение с полным распределением оценок каждого рецепта
По 10 комментариев в выборке для 100 отобранных обсуждений рецептов из исторического архива UCI. Чем меньше расхождение, тем ближе состав по оценкам и их отсутствию.
| Способ отбора | Среднее ожидаемое расхождение |
|---|---|
| Больше всего голосов «за» | 18,7 процентного пункта |
| Самые новые по времени создания | 20,3 процентного пункта |
| Случайный отбор | 16,5 процентного пункта |
Что означает расхождение в распределении оценок?
Представьте обсуждение рецепта как распределение по 6 категориям: от 1 до 5 звёзд и комментарии без оценки. Набор из 10 комментариев имеет своё распределение. Мы измерили его отличие от полного архивного распределения с помощью показателя «полное вариационное расстояние».
Возьмём условный пример лишь с 2 категориями. Половина комментариев — с 4 звёздами, половина — с 5. Если в наборе из 10 комментариев 7 содержат оценку 4 звезды, а 3 — 5 звёзд, получится 70 % против 30 %, а не 50 % против 50 %. Расстояние равно 20 процентным пунктам — половине суммы 2 абсолютных разностей по 20 пунктов.
Тот же расчёт применим ко всем 6 категориям. Меньшее значение означает более близкий состав оценок к архивному, а не большую информативность или правдивость комментариев. Результат 18,7 процентного пункта также не означает, что 18,7 % комментариев ошибочны.
Мы сохранили в сравнении комментарии без оценки. UCI определяет 0 в поле оценки как её отсутствие, а не балл ниже 1 звезды. Удалив такие комментарии, мы обобщали бы другое обсуждение. Одна числовая категория не показывает, содержится ли в комментарии без оценки вопрос, похвала, проблема или что-то ещё. [1]
Случайный отбор был ближе в среднем, но не для каждого рецепта
Общее сравнение не определяет универсального победителя. По голосам «за» ожидаемое расхождение было меньше, чем при случайном отборе, для 46 из 100 рецептов и больше для 54. Отбор самых новых был ближе для 42 рецептов и дальше для 58. Точных равенств не было ни в одном сравнении. [4]
Для каждого рецепта сравниваются ожидаемые расхождения методов. Это не значит, что любой случайный набор лучше отбора по голосам «за» в тех 54 обсуждениях. Конкретная выборка из 10 комментариев может случайно хорошо повторить полное обсуждение или пропустить часть его состава.
Случайный результат усредняет все возможные наборы из 10 комментариев с равными вероятностями. Это не результат 1 удачной выборки или выбранного начального значения генератора случайных чисел. Мы также усреднили возможные варианты разрешения равенств, когда на границе отбора совпадали число голосов «за» или время создания комментариев.
Равенства на границе отбора потребовали усреднения для 70 рецептов по голосам «за» и для 4 по новизне. Мы не отдавали предпочтение комментарию из равной группы из-за автора, позиции строки или идентификатора. Расчёт описывает заданное правило отбора, а не превращает произвольный порядок в доказательство. [4]
Практический вывод для автора скромный: голоса «за» и новизна — критерии отбора. Если используете их для обобщения обсуждения, назовите свой выбор. Не считайте, что видимый короткий список автоматически сохраняет баланс всего архива.
В разных обсуждениях рецептов ближе оказывались разные методы
Каждый отбор по рангу сравнивается со случайным отбором в рамках того же рецепта. Сопоставляются ожидаемые расхождения, а не результаты отдельных случайных выборок.
| Способ отбора | Ближе, чем при случайном отборе | Так же, как при случайном отборе | Дальше, чем при случайном отборе |
|---|---|---|---|
| Лидеры по числу голосов «за» в сравнении со случайным отбором | 46 | 0 | 54 |
| Самые новые в сравнении со случайным отбором | 42 | 0 | 58 |
Выберите вопрос, прежде чем отбирать комментарии
Способы работы с обратной связью решают разные задачи. Компания может искать общую закономерность, разбирать конкретную проблему или выбирать вопрос для следующей публикации. Исследование касается лишь части этой работы: сохраняет ли небольшой набор распределение оценок обсуждения. Оно не ранжирует все способы сбора отзывов.
Если вопрос — «Какова общая картина обсуждения?», сначала определите, какие комментарии в него входят. Случайный отбор из доступного полного списка не даёт намеренного преимущества голосам «за» или недавнему времени создания. В этом архиве он был ближе в среднем, но небольшая случайная выборка всё ещё давала измеримое расхождение. 10 — выбранный нами объём сравнения, а не рекомендация, что 10 комментариев достаточно.
Если вопрос — «На что ответить дальше?», конкретный комментарий может заслуживать внимания сам по себе. Ясный вопрос о замене ингредиента — повод проверить рецепт и подготовить пояснение. Не нужно объявлять вопрос распространённым, чтобы ответить на него. Уместность для следующего материала оценивается отдельно.
Если интересуют недавние изменения, время создания может задать нужный период чтения. Укажите его в обобщении. В нашем исследовании самые новые комментарии отбирались по поздним меткам создания в сохранённом архиве, а не по сегодняшним поступлениям или нынешнему порядку сайта.
Даже полный архив комментариев — ограниченный эталон. Он содержит комментарии тех, кто решил их оставить, а не всех, кто читал рецепт или готовил по нему. Чтобы получить отзывы тех, кто не комментирует, компании нужен отдельный способ обратиться к ним. Более близкое совпадение с архивом не восполняет этот пробел. Держите дополнительную обратную связь отдельно, чтобы её источник и отбор были понятны.
Ведите 2 отдельные заметки: одна описывает отбор для обобщения обсуждения, другая — вопросы для дальнейшей проверки. Это предлагаемый подход к планированию, а не процесс, испытанный в исследовании.
Вымышленный пример: планируем продолжение материала о рецепте
Представьте автора кулинарного контента, который готовит новый материал по рецепту выпечки. Комментарий с большим числом голосов «за» спрашивает, подойдёт ли другая форма. Хочется начать ролик с «У всех проблемы с размером формы». Это вымышленная ситуация: ни комментарий, ни рецепт не взяты из набора данных.
На вопрос о форме можно ответить, не доказывая его распространённость. Голоса «за» не устанавливают, кто пробовал рецепт или сталкивался с тем же.
Более точный бриф: «Читатель спросил, как выбор формы влияет на этот рецепт. Покажите использованную форму, объясните её размеры и укажите, что проверить перед рекомендацией другой». Затем автор может уточнить кулинарные детали. Комментарий даёт исходный вопрос, а не устанавливает ответ.
Если автор хочет ещё и обобщить обсуждение, нужна отдельная заметка о прочитанном и способе отбора. В случайной выборке из полного доступного списка у каждого комментария должен быть равный шанс, без повторного выбора того же комментария. Прокрутка к нескольким удобным местам — не оценённая здесь случайная процедура.
Когда полного списка нет, опишите доступный реальный отбор. «Мы прочитали первые комментарии, показанные при этой сортировке» информативнее названия «репрезентативная выборка». Не переносите числовые расхождения нашего архива на этот другой процесс.
В продолжении покажите оборудование и ответьте на проверенный вопрос. Запишите, что прояснили, чтобы следующий разбор касался оставшихся вопросов. Оценивайте объяснение по откликам именно на это продолжение.
Разделяйте отбор и интерпретацию

Определите, что будете читать
До чтения укажите обсуждение и правило отбора.
Оцените охват выборки
Отличайте выбранную часть от полного обсуждения.
Читайте комментарий в контексте
Планируйте ответ исходя из реального вопроса и проверяйте подготовленный ответ.
Краткий бриф для чтения обсуждения рецепта
Используйте эти подсказки, прежде чем поручить автору или коллеге разбор комментариев. Это практическая помощь в планировании, а не вопросы из исходного набора данных.
Решение: для какой задачи вы читаете комментарии? Назовите конкретное действие — например, уточнить шаг рецепта или выбрать тему продолжения. Отделите запрос примеров от просьбы описать обсуждение целиком.
Охват: какие рецепт, платформа и период включены? Укажите, полон ли доступный список. Считайте именно комментарии; без отдельных подтверждений не выдавайте их количество за число разных людей или проверенных клиентов.
Отбор: как комментарии попадут в набор для чтения? Запишите сортировку или случайную процедуру, число прочитанных и правило для равных значений. Сохраняйте комментарии без оценки, если они входят в обсуждение, которое нужно понять.
Наблюдения: что на самом деле сказано в выбранных комментариях? Отделите прямой вопрос от своей трактовки. Оставьте достаточно контекста для понимания проблемы, не включая личную информацию в общий бриф.
Следующее действие: какое утверждение или деталь рецепта требуют проверки до публикации? Поручите её тому, кто может ответить. Запишите предлагаемое пояснение и место размещения, не превращая выбранные примеры в необоснованный вывод о распространённости.
Как мы сравнили 3 способа отбора
Источник — набор Recipe Reviews and User Feedback авторов Ali, Matuszewski и Czupyt, опубликованный UCI в 2023 году по CC BY 4.0. Он содержит комментарии к 100 отобранным рецептам Taste of Home с высокими оценками. Год выпуска не позволяет установить точную дату сбора, а доступные сведения не подтверждают, что были собраны все исходные комментарии. Это анализ исторического архива, а не текущий сравнительный показатель платформы. [1][2][3]
Мы проверили весь выпущенный архив: 18 182 различных идентификатора комментариев в 100 позициях рецептов. У каждого было больше 10 комментариев, поэтому вошли все 100. Комментарии одного автора оставались отдельными единицами. Мы не объединяли записи по людям и не анализировали текст отзывов, имена, репутацию пользователей или ранжирующий показатель источника.
Для каждого рецепта при отборе по голосам «за» выбирали 10 комментариев с наибольшим зафиксированным числом таких голосов. Новизна определялась по 10 самым поздним меткам создания. При равенстве на границе каждый способ заполнить оставшиеся места из равной группы имел одинаковую вероятность. Случайный отбор давал равные шансы каждому набору из 10 комментариев архива рецепта.
Для каждого возможного набора мы сравнивали распределение по 6 категориям с полным архивом рецепта, затем усредняли расстояние по правилу отбора. Точные вероятностные расчёты дают это ожидаемое значение без имитационного моделирования. Важно усреднять именно расстояния: если сначала усреднить доли категорий и лишь потом вычислить расстояние, получится другой вопрос и можно скрыть изменчивость выборок.
Затем мы усреднили ожидаемые расстояния рецептов с равным весом каждого. Разности рассчитаны перед округлением до 1 знака после запятой. Объём в 10 комментариев, допуск к анализу, сравнения и план отчёта зафиксированы до просмотра целевых результатов. После этого не выбирались другой объём или выгодная подгруппа рецептов.
Результаты описывают конечный архив и заданные правила, поэтому доверительный интервал для общей совокупности и причинный эффект не приводятся. Накопленные голоса «за» не раскрывают показы или историю голосования. Исходная статья создателей изучает классификацию текстов; наш анализ следует категориям звёзд UCI и рассматривает отбор. Различие полей источника объясняет техническая методика. [1][2]
В загрузках есть сводные результаты, числовая проверка каждой позиции рецепта и код воспроизведения. Тексты комментариев, имена и пользовательские идентификаторы в них не входят. Исходные записи доступны отдельно через UCI; указание авторов набора и репозитория не означает одобрения нашей трактовки. [1][3]
Регистрация не нужна. Материалы для скачивания содержат сводные сравнения, числовые результаты по позициям рецептов и переведённые пояснения методики. Тексты комментариев, имена пользователей и идентификаторы отдельных комментариев не включены. Исходный набор данных доступен отдельно в UCI. [1]
Источники и примечания
- Ali, A., Matuszewski, S. и Czupyt, J. (2023). Recipe Reviews and User Feedback [Набор данных]. UCI Machine Learning Repository. DOI: 10.24432/C5FG95. UCI указывает 18 182 комментария и оценки от 1 до 5 звёзд; 0 означает отсутствие оценки. Расчёты Influence IQ выполнены по выпущенному архиву, а не по текущим данным сайта.
- Статья создателей «Текстовые вкусовые рецепторы: углублённое исследование распознавания эмоций в рецептах с помощью моделей BERT и AttBiRNN» описывает источник отобранных рецептов и исследование классификации текстов. Описание best_score в ней расходится с документированным UCI полем оценки. Мы используем stars и не анализируем best_score или тексты отзывов. Доступные материалы не устанавливают точное время архивного среза или полноту сбора.
- Набор UCI распространяется по лицензии Creative Commons Attribution 4.0. Influence IQ выполнил на его основе новые сводные сравнения. Указание авторства набора не означает одобрения со стороны авторов, UCI или Taste of Home. В загрузках не распространяются отдельные комментарии или сведения, позволяющие установить пользователей.
- Influence IQ (2026). Выборка отзывов о рецептах: методика анализа, сводные результаты и код воспроизведения. Пакет описывает фиксированное сравнение для 10 комментариев, точные расчёты ожидаемого полного вариационного расстояния, обработку равных значений и числовые результаты для всех 100 позиций рецептов. Исходные данные получают отдельно в UCI. Переведённые пояснения сопровождают исходные технические файлы.
Статья, бриф планирования, подписи к графикам и CSV результатов доступны на всех языках статьи. Технический пакет воспроизведения включает переведённые пояснения. Каждая версия описывает тот же исторический архив рецептов и тот же анализ.