Quais comentários de receitas você deve ler para receber feedback?

Ler os comentários com mais votos positivos ou os mais recentes pode mudar a distribuição de notas que você vê. Uma comparação de seleções de 10 comentários em 100 discussões de receitas selecionadas mostra por que o método de leitura deve seguir a pergunta que você quer responder.

Uma análise de 18.182 comentários em um arquivo de receitas disponibilizado pela UCI em 2023.

Resumo

Quando o objetivo era refletir a distribuição de notas de uma discussão sobre uma receita, a seleção aleatória ficou mais próxima, em média, que a escolha dos comentários com mais votos positivos ou dos mais recentes. O Influence IQ comparou seleções de 10 comentários em um conjunto selecionado de 100 receitas bem avaliadas de um arquivo histórico de 18.182 comentários disponibilizado pela UCI em 2023. As diferenças esperadas médias na distribuição de notas foram de 16,5 pontos percentuais na seleção aleatória, 18,7 na seleção por votos positivos e 20,3 na seleção dos mais recentes. [1][4]

O resultado mede a distribuição de comentários com notas de 1 a 5 estrelas e de comentários sem nota, não a utilidade dos conselhos. A seleção por votos positivos ficou mais próxima que a aleatória em 46 receitas e mais distante em 54. Para quem cria conteúdo culinário e gerencia comunidades, a implicação é distinguir uma amostra usada para resumir uma discussão de exemplos usados para planejar uma resposta.

Você tem uma receita para melhorar e uma longa discussão nos comentários. Há tempo para ler um pequeno conjunto de comentários antes de decidir o que esclarecer. Você começa pelos que atraíram mais votos positivos, pelos mais recentes ou por uma seleção aleatória da discussão?

Essa escolha acontece antes de você interpretar uma única frase. Ela determina quais vozes entram no briefing que você entrega a quem cria, edita ou trabalha com você. Examinamos como 3 regras explícitas de seleção mudaram uma característica mensurável desse briefing: o equilíbrio das notas, incluindo comentários cujos autores não deram nota.

Uma visão selecionada de uma discussão maior

2 molduras translúcidas, em verde-azulado e cor de ferrugem, destacam grupos diferentes em um grande conjunto de cartões de comentários ilustrados.
  • Comentários selecionados
  • Discussão completa arquivada
Ilustração conceitual da seleção de comentários de um arquivo. As quantidades de cartões, as cores e os tamanhos das molduras são decorativos; não representam notas, quantidades selecionadas nem resultados medidos.

10 comentários podem dar 3 visões diferentes

Quem cria receitas e prepara conteúdo complementar precisa decidir o que ler primeiro. Os comentários com mais votos positivos podem parecer um atalho útil. Os mais recentes oferecem outro caminho para entrar na discussão. Ambos colocam alguns comentários à frente de outros, mas nenhuma dessas seleções descreve automaticamente toda a discussão.

Testamos essa pergunta restrita usando 18.182 comentários arquivados sobre 100 receitas selecionadas e bem avaliadas do Taste of Home, em um conjunto público de dados disponibilizado pela UCI em 2023. Para cada receita, comparamos 10 comentários escolhidos por votos positivos, 10 escolhidos pela data de criação e 10 escolhidos aleatoriamente. A referência foi a distribuição de notas de todos os comentários arquivados sobre aquela receita. [1]

A diferença esperada média em relação à distribuição completa de notas foi de 18,7 pontos percentuais na seleção por votos positivos, 20,3 na seleção dos mais recentes e 16,5 na seleção aleatória. Cada receita contribuiu igualmente para essas médias, independentemente da quantidade de comentários que tinha. [4]

Em comparação com a seleção aleatória, a diferença foi 2,2 pontos percentuais maior na seleção por votos positivos e 3,8 pontos maior na dos comentários mais recentes. Essas diferenças dizem respeito à distribuição de notas e comentários sem nota. Não medimos quais comentários ofereciam os melhores conselhos de culinária, a explicação mais clara ou a ideia de negócio mais útil.

Essa distinção importa para quem cria conteúdo culinário ou gerencia comunidades. Um comentário pode ser valioso o suficiente para inspirar um tutorial sem ser típico da discussão. Tratá-lo como exemplo é uma decisão diferente de tratar uma lista curta como resumo.

Diferença média em relação à distribuição completa de notas de cada receita

10 comentários por seleção em 100 discussões de receitas selecionadas do arquivo histórico da UCI. Uma diferença menor significa maior proximidade na composição de notas e ausência de nota.

Tabela de dados: diferença esperada média na distribuição de notas para 3 métodos de selecionar 10 comentários
Método de seleçãoDiferença esperada média
Mais votos positivos18,7 pontos percentuais
Mais recentes pela data de criação20,3 pontos percentuais
Seleção aleatória16,5 pontos percentuais
Fonte: cálculos do Influence IQ. Distância de variação total esperada média, expressa em pontos percentuais. Todas as receitas têm o mesmo peso. A seleção aleatória calcula a média de todas as amostras possíveis de 10 comentários; os empates no ponto de corte têm suas médias calculadas com desempate uniforme. Isso mede a composição, não a utilidade dos comentários.

O que significa uma diferença na distribuição de notas?

Pense em cada discussão sobre uma receita como uma distribuição de 6 categorias: de 1 a 5 estrelas e comentários sem nota. Uma amostra de 10 comentários tem sua própria distribuição. Medimos o quanto essa distribuição menor se afastava da discussão completa arquivada, usando uma medida chamada distância de variação total.

Veja um exemplo hipotético com apenas 2 categorias. Suponha que metade dos comentários dê 4 estrelas e metade dê 5. Se uma seleção de 10 comentários contém 7 com 4 estrelas e 3 com 5, sua distribuição é de 70% contra 30%, em vez de 50% contra 50%. A distância é de 20 pontos percentuais: metade das 2 diferenças absolutas de 20 pontos.

O mesmo cálculo funciona nas 6 categorias. Um valor menor significa maior proximidade com a composição das notas do arquivo. Não significa que o texto seja mais informativo nem que os comentários sejam mais verdadeiros. Um resultado de 18,7 pontos também não significa que 18,7% dos comentários estejam errados.

Mantivemos os comentários sem nota na comparação. A UCI define 0 no campo de nota como ausência de nota, não uma pontuação abaixo de 1 estrela. Remover esses comentários mudaria a discussão resumida. A categoria numérica, sozinha, não informa se um comentário sem nota contém uma pergunta, um elogio, um problema ou outra coisa. [1]

A seleção aleatória ficou mais próxima em média, mas não em todas as receitas

A comparação geral não produz um vencedor universal. A seleção por votos positivos teve uma diferença esperada menor que a aleatória em 46 das 100 receitas e maior em 54. A seleção dos mais recentes ficou mais próxima em 42 receitas e mais distante em 58. Nenhuma comparação teve empate exato. [4]

São comparações entre as diferenças esperadas de cada método dentro de uma receita. Não significam que todo sorteio aleatório possível supere a seleção por votos positivos naquelas 54 discussões. Um sorteio específico de 10 comentários pode, por acaso, se parecer bastante com a discussão completa ou deixar partes dela de fora.

O resultado aleatório é uma média de todas as amostras possíveis de 10 comentários, com a mesma probabilidade para cada uma. Não é o resultado de um sorteio favorável nem de uma semente aleatória escolhida. Também calculamos médias das seleções de desempate possíveis quando vários comentários tinham a mesma contagem de votos positivos ou timestamp no ponto de corte.

Os empates no ponto de corte exigiram calcular médias em 70 receitas na seleção por votos positivos e em 4 na seleção dos mais recentes. Não demos preferência a um comentário empatado por seu autor, posição da linha ou identificador. O cálculo pergunta o que acontece segundo uma regra de seleção declarada, em vez de tratar uma ordenação arbitrária como evidência. [4]

Para quem cria conteúdo, a implicação prática é modesta, mas útil: votos positivos e recência são critérios de seleção. Se usar um deles para resumir uma discussão, declare essa escolha. Não suponha que uma lista curta visível preserve o equilíbrio do arquivo inteiro.

O método mais próximo variou entre as discussões de receitas

Cada seleção ordenada é comparada com a seleção aleatória dentro da mesma receita. São comparações de diferenças esperadas, não resultados de sorteios aleatórios individuais.

Tabela de dados: contagens de receitas em que a seleção ordenada de comentários ficou mais próxima, igual ou mais distante da distribuição de notas do arquivo que a seleção aleatória
Método de seleçãoMais próximo que a seleção aleatóriaIgual à seleção aleatóriaMais distante que a seleção aleatória
Mais votos positivos versus seleção aleatória46054
Mais recentes versus seleção aleatória42058
Fonte: cálculos do Influence IQ. Base: todas as 100 discussões de receitas elegíveis. “Mais próximo” significa uma diferença esperada na distribuição de notas menor que a da seleção aleatória; “mais distante” significa maior. Nenhuma receita teve empate exato em qualquer comparação. As contagens descrevem este arquivo selecionado, não a população mais ampla de receitas.

Escolha a pergunta antes de escolher os comentários

Os métodos de feedback de clientes servem a tarefas diferentes. Uma empresa pode querer entender um padrão geral, investigar um problema específico ou encontrar uma pergunta para a próxima publicação. Este estudo aborda uma parte desse trabalho: se uma pequena seleção preserva a composição das notas de uma discussão. Não classifica todas as formas de coletar feedback.

Se sua pergunta é “Como é esta discussão no geral?”, comece definindo quais comentários fazem parte dela. Uma seleção aleatória de uma lista acessível e completa evita favorecer deliberadamente os votos positivos ou as datas de criação mais recentes. Neste arquivo, ela ficou mais próxima em média, mas uma pequena amostra aleatória ainda teve uma diferença mensurável. 10 foi a quantidade que escolhemos comparar, não uma recomendação de que 10 comentários sejam suficientes.

Se sua pergunta é “O que devo responder agora?”, um comentário específico pode merecer atenção por si só. Uma pergunta clara sobre substituir um ingrediente pode justificar conferir a receita e preparar uma explicação. Você não precisa chamar a pergunta de frequente antes de respondê-la. A relevância dela para o próximo conteúdo é uma avaliação separada.

Se sua pergunta envolve mudanças recentes, a data de criação pode definir um período relevante para leitura. Mantenha esse período visível no resumo. Os comentários mais recentes do nosso estudo eram os que tinham os timestamps de criação mais recentes no arquivo salvo, não comentários que chegam hoje nem a ordem exibida atualmente no site.

Mesmo o arquivo completo de comentários é uma referência limitada. Ele contém contribuições de pessoas que escolheram comentar, e não de todas as que leram ou testaram uma receita. Se uma empresa precisa de feedback de quem nunca comenta, precisa de outra forma de chegar a essas pessoas. Uma maior proximidade com o arquivo de comentários não preenche essa lacuna. Mantenha esse feedback adicional separado para que sua origem e seleção continuem compreensíveis.

Mantenha 2 notas separadas: uma descreve a seleção usada para resumir a discussão; a outra lista perguntas que vale a pena investigar. Esta é uma abordagem sugerida de planejamento, não um fluxo testado neste estudo.

Um exemplo fictício: planejar conteúdo complementar sobre uma receita

Imagine alguém que cria conteúdo culinário planejando um conteúdo complementar sobre uma receita de forno. Um comentário com muitos votos positivos pergunta se outra forma funciona. A pessoa sente vontade de abrir o próximo vídeo com “Todo mundo está tendo dificuldade com o tamanho da forma”. Este é um cenário fictício, não um comentário nem uma receita selecionados do conjunto de dados.

Pode valer a pena responder à pergunta sobre a forma sem demonstrar o quanto ela é comum. Os votos positivos não estabelecem quem testou a receita nem quem teve a mesma experiência.

Um briefing mais preciso diria: “Uma pessoa perguntou como a escolha da forma afeta esta receita. Mostre a forma usada, explique as dimensões e identifique o que precisaria ser conferido antes de recomendar outra”. Quem cria o conteúdo pode então verificar os detalhes culinários. O comentário fornece a pergunta inicial; não estabelece a resposta.

Se quem cria o conteúdo também quiser resumir a discussão, deve manter uma nota separada explicando o que leu e como escolheu a leitura. Uma amostra aleatória de uma lista completa disponível deve dar a cada comentário a mesma chance, sem selecionar o mesmo duas vezes. Rolar a página até alguns pontos convenientes não é o procedimento aleatório avaliado aqui.

Quando uma lista completa não estiver disponível, descreva a seleção que você realmente pode fazer. “Revisamos os primeiros comentários exibidos nesta ordem de classificação” é mais informativo que chamá-la de amostra representativa. Não atribua as diferenças numéricas do nosso arquivo a esse outro processo.

O conteúdo complementar deve mostrar os utensílios e responder à pergunta verificada. Mantenha um registro do que esclareceu para que a próxima revisão possa focar nas perguntas sem resposta. Avalie essa explicação pelo feedback sobre o próprio conteúdo complementar.

Mantenha a seleção e a interpretação separadas

Um conjunto de cartões de comentários leva a uma lupa e a uma balança que compara grupos pequenos e grandes de cartões, depois a um comentário ampliado com um balão de resposta.
  1. Defina o conjunto de leitura

    Nomeie a discussão e a regra de seleção antes de ler.

  2. Considere o que a seleção abrange

    Mantenha a visão selecionada distinta da discussão completa.

  3. Leia o comentário no contexto

    Use a pergunta real para planejar e conferir a resposta.

Sequência ilustrativa de planejamento, não um fluxo testado. As quantidades de cartões, as cores e a balança são conceituais, sem escala numérica nem afirmação de que uma seleção representa toda a discussão.

Um breve roteiro para ler uma discussão sobre uma receita

Use estas perguntas antes de pedir a alguém que cria conteúdo ou trabalha com você para revisar comentários. Elas são um apoio prático ao planejamento, não perguntas do conjunto de dados de origem.

Decisão: O que a leitura vai embasar? Nomeie uma tarefa concreta, como esclarecer uma etapa da receita ou escolher um tema para conteúdo complementar. Separe um pedido de exemplos de um pedido para descrever a discussão inteira.

Escopo: Que receita, plataforma e período estão incluídos? Declare se a lista disponível está completa. Conte comentários como comentários; não os chame de pessoas únicas nem de clientes verificados sem evidência separada.

Seleção: Como os comentários entrarão no conjunto de leitura? Registre a ordem de classificação ou o procedimento aleatório, a quantidade lida e qualquer regra de desempate. Mantenha os comentários sem nota no escopo quando fizerem parte da discussão que você quer entender.

Observações: O que os comentários selecionados realmente disseram? Separe uma pergunta direta da sua interpretação. Mantenha contexto suficiente para entender a questão, deixando informações pessoais fora de um briefing compartilhado.

Próxima ação: Qual afirmação ou detalhe da receita precisa ser conferido antes da publicação? Atribua essa verificação a alguém que possa responder. Escreva a explicação proposta e seu destino, sem transformar os exemplos selecionados em uma afirmação sem respaldo sobre a frequência do problema.

Como comparamos os 3 métodos de seleção

A fonte é o conjunto de dados Recipe Reviews and User Feedback, de Ali, Matuszewski e Czupyt, publicado pela UCI em 2023 sob a licença CC BY 4.0. Ele contém comentários de uma lista selecionada de 100 receitas bem avaliadas do Taste of Home. O ano de disponibilização não estabelece uma data exata de coleta, e o material disponível da fonte não estabelece que todos os comentários originais foram capturados. Esta é uma análise de arquivo histórico, não uma referência atual de desempenho da plataforma. [1][2][3]

Validamos todo o arquivo disponibilizado: 18.182 identificadores distintos de comentários em 100 posições de receitas. Todas as receitas tinham mais de 10 comentários, por isso as 100 entraram na comparação. Pessoas que comentaram mais de uma vez continuam contando como vários comentários. Não eliminamos duplicatas por pessoa nem analisamos o texto das avaliações, nomes, reputação dos usuários ou a pontuação de classificação da fonte.

Para cada receita, a regra de votos positivos selecionou os 10 comentários com as maiores contagens observadas de votos positivos. A regra dos mais recentes usou os 10 timestamps de criação mais recentes. Quando havia empate no ponto de corte, todas as formas possíveis de preencher as vagas restantes entre os empatados tinham a mesma probabilidade. A seleção aleatória deu a cada subconjunto de 10 comentários do arquivo da receita a mesma probabilidade.

Para cada seleção possível, comparamos sua distribuição de notas em 6 categorias com o arquivo completo da receita e depois calculamos a média da distância segundo a regra de seleção. Cálculos exatos de probabilidade produzem essa esperança matemática sem simulação. Calcular a média das distâncias importa: calcular uma distância só depois de tirar a média das proporções das categorias responderia a outra pergunta e poderia ocultar a variação amostral.

Depois calculamos a média das distâncias esperadas específicas de cada receita, com o mesmo peso para todas. As diferenças foram calculadas antes do arredondamento para 1 casa decimal. A quantidade de 10 comentários, as regras de elegibilidade, as comparações e o plano de apresentação dos resultados foram fixados antes de examinar os resultados de interesse. Nenhuma quantidade alternativa nem subconjunto favorável de receitas foi escolhido depois.

Os resultados descrevem este arquivo finito e as regras de seleção especificadas, por isso não apresentamos intervalo de confiança populacional nem efeito causal. Os votos positivos acumulados não revelam a exposição nem o histórico de votação. O artigo original do produtor estuda classificação de texto; esta análise segue as categorias de estrelas documentadas pela UCI e examina a seleção. O método técnico explica a distinção entre os campos da fonte. [1][2]

Os downloads fornecem os resultados agregados, uma auditoria numérica de cada posição de receita e o código de reprodução. Não contêm texto de comentários, nomes nem identificadores de usuários. Os registros da fonte estão disponíveis separadamente na UCI; a atribuição aos autores do conjunto de dados e ao repositório não implica endosso da nossa interpretação. [1][3]

Não é preciso se cadastrar. Os downloads contêm comparações agregadas, resultados numéricos por posição de receita e explicações traduzidas do método. Não incluem texto de comentários, nomes de usuários nem identificadores individuais de comentários. O conjunto de dados de origem está disponível separadamente na UCI. [1]

Fontes e notas

  1. Ali, A., Matuszewski, S., e Czupyt, J. (2023). Recipe Reviews and User Feedback [conjunto de dados]. UCI Machine Learning Repository. DOI: 10.24432/C5FG95. A UCI documenta 18.182 comentários e define notas de 1 a 5 estrelas, com 0 indicando ausência de nota. Os cálculos do Influence IQ usam o arquivo disponibilizado, não dados atuais do site.
  2. O artigo do produtor, “Textual Taste Buds: A Profound Exploration of Emotion Identification in Food Recipes through BERT and AttBiRNN Models”, descreve a fonte de receitas selecionadas e um estudo de classificação de texto. Sua descrição de best_score entra em conflito com o campo de nota documentado pela UCI. Usamos stars e não analisamos best_score nem o texto das avaliações. O material disponível não estabelece o momento exato do retrato dos dados nem a cobertura completa da coleta.
  3. O conjunto de dados da UCI está sob a licença Creative Commons Attribution 4.0. O Influence IQ calculou novas comparações agregadas a partir dele. A atribuição do conjunto de dados não implica endosso dos autores, da UCI nem do Taste of Home. Os downloads não redistribuem comentários individuais nem identidades de usuários.
  4. Influence IQ (2026). Amostragem de comentários sobre receitas: método de análise, resultados agregados e código de reprodução. O pacote registra a comparação fixa de 10 comentários, os cálculos exatos da variação total esperada, o tratamento de empates e os resultados numéricos das 100 posições de receitas. Os dados de origem são obtidos separadamente na UCI. Explicações traduzidas acompanham os arquivos técnicos originais.

O artigo, o roteiro de planejamento, os rótulos das figuras e o CSV dos resultados estão disponíveis nos idiomas em que o artigo é publicado. O pacote técnico de reprodução inclui explicações traduzidas. Todas as edições descrevem o mesmo arquivo histórico de receitas e a mesma análise.

Transforme a leitura em um próximo passo útil