Geri bildirim için hangi tarif yorumlarını okumalısınız?

En çok olumlu oy alan ya da en yeni yorumları okumak, gördüğünüz puan dağılımını değiştirebilir. Seçilmiş 100 tarif tartışmasında yapılan 10 yorumluk karşılaştırma, okuma yönteminin yanıt aradığınız soruya göre belirlenmesi gerektiğini gösteriyor.

UCI’nin 2023’te yayımladığı bir tarif arşivindeki 18.182 yorumun analizi.

Özet

Amaç bir tarif tartışmasının puan dağılımını yansıtmak olduğunda rastgele seçim, en çok olumlu oy alan veya en yeni yorumları seçmeye göre ortalamada daha yakındı. Influence IQ, UCI’nin 2023’te yayımladığı 18.182 yorumluk tarihsel arşivdeki yüksek puanlı tariflerden seçilmiş 100 tarifte 10 yorumluk seçimleri karşılaştırdı. Puan dağılımında beklenen farkların ortalaması rastgele seçimde 16,5, olumlu oylara göre seçimde 18,7, en yeni yorumlarda 20,3 yüzde puandı. [1][4]

Sonuç, 1–5 yıldız verilmiş yorumlarla puan verilmemiş yorumların dağılımını ölçüyor; içlerindeki önerilerin yararlılığını değil. Olumlu oylara göre seçim, 46 tarifte rastgele seçimden daha yakın, 54 tarifte daha uzaktı. Yemek içeriği üretenler ve topluluk yöneticileri için çıkarım, tartışmayı özetlemek amacıyla kullanılan örneklemle bir yanıtı planlamak için kullanılan örnekleri ayırmak.

Geliştirmek istediğiniz bir tarif ve altında uzun bir tartışma var. Neyi açıklığa kavuşturacağınıza karar vermeden az sayıda yorum okuyabilecek vaktiniz bulunuyor. En çok oy alanlardan mı, en son gelenlerden mi, tartışmadan rastgele seçilenlerden mi başlarsınız?

Bu seçimi daha tek cümleyi yorumlamadan yaparsınız. İçerik üreticisine, editöre veya çalışma arkadaşınıza vereceğiniz görev taslağına hangi seslerin gireceğini belirler. Açıkça tanımlanmış 3 seçim kuralının, taslağın ölçülebilen 1 özelliğini nasıl değiştirdiğini inceledik: puan vermeyen yazarların yorumları da dâhil, puanların dengesi.

Daha büyük bir tartışmadan seçilmiş bir görünüm

Çizilmiş çok sayıda yorum kartı içindeki farklı grupları, petrol yeşili ve pas renginde 2 yarı saydam çerçeve vurguluyor.
  • Seçilen yorumlar
  • Arşivlenmiş tartışmanın tamamı
Arşivden yorum seçmenin kavramsal çizimi. Kart sayıları, renkler ve çerçeve boyutları dekoratif; puanları, seçim sınırlarını veya ölçülen sonuçları kodlamıyor.

10 yorum, 3 farklı görünüm sunabilir

Devam içeriği hazırlayan bir yemek içerik üreticisinin önce ne okuyacağına karar vermesi gerekir. En çok olumlu oy alan yorumlar yararlı bir kestirme gibi görünebilir. En yeni yorumlar tartışmaya başka bir giriş sunar. İki yöntem de bazı yorumları öne alır; ancak hiçbiri kendiliğinden tartışmanın tamamını anlatmaz.

Bu dar soruyu, UCI aracılığıyla 2023’te yayımlanan kamuya açık veri kümesindeki seçilmiş 100 yüksek puanlı Taste of Home tarifine ait 18.182 arşiv yorumu üzerinden sınadık. Her tarifte olumlu oylara göre seçilen 10, oluşturulma zamanına göre seçilen 10 ve rastgele seçilen 10 yorumu karşılaştırdık. Referans, o tarifin arşivlenmiş tüm yorumlarındaki puan dağılımıydı. [1]

Tam puan dağılımından beklenen farkın ortalaması, olumlu oy seçiminde 18,7, en yeni seçiminde 20,3, rastgele seçimde 16,5 yüzde puandı. Yorum sayısı ne olursa olsun her tarifin bu ortalamalara katkısı eşitti. [4]

Rastgele seçime kıyasla fark, olumlu oylarda 2,2, en yeni yorumlarda 3,8 yüzde puan daha büyüktü. Bu ayrımlar, puan verilmiş ve verilmemiş yorumların dağılımıyla ilgili. Hangi yorumların en iyi yemek pişirme önerisini, en açık anlatımı veya en yararlı iş fikrini sunduğunu ölçmedik.

Bu ayrım yemek içeriği üreten biri veya topluluk yöneticisi için önemli. Bir yorum, tartışmanın tipik örneği olmadan da öğretici bir içeriğe ilham verecek kadar değerli olabilir. Onu örnek olarak kullanmakla kısa bir listeyi özet saymak farklı kararlar.

Her tarifin tam puan dağılımından ortalama fark

Tarihsel UCI arşivindeki seçilmiş 100 tarif tartışmasında, her seçimde 10 yorum. Farkın küçülmesi, puan verilmiş/verilmemiş yorum bileşiminin daha yakın eşleşmesi demek.

Veri tablosu: 10 yorum seçmenin 3 yöntemi için beklenen puan dağılımı farklarının ortalaması
Seçim yöntemiBeklenen farkların ortalaması
En çok olumlu oy alanlar18,7 yüzde puan
Oluşturulma zamanına göre en yeniler20,3 yüzde puan
Rastgele seçim16,5 yüzde puan
Kaynak: Influence IQ hesapları. Beklenen toplam varyasyon uzaklıklarının yüzde puan cinsinden ortalaması. Her tarif eşit ağırlıklı. Rastgele seçim, mümkün tüm 10 yorumluk örneklemlerin ortalamasını alır; kesim noktasındaki eşitliklerde olası seçimler eşit olasılıkla ortalanır. Bu, yorumların yararlılığını değil, bileşimi ölçer.

Puan dağılımındaki fark ne anlama geliyor?

Her tarif tartışmasını 6 kategorinin karışımı olarak düşünün: 1’den 5’e yıldız puanları ve puan verilmemiş yorumlar. 10 yorumluk örneklemin de kendi dağılımı var. Toplam varyasyon uzaklığı denen ölçüyle bu küçük dağılımın arşivdeki tam tartışmadan ne kadar uzak olduğunu ölçtük.

Yalnız 2 kategorili varsayımsal bir örnek alalım. Yorumların yarısı 4, yarısı 5 yıldız versin. Seçilen 10 yorumda 4 yıldızlı 7 yorum ve 5 yıldızlı 3 yorum varsa dağılım %50’ye karşı %50 yerine %70’e karşı %30 olur. Uzaklık 20 yüzde puandır: 20 puanlık 2 mutlak farkın yarısı.

Aynı hesap 6 kategorinin tamamında çalışır. Daha küçük değer, arşivin puan bileşimine daha yakın eşleşme demek. Yazının daha bilgilendirici veya yorumların daha doğru olduğunu göstermez. 18,7 puanlık sonuç, yorumların %18,7’sinin yanlış olduğu anlamına da gelmez.

Puan verilmemiş yorumları karşılaştırmada tuttuk. UCI, puan alanındaki 0’ı puan verilmemiş olarak tanımlıyor; 1 yıldızın altında bir puan olarak değil. Bu yorumları çıkarmak, özetlenen tartışmayı değiştirirdi. Tek başına sayısal kategori, puansız bir yorumda soru mu, övgü mü, sorun mu yoksa başka bir şey mi bulunduğunu söylemez. [1]

Rastgele seçim ortalamada daha yakındı; her tarifte değil

Genel karşılaştırmadan her duruma uyan bir kazanan çıkmıyor. 100 tarifin 46’sında olumlu oy seçiminin beklenen farkı rastgele seçimden küçüktü, 54’ünde büyüktü. En yeni seçim 42 tarifte daha yakın, 58 tarifte daha uzaktı. İki karşılaştırmada da tam eşitlik yoktu. [4]

Bunlar her tarif içindeki yöntemlerin beklenen farklarını karşılaştırıyor. O 54 tartışmada mümkün olan her rastgele çekilişin olumlu oy seçimini geçtiği anlamına gelmiyor. Belirli bir 10 yorumluk çekiliş, tesadüfen tam tartışmaya çok benzeyebilir veya bazı kısımlarını kaçırabilir.

Rastgele sonuç, her biri eşit olasılıklı mümkün tüm 10 yorumluk örneklemler üzerinden ortalama alır. Şanslı 1 çekilişin veya seçilmiş bir rastgelelik başlangıç değerinin sonucu değil. Kesim noktasında birkaç yorumun olumlu oy sayısı ya da zaman damgası aynıysa, eşitliği bozan mümkün seçimlerin de ortalamasını aldık.

Kesim noktasındaki eşitlikler, olumlu oy seçiminde 70, en yeni seçiminde 4 tarif için ortalama almayı gerektirdi. Yazarına, satır konumuna veya kimliğine bakarak eşit durumdaki bir yorumu tercih etmedik. Hesap, keyfî sıralamayı kanıt saymak yerine, belirtilen seçim kuralı altında ne olduğunu soruyor. [4]

İçerik üreticisi için pratik çıkarım sınırlı ama yararlı: olumlu oylar ve yorumun ne kadar yeni olduğu birer seçim ölçütü. Tartışmayı özetlemek için bunlardan birini kullanıyorsanız bunu belirtin. Görünen kısa listenin bütün arşivin dengesini koruduğunu varsaymayın.

Daha yakın yöntem tarif tartışmasına göre değişti

Sıralamaya dayalı her seçim, aynı tarif içindeki rastgele seçimle karşılaştırılıyor. Bunlar tekil rastgele çekilişlerin sonuçları değil, beklenen farkların karşılaştırmaları.

Veri tablosu: sıralamaya dayalı yorum seçiminin arşiv puan dağılımına rastgele seçimden daha yakın, eşit veya daha uzak olduğu tarif sayıları
Seçim yöntemiRastgele seçimden daha yakınRastgele seçime eşitRastgele seçimden daha uzak
En çok olumlu oy alanlar ile rastgele seçim46054
En yeniler ile rastgele seçim42058
Kaynak: Influence IQ hesapları. Temel: uygun 100 tarif tartışmasının tamamı. “Daha yakın”, rastgele seçimden küçük beklenen puan dağılımı farkı; “daha uzak”, büyük fark demek. Her iki karşılaştırmada da hiçbir tarifte tam eşitlik yoktu. Sayımlar, daha geniş tarif evrenini değil, bu seçilmiş arşivi anlatıyor.

Yorumları seçmeden önce soruyu seçin

Müşteri geri bildirimi yöntemleri farklı işler görür. Bir işletme genel bir örüntüyü anlamak, belirli bir sorunu araştırmak veya sonraki gönderisi için soru bulmak isteyebilir. Bu çalışma, o işin bir bölümünü ele alıyor: küçük bir seçimin tartışmanın puan bileşimini koruyup korumadığını. Geri bildirim toplamanın tüm yollarını sıralamıyor.

Sorunuz “Bu tartışmanın bütünü nasıl görünüyor?” ise önce hangi yorumların tartışmaya dâhil olduğunu tanımlayın. Erişilebilir, eksiksiz bir listeden rastgele seçim yapmak, oyları veya yeni oluşturulma zamanlarını bilerek kayırmaz. Bu arşivde ortalamada daha yakındı; yine de küçük rastgele örneklemde ölçülebilir fark vardı. 10, seçtiğimiz karşılaştırma sınırıydı; 10 yorumun yeterli olduğuna ilişkin öneri değil.

Sorunuz “Sırada neyi yanıtlamalıyım?” ise belirli bir yorum kendi başına ilgiyi hak edebilir. Bir malzemeyi başka bir malzemeyle değiştirmeye ilişkin açık soru, tarifi kontrol edip açıklama hazırlamak için yeterli neden olabilir. Yanıt vermeden önce sorunun yaygın olduğunu söylemeniz gerekmez. Sonraki içerikle ilgisi ayrı bir değerlendirme.

Sorunuz yakın zamandaki değişikliklerle ilgiliyse oluşturulma zamanı, okuma için uygun bir dönem tanımlayabilir. Özette bu dönemi görünür tutun. Çalışmamızda en yeni yorumlar, bugün gelenler veya sitede şu an görünen sıra değil, kayıtlı arşivdeki en son oluşturulma zaman damgalarıydı.

Yorum arşivinin tamamı bile sınırlı bir referans. Tarifi okuyan veya deneyen herkesin değil, yorum yazmayı seçenlerin katkılarını içeriyor. İşletmenin hiç yorum yazmayanlardan geri bildirim alması gerekiyorsa onlara ulaşmak için ayrı bir yol gerekir. Yorum arşivine daha çok benzemek bu boşluğu doldurmaz. Kaynağı ve seçimi anlaşılır kalsın diye ek geri bildirimleri ayrı tutun.

2 ayrı not tutun: biri tartışmayı özetlemek için kullanılan seçimi anlatsın; diğeri araştırmaya değer soruları sıralasın. Bu, önerilen bir planlama yaklaşımı; çalışmada sınanmış bir iş akışı değil.

Kurgusal bir örnek: tarifin devam içeriğini planlamak

Bir yemek içerik üreticisinin fırında pişen bir tarifin devam içeriğini planladığını düşünün. Çok sayıda olumlu oy alan bir yorum, farklı bir kalıbın işe yarayıp yaramayacağını soruyor. İçerik üreticisi sonraki videoya “Herkes kalıp boyutunda zorlanıyor” diye başlamak istiyor. Bu kurgusal bir durum; veri kümesinden seçilmiş yorum veya tarif değil.

Kalıp sorusu, ne kadar yaygın olduğunu göstermeden de yanıtlanmaya değer olabilir. Olumlu oylar, kimin tarifi denediğini veya aynı deneyimi yaşadığını kanıtlamaz.

Daha kesin bir görev taslağı şöyle derdi: “Bir okur, kalıp seçiminin bu tarifi nasıl etkilediğini sordu. Kullanılan kalıbı gösterin, ölçülerini açıklayın ve başka bir kalıp önermeden önce neyin kontrol edilmesi gerektiğini belirtin.” İçerik üreticisi sonra pişirme ayrıntılarını doğrulayabilir. Yorum başlangıç sorusunu sağlar; yanıtı kanıtlamaz.

İçerik üreticisi tartışmayı da özetlemek istiyorsa neyi okuduğunu ve nasıl seçtiğini açıklayan ayrı not tutmalı. Erişilebilen eksiksiz listeden rastgele örneklem, aynı yorumu iki kez seçmeden her yoruma eşit şans vermeli. Ekranı kaydırıp kolay ulaşılır birkaç yerde durmak, burada değerlendirilen rastgele yöntem değil.

Eksiksiz liste yoksa gerçekten yapabildiğiniz seçimi anlatın. “Bu sıralama düzeninde ilk gösterilen yorumları inceledik” demek, temsili örneklem demekten daha bilgilendirici. Arşivimizdeki sayısal farkları bu farklı sürece bağlamayın.

Devam içeriği ekipmanı göstermeli ve kontrol edilmiş soruyu yanıtlamalı. Neyi açıklığa kavuşturduğunuzu kaydedin; sonraki inceleme yanıtsız sorulara odaklanabilsin. Bu açıklamayı, devam içeriğinin kendisine gelen geri bildirimle değerlendirin.

Seçimle yorumlamayı ayrı tutun

Yorum kartları dizisini bir büyüteç, küçük ve büyük kart gruplarını karşılaştıran bir terazi, sonra yanıt baloncuğu bulunan büyütülmüş bir yorum izliyor.
  1. Okunacak grubu tanımlayın

    Okumadan önce tartışmayı ve seçim kuralını belirtin.

  2. Seçimin neleri kapsadığını düşünün

    Seçilen görünümü bütün tartışmadan ayrı tutun.

  3. Yorumu bağlamında okuyun

    Yanıtı planlayıp doğrulamak için gerçekten sorulan soruyu kullanın.

Planlamayı örnekleyen bir sıra; sınanmış iş akışı değil. Kart sayıları, renkler ve terazi kavramsal; sayısal ölçek veya seçimin bütün tartışmayı temsil ettiği iddiası yok.

Tarif tartışmasını okumak için kısa bir görev taslağı

Yorumları inceleme görevini içerik üreticisine veya çalışma arkadaşınıza vermeden bu soruları kullanın. Bunlar pratik planlama desteği; kaynak veri kümesinden alınmış sorular değil.

Karar: Okuma hangi karara bilgi sağlayacak? Tarifin bir adımını açıklığa kavuşturmak veya devam içeriği konusu seçmek gibi somut bir görev yazın. Örnek istemekle bütün tartışmayı anlatmasını istemeyi ayırın.

Kapsam: Hangi tarif, platform ve dönem dâhil? Erişilebilen listenin eksiksiz olup olmadığını belirtin. Yorumları yorum olarak sayın; ayrıca kanıt olmadan benzersiz kişiler veya doğrulanmış müşteriler diye adlandırmayın.

Seçim: Yorumlar okuma grubuna nasıl girecek? Sıralama düzenini veya rastgele yöntemi, okunan sayıyı ve varsa eşitlik kuralını kaydedin. Anlamak istediğiniz tartışmanın parçasıysa puan verilmemiş yorumları da kapsamda tutun.

Gözlemler: Seçilen yorumlar gerçekten ne dedi? Doğrudan soruyu kendi yorumunuzdan ayırın. Sorunu anlamaya yetecek bağlamı koruyun; paylaşılan görev taslağına kişisel bilgileri koymayın.

Sonraki adım: Yayından önce hangi iddia veya tarif ayrıntısı kontrol edilmeli? Kontrol görevini, ilgili soruyu yanıtlayabilecek birine verin. Seçilen örnekleri dayanaksız yaygınlık iddiasına çevirmeden, önerilen açıklamayı ve nerede yayımlanacağını yazın.

3 seçim yöntemini nasıl karşılaştırdık?

Kaynak, Ali, Matuszewski ve Czupyt’in UCI tarafından 2023’te CC BY 4.0 kapsamında yayımlanan Recipe Reviews and User Feedback veri kümesi. Seçilmiş 100 yüksek puanlı Taste of Home tarifine ait yorumları içeriyor. Yayım yılı, kesin veri toplama tarihini göstermiyor; mevcut kaynaklar da özgün yorumların tamamının yakalandığını ortaya koymuyor. Bu, tarihsel arşiv analizi; güncel platform ölçütü değil. [1][2][3]

Yayımlanmış arşivin tamamını doğruladık: 100 tarif konumuna dağılmış 18.182 farklı yorum kimliği. Her tarifte 10’dan fazla yorum olduğundan 100’ü de karşılaştırmaya girdi. Aynı kişinin tekrarlanan yorumları birden çok yorum olarak kaldı. Kişiye göre tekilleştirmedik; yorum metnini, adları, kullanıcı itibarını veya kaynağın sıralama puanını analiz etmedik.

Her tarifte olumlu oy kuralı, gözlenen olumlu oy sayısı en yüksek 10 yorumu seçti. En yeni kuralı, en son 10 oluşturulma zaman damgasını kullandı. Kesim noktasında eşitlik varsa kalan yerleri o eşit gruptan doldurmanın her yolu eşit olasılıklıydı. Rastgele seçim, tarif arşivindeki her 10 yorumluk alt kümeye eşit olasılık verdi.

Mümkün her seçimde grubun 6 kategorili puan dağılımını tarif arşivinin tamamıyla karşılaştırdık; sonra seçim kuralı altında uzaklığın ortalamasını aldık. Kesin olasılık hesapları bu beklenen değeri simülasyonsuz verir. Uzaklıkların ortalamasını almak önemli: yalnız kategori paylarının ortalamasından sonra uzaklık hesaplamak başka soruyu yanıtlardı ve örnekleme değişkenliğini gizleyebilirdi.

Sonra her tarife eşit ağırlık vererek tarife özgü beklenen uzaklıkların ortalamasını aldık. Farklar 1 ondalık basamağa yuvarlanmadan önce hesaplandı. 10 yorumluk sınır, uygunluk kuralları, karşılaştırmalar ve raporlama planı, hedef sonuçlar incelenmeden sabitlendi. Sonradan başka bir sınır veya elverişli tarif alt grubu seçilmedi.

Sonuçlar bu sonlu arşivi ve belirtilen seçim kurallarını anlatıyor; bu yüzden evrene ilişkin güven aralığı veya nedensel etki raporlamıyoruz. Birikmiş olumlu oylar, gösterim veya oy verme geçmişini ortaya koymaz. Veri kümesini hazırlayanların özgün makalesi metin sınıflandırmasını inceliyor; bu analiz ise UCI’nin belgelenmiş yıldız kategorilerini izleyip seçimi ele alıyor. Teknik yöntem, kaynak alanları arasındaki ayrımı açıklıyor. [1][2]

İndirmeler toplu sonuçları, her tarif konumu için sayısal denetim kaydını ve yeniden üretim kodunu sağlar. Yorum metni, ad veya kullanıcı kimliği içermez. Kaynak kayıtları UCI’den ayrıca edinilebilir; veri kümesi yazarlarına ve depoya atıf yapılması, yorumumuzun onaylandığını ima etmez. [1][3]

Kayıt gerekmez. İndirilen dosyalar, toplulaştırılmış karşılaştırmaları, tarif sırasına göre sayısal sonuçları ve çevrilmiş yöntem açıklamalarını içerir. Yorum metinleri, kullanıcı adları veya bireysel yorum tanımlayıcıları dahil değildir. Kaynak veri kümesi UCI’dan ayrıca edinilebilir. [1]

Kaynaklar ve notlar

  1. Ali, A., Matuszewski, S. ve Czupyt, J. (2023). Recipe Reviews and User Feedback [Veri kümesi]. UCI Machine Learning Repository. DOI: 10.24432/C5FG95. UCI, 18.182 yorumu belgeliyor; stars alanını 1–5 olarak tanımlıyor; 0’ın puan verilmediği anlamına geldiğini belirtiyor. Influence IQ hesapları güncel site verilerini değil, yayımlanmış arşivi kullanıyor.
  2. Veri kümesini hazırlayanların “Textual Taste Buds: A Profound Exploration of Emotion Identification in Food Recipes through BERT and AttBiRNN Models” makalesi, seçilmiş tarif kaynağını ve metin sınıflandırma çalışmasını anlatıyor. best_score açıklaması, UCI’nin belgelediği puan alanıyla çelişiyor. stars alanını kullanıyoruz; best_score veya yorum metnini analiz etmiyoruz. Mevcut materyal, kaydın kesin zamanını veya veri toplamanın eksiksiz kapsamını ortaya koymuyor.
  3. UCI veri kümesi Creative Commons Attribution 4.0 lisanslı. Influence IQ ondan yeni toplu karşılaştırmalar hesapladı. Veri kümesine atıf, yazarların, UCI’nin veya Taste of Home’un onayı anlamına gelmez. İndirmeler tek tek yorumları veya kullanıcı kimliklerini yeniden dağıtmıyor.
  4. Influence IQ (2026). Tarif yorumlarından örnekleme: analiz yöntemi, toplulaştırılmış sonuçlar ve yeniden üretim kodu. Paket; sabit 10 yorumlu karşılaştırmayı, beklenen toplam varyasyonun kesin hesaplamalarını, eşitliklerin nasıl ele alındığını ve 100 tarif konumunun tümüne ilişkin sayısal sonuçları kaydeder. Kaynak veriler UCI’dan ayrıca edinilir. Çevrilmiş açıklamalar özgün teknik dosyalara eşlik eder.

Makale, planlama brifi, şekil etiketleri ve sonuç CSV dosyası, makalenin sunulduğu her dilde mevcuttur. Teknik yeniden üretim paketi çevrilmiş açıklamalar içerir. Her sürüm, aynı geçmiş tarif arşivini ve analizi anlatır.

Okuduklarınızı yararlı bir sonraki adıma dönüştürün