Çok değişkenli test: kreatif testinizden ne öğrenebilirsiniz?

Başlığı ve görseli birlikte değiştirmek, tamamlanmış bir kreatifi seçmenize yardımcı olabilir. Her öğe hakkında ayrı bilgi edinmek ise farklı bir karşılaştırma gerektirir. Geçmiş Upworthy tasarımları, bazı birleşimler eksik olsa bile ne kadar çok karşılaştırmanın mümkün kalabileceğini gösteriyor.

Influence IQ, Upworthy Research Archive içindeki keşif alt kümesini analiz etti. Kapsam, 2013 başından Nisan 2015’e kadar yürütülen web sitesi deneyleridir. Ana karşılaştırma, hem başlık metninin hem görsel kimliklerinin değiştiği 188 uygun testi içerir. Bu, tıklamaların veya kampanya performansının analizi değil, bir tasarım envanteridir.

Özet

Eksik bir çok değişkenli test tasarımı, başlık veya görseli ayrı karşılaştırma fırsatlarını yine de koruyabilir. Hem başlık metnini hem görsel kimliklerini değiştiren 188 uygun Upworthy testinin 31’i tüm birleşimleri içeriyordu. Diğer 157 tasarımın 150’sinde başlığı veya görseli sabit tutan en az 1 karşılaştırma, 75’inde ise her iki tür de vardı. Bu sayılar, mevcut birleşimleri anlatır; testlerin güvenilir veya yararlı performans sonuçları üretip üretmediğini göstermez. [1]

Çalışma, 2013 başından Nisan 2015’e uzanan web sitesi deneylerinin geçmişe ait keşif alt kümesini kullanır. Kısa açıklama metnini sabit tutar ve olası atama sorunlarının belgelendiği dönemi ana kapsamın dışında bırakır. O dönem dâhil edildiğinde de genel ders aynıdır: 199 eksik tasarımın 180’i bu tür en az 1 karşılaştırmayı korur. İşletmeler ve içerik üreticileri için pratik tercih, birleşimleri soruya uygun seçmektir: Tam bir kreatifi seçmek, 1 öğeyi karşılaştırmak veya 2 öğenin birlikte nasıl çalıştığını incelemek.

Ekibinizin kampanya için 2 sürümü hazır. Biri ürün görselini net bir başlıkla birleştiriyor; diğeri farklı bir görsel ve daha sohbet havasında bir başlık kullanıyor. Biri daha iyi performans gösterirse ne öğrenmiş olacaksınız?

İyi yürütülmüş bir karşılaştırma, bu tamamlanmış sürümler arasında seçim yapmanıza yardımcı olabilir. Ancak tek başına hangi değişikliğin fark yarattığını göstermez. Çok değişkenli test, bir birleşim kümesinde 1’den fazla öğeyi değiştirir. Başlangıçta yararlı soru, bu birleşimlerin hangi kararı vermenize yardımcı olmasını istediğinizdir.

Sürüm sayısı tek başına bu soruyu yanıtlamaz. 1 görselle eşleştirilen 4 başlık sürümü, ekibin o koşulda başlıkları karşılaştırmasını sağlar. 2 başlığın 2 görselle tüm eşleşmeleri de 4 paket verir; ancak farklı karşılaştırmalara izin verir. Eşleşmeleri yazmak, test başlamadan bu ayrımı görünür kılar.

Tamamlanmış bir kreatif çeşitli seçimler içerir

Ayrı metin ve görsel modüllerinden oluşturulmuş kampanya kartlarının kavramsal çizimi.
Yazı içermeyen kavramsal çizim. Kartlar, gerçek Upworthy paketlerini, ölçülmüş sonuçları veya bir ürün arayüzünü değil, kreatif bileşenleri temsil eder.

Eksik tasarımlar çoğu zaman yararlı bir karşılaştırmayı korudu

Upworthy’nin tek tek web sitesi testlerindeki başlık ve görsel birleşimlerini inceledik. Ana kapsam kurallarına uyan 3.212 testin 188’inde her iki öğe değişiyordu. Kalan testlerin çoğu yalnızca birini değiştiriyordu. Her testi ayrı tuttuk ve kaç kişinin görmüş olabileceğinden bağımsız olarak bir kez saydık. [2]

188 testin yalnızca 31’i, gözlenen başlıkların ve görsel kimliklerinin tüm birleşimlerini içeriyordu. Diğer 157 test eksik kombinasyon tablolarıydı. Bu sınırlayıcı görünebilir; ancak tablolarda hangi karşılaştırmaların kaldığına bakmak gerekir. Bu 157 tasarımın 75’inde hem aynı görselde başlık karşılaştırması hem aynı başlıkta görsel karşılaştırması vardı. 30’unda yalnızca ilki, 45’inde yalnızca ikincisi vardı. 7’sinde ikisi de yoktu.

Birlikte ele alındığında, 157 eksik tasarımın 150’si, yani %95,5’i, diğer öğeyi sabit tutarak bir öğeyi karşılaştırmak için en az 1 yol koruyordu. Bu, karşılaştırmalarda yeterli trafik, doğru atama veya anlamlı bir sonuç bulunduğunu kanıtlamaz. “Her birleşim test edilmedi” ifadesinin, bir tasarımı reddetmek için neden fazla genel bir gerekçe olduğunu gösterir.

Tablo, tam ve eksik tasarımları bir arada gösterir. Toplam 188 testin 106’sı her iki karşılaştırma türünü, 30’u yalnızca başlık, 45’i yalnızca görsel karşılaştırmalarını içeriyordu; 7’sinde ikisi de yoktu. “Her ikisi”, her türden en az 1 karşılaştırma demektir. Her başlığın veya görselin eşit koşullarda karşılaştırılabildiği anlamına gelmez.

Özgün arşiv makalesi, editörlerin çoğu zaman mümkün olan her birleşimi test etmeden paketleri seçtiğini zaten açıklar. Katkımız, bu seçimlerin mümkün bıraktığı karşılaştırmaların envanteridir. Her editörün amacını yeniden kuramaz veya bir tasarımın o amaca uyup uymadığını değerlendiremeyiz. [1]

İki öğeyi de değiştiren tasarımların çoğu, bir bileşeni karşılaştırma fırsatını korudu

Geçmişe ait 188 uygun Upworthy testinde başlık metni ve görsel kimlikleri değişiyordu. Kısa açıklama metni sabit tutuldu ve belirtilen tarih sınırlaması uygulandı. Her test eşit ağırlıktadır.

Şekil değerlerini tablodan okuyun
Tasarımda bulunan karşılaştırmalarTest sayısı188 test içindeki pay
Başlık ve görsel karşılaştırmaları106%56,4
Yalnızca başlık karşılaştırması30%16,0
Yalnızca görsel karşılaştırması45%23,9
İki öğe için de ayrı karşılaştırma yok7%3,7
4 kategori, 188 testi bölümlere ayırır. “Her ikisi”, tüm olası karşılaştırmalar değil, aynı görselle en az 1 başlık karşılaştırması ve aynı başlıkla en az 1 görsel karşılaştırması demektir. Sayılar etkileri, istatistiksel gücü veya kampanya sonuçlarını değil, tasarım fırsatlarını anlatır.

3 tasarım farklı soruları yanıtlıyor

Hafta sonu düzenleyeceği atölye etkinliğini tanıtan bir seramik stüdyosu düşünün. 2 başlığı var: A, “İlk seramik kâsenizi yapın”; B, “Cumartesiyi çömlekçi çarkının başında geçirin.” Görsel 1 tamamlanmış bir kâseyi, Görsel 2 çarkı gösteriyor. Bunlar açıklama amaçlı tercihlerdir; Upworthy örnekleri veya ölçülmüş kampanya sonuçları değildir. 3 olası tasarımı değerlendirirken teklifi ve gösterilen diğer metinleri aynı tutun.

İlk olarak, tam kombinasyon tablosu A ile Görsel 1’i, A ile Görsel 2’yi, B ile Görsel 1’i ve B ile Görsel 2’yi içerir. Ekip Görsel 1’i sabit tutarak başlıkları karşılaştırabilir, ardından aynı başlık karşılaştırmasını Görsel 2 ile yapabilir. Her başlık altında görselleri de karşılaştırabilir. 4 hücre bu fırsatları sunar; her hücrede ne kadar kanıt toplanacağını belirlemez.

İkinci olarak, kısmi tablo A ile Görsel 1’i, B ile Görsel 1’i ve B ile Görsel 2’yi içerir. A ile Görsel 2 yoktur. Ekip, Görsel 1 sabitken A ve B’yi karşılaştırabilir. B başlığını sabit tutarak görselleri de ayrı karşılaştırabilir. Eksik hücre bu 2 karşılaştırmayı ortadan kaldırmaz.

Ancak kısmi tablo, doğrudan 4 hücreli bir karşılaştırmayla başka bir soruyu yanıtlayamaz: A ile B arasındaki fark, Görsel 2’de de aynı görünür müydü? Kullanılabilecek bir A–Görsel 2 sonucu yoktur. Ekip, gözlediği 3 paket arasından seçim yaparak mümkün olan 4 paketin en iyisini de belirleyemez. Test edilmeyen paket farklı davranabilir.

Üçüncü olarak, köşegen tasarım yalnızca A ile Görsel 1’i ve B ile Görsel 2’yi içerir. Bu 2 paket arasında hiçbir öğe sabit kalmaz. Geçerli bir test, bu 2 tamamlanmış sürümden birini seçmeyi yine de destekleyebilir. Ancak yalnızca o karşılaştırmayla başlığın veya görselin katkısını ayrı ayrı belirleyemez.

Bu tasarımlar arasında her durumda kazanan yoktur. Atölye, belirli bir lansman için onaylı 2 konsept arasında seçim yapacaksa, paketleri karşılaştırmak işine uygun olabilir. Bir başlığı farklı görsellerde yeniden kullanmak istiyorsa, bu daha geniş seçime uygun kanıta ihtiyaç duyar. Ek birleşimler, ekibin gerçekten sorduğu bir soruyu yanıtladıklarında anlam kazanır. [3]

3 açıklayıcı tasarım farklı birleşimler içeriyor

A ve B adlı 2 başlık ile 1 ve 2 numaralı 2 görselin kullanıldığı varsayımsal seramik stüdyosu örneği. Bu hücreler tasarımı açıklar; arşiv gözlemleri değildir.

Şekil değerlerini tablodan okuyun
Başlık ve görsel birleşimiTam kombinasyon tablosuKısmi kombinasyon tablosuKöşegen tasarım
A başlığı + Görsel 1111
A başlığı + Görsel 2100
B başlığı + Görsel 1110
B başlığı + Görsel 2111
1 dâhil edildi, 0 dâhil edilmedi demektir. Tam tasarımda 4 hücrenin hepsi vardır. Kısmi tasarımda A ile Görsel 2 yoktur. Köşegen tasarım, iki öğesi de farklı 2 paketi karşılaştırır. Performans değeri atanmaz.

Her iki yönde karşılaştırma olması, tam bir 2×2 test demek değildir

Arşiv bu ayrımı somutlaştırır. Her iki karşılaştırma türünü içeren 106 tasarımın 74’ünde, 2 başlık ve 2 görselden oluşan 1 tam dikdörtgen bile yoktu. Dolayısıyla tasarım, bir yerde başlık, başka bir yerde görsel karşılaştırması sunabilir; yine de bu farkları doğrudan karşılaştırmak için gereken 4 hücreyi sağlamayabilir.

Atölyenin kısmi tablosunu yeniden düşünün. Görsel 1 sabitken A ve B başlıklarını karşılaştırmak belirli bir soruyu ele alır. B başlığı sabitken Görsel 1 ve Görsel 2’yi karşılaştırmak başka bir soruyu ele alır. Hiçbiri, görsel değiştiğinde başlık farkının kendisinin değişip değişmediğini söylemez. Üçüncü soru etkileşimle ilgilidir: Bir öğe ile yanıt arasındaki ilişkinin diğer öğeye bağlı olup olmadığı.

188 tasarımlı kümede 32 tasarım en az 1 tam dikdörtgen içeriyordu. Buna 31 tam kombinasyon tablosunun tamamı ve daha büyük 1 eksik tablo dâhildir. Böyle bir dikdörtgen, doğrudan etkileşim karşılaştırması oluşturmaya olanak tanır. Etkileşimin var olduğunu göstermez; başka tasarımlar veya modelleme varsayımları altında etkileşimi incelemek için tek olası temel de değildir.

Kampanya ekibi için bu ayrım, istatistiksel modelden önce brifte yer almalıdır. “Bu 2 başlığı bu görselle karşılaştırın” isteği, “görsellerimizin genelinde işe yarayan bir başlık bulun” isteğinden daha dardır. İlk soruyu yanıtlayan sonuç, sessizce ikinci sorunun yanıtı hâline gelmemelidir.

Daha geniş tarih aralığı da aynı planlama dersini veriyor

Ana envanter, oluşturulma tarihi aralığı 25 Haziran 2013 ile 10 Ocak 2014 arasındaki dönemle kesişen testleri dışarıda bırakır. Arşiv araştırmacıları bu dönemde olası atama sorunları belirlemişti. Bu kaygılar neden-sonuç araştırmaları için önemlidir; birleşim kayıtlarını yapısal bir envanter için kullanılamaz kılmaz. Bu nedenle karşılaştırmayı o dönemi de dâhil ederek tekrarladık. [4]

Genişletilmiş kapsam, iki öğeyi de değiştiren 239 test içerir. 40’ında her birleşim vardır, 199’u ise eksiktir. Bu eksik tasarımların 180’i, yani %90,5’i, 1 öğeyi sabit tutan en az 1 karşılaştırmayı korur; 93’ünde, yani %46,7’sinde her iki tür de vardır. Ana kapsamda karşılık gelen yüzdeler %95,5 ve %47,8’dir. Bu yüzdeler değişse de eksik tasarımlar belirli bir karşılaştırmayı sıkça korur.

Metnin nasıl ele alındığına ilişkin bir tercihi de kontrol ettik. Ana analiz, başlık ve kısa açıklama metinlerini aynen karşılaştırır. Baştaki ve sondaki boşlukları kaldırıp tekrarlanan boşlukları birleştirmek, iki öğenin de değiştiği 189 test, 31 tam tablo, her iki karşılaştırma türünü içeren 108 tasarım ve tam dikdörtgen içeren 32 tasarım verir. Bu kontrol hangi tasarımların kapsama girdiğini değiştirir; bu yüzden sayıları kendi paydasıyla gösterilir. [5]

Her 3 kapsamda da medyan kapsama oranı %50’dir. Kapsama oranı, gözlenen başlık-görsel birleşimlerinin sayısının, o testte gözlenen başlıklar ve görsel kimlikleriyle mümkün olan birleşim sayısına bölünmesidir. Medyan bir betimlemedir; kalite puanı değildir. Eksik bir birleşim ilgisiz, uygunsuz veya editörün amaçladığı karşılaştırmanın dışında olabilir; arşiv, neden dışarıda bırakıldığını açıklığa kavuşturmaz.

Kapsam değiştiğinde de kapsama oranı ile karşılaştırmalar arasındaki ayrım korunuyor

Tüm sütunlar testleri sayar; her satır, iki öğenin de değiştiği kendi test kümesini payda olarak kullanır. Metin kontrolü ana tarih sınırlamasını korur; tüm dönemler kontrolü ise metinleri aynen karşılaştırır.

Şekil değerlerini tablodan okuyun
Analiz kapsamıHer iki öğenin değiştiği testlerTam kombinasyon tablolarıHer iki karşılaştırma türüEn az 1 tam 2×2
Ana kapsam: bire bir metin karşılaştırması, tarih sınırlaması1883110632
Boşlukları normalleştirilmiş metin, tarih sınırlaması1893110832
Bire bir metin karşılaştırması, tüm dönemler dâhil2394013342
Bu sütunlar örtüşür ve toplanmamalıdır. Her tam kombinasyon tablosu hem iki karşılaştırma türünü hem de tam bir 2×2 içerir; ancak bunun tersi geçerli değildir. Tüm dönemleri içeren envanter yalnızca yapısaldır; belgelenmiş atama riski döneminin dâhil edilmesi, nedensel analiz için onay değildir.

Sonraki test brifini verilecek karara göre yazın

Seramik atölyesi için, testten sonra ne olacağına karar vererek başlayın. Ekip, atölye etkinliğini tanıtan tamamlanmış bir kreatifi mi seçecek, 1 görseli koruyup başlığını mı değiştirecek, yoksa bir başlığı gelecekteki çeşitli tasarımlara mı taşıyacak? Her karar farklı karşılaştırmalar gerektirir. Daha büyük bir kombinasyon tablosu, ekibin emeğini kendiliğinden daha iyi kullanmaz.

Karar tamamlanmış paketlerle ilgiliyse, her bileşeni açıklama sözü vermeden bu paketleri listeleyin. Karar bir başlıkla ilgiliyse, hangi görselin sabit kalacağını belirleyin. Ekip, başlık farkının 2 görsel arasında değişip değişmediğini inceleyecekse, ilgili 4 birleşimi dâhil edin veya gerekçelendirilmiş alternatif bir tasarıma başvurun. Bunu, yanıt ölçütüne, atamaya ve gözlem süresine karar vermekten ayrı tutun.

Önerilen birleşimleri eklemeden önce anlamlı olup olmadıklarını kontrol edin. Teklife özgü bir başlık, yalnızca 1 ürün görseline uygun olabilir. Sırf tabloyu doldurmak için uygunsuz bir eşleşme oluşturmak, yapılacak işi değiştirir. Ekip bunun yerine soruyu daraltabilir veya makul biçimde eşleştirilebilecek sürümler geliştirebilir. Tam tablo, dolu görünerek daha kapsamlı izlenimi verdiği için değil, karşılaştırmaları karara hizmet ettiğinde yararlıdır.

Aşağıdaki alanları kısa bir planlama brifi olarak kullanın. Köşeli parantezlerdeki metin kendi kampanyanız içindir; bu çalışmanın bulgusu değildir.

Test sonrası karar: [tamamlanmış bir paket seçmek; belirli koşulda adı belirtilen bir öğeyi karşılaştırmak; belirtilen öğe birleşimini incelemek].

Öğeler ve sürümler: [başlıkların tam metinleri; görsel dosyaları veya sabit kimlikler; değişen diğer içerikler].

Dâhil edilen paketler: [gerçekte gösterilecek başlık-görsel çiftleri].

Gereken karşılaştırmalar: [hangi çiftlerin bir öğeyi sabit tuttuğu; ilgiliyse etkileşim sorusunu hangi 4 hücrenin desteklediği].

Kanıt planı: [yanıt ölçütü; kitle ve atama; maruz kalma koşulları; planlanan gözlem ve inceleme kuralı].

Sonuç sınırı: [tasarımın neyi destekleyebileceği; hangi test edilmemiş birleşim veya koşulların kararın dışında kaldığı].

Örneğin, 3 hücreli kısmi tasarımı kullanan bir atölye şöyle yazabilir: “Başlıkları Görsel 1 ile, görselleri B başlığıyla karşılaştıracağız. A başlığını Görsel 2 ile test etmiyoruz.” Bu cümle, tasarımı yetersiz ilan etmeden 2 yararlı soruyu ve eksik karşılaştırmayı görünür tutar.

Müşterisi için içerik hazırlayan bir içerik üreticisi, küçük resim ve başlığın değişmesini konuşurken aynı ayrımı kullanabilir. Soru, müşterinin hangi sürümü veya öğeyi seçmek istediğidir. Ancak sayımlarımız bir yayıncının web sitesinden gelir; güncel bir sosyal platformun kreatif varyantlarını nasıl atadığını veya ölçtüğünü ortaya koymaz.

Soruyu birleşimlerin yanında tutun

Çizimdeki 3 tepsi, farklı hazır kreatif çiftlerini, aynı görsel kullanılarak yapılan başlık karşılaştırmasını ve 4 kartlı bir kombinasyon tablosunu gösteriyor.
  1. Tamamlanmış bir kreatif seçin

    Karar için aday olan paketleri karşılaştırın.

  2. 1 öğeyi karşılaştırın

    İhtiyaç duyduğunuz karşılaştırmada diğer öğeyi sabit tutun.

  3. Eşleşmeyi inceleyin

    Başlık farkının görseller arasında değişip değişmediğini sormak için gereken birleşimleri dâhil edin.

3 planlama seçeneğinin kavramsal çizimi. Kartlar performans sonuçları taşımaz; açıklamalı örnekteki tam birleşimler, erişilebilir tabloda listelenir.

Tasarım envanterini nasıl oluşturduk?

Kaynak, J. Nathan Matias, Kevin Munger, Marianne Aubin Le Quere ve Charles Ebersole tarafından tanımlanan Upworthy Research Archive kapsamında kamuya açılan keşif dosyasıdır. Geçmiş 2013–2015 arşivinden, 4.873 test altında gruplanmış 22.666 paket satırı içerir. Başlığı, görsel kimliğini, kısa açıklamayı, test kimliğini, oluşturulma zaman damgasını ve arşiv satır indeksini kullandık. Tıklamalar, gösterimler ve editör seçimleri kullanılmadı. [1] [6]

Nihai tasarım inceleme planından önce yapılan yapısal uygulanabilirlik kontrolü, araştırma sorusunun şekillenmesine katkı verdi. Bu nedenle inceleme, önceden kaydedilmiş doğrulayıcı bir çalışma değil, keşif amaçlı yeniden analizdir. Belirlenen kurallar kullanılabilir yapısal alanları olan testleri korur, ana tarih sınırlamasını uygular ve paketler arasında kısa açıklama metninin aynı olmasını gerektirir. Kısa açıklama sınırlaması ihtiyatlıdır; çünkü makale ve arşiv belgeleri bu alanın gösterilip gösterilmediği konusunda uyuşmaz. [6]

Seçim tablosu, art arda dışlamaları ve ardından uygun testlerin dağılımını gösterir. Önce başlığı veya görsel kimliği eksik 5 test dışlanır; ardından tarih kapsamı kuralını sağlamayan 1.050 test, daha sonra kısa açıklamaları değişen 606 test çıkarılır. Tutulan 3.212 testin 1.624’ü yalnız başlığı, 1.078’i yalnız görsel kimliklerini, 188’i her ikisini değiştirir; 322’sinde tek bir gözlenen birleşim vardır. Son kategori yine de birden fazla kaynak satırı içerebilir.

Bir test içinde tekrarlanan aynı başlık-görsel çiftleri, tasarım hücresi olarak bir kez sayılır. İki öğeyi de değiştiren 188 testin 5’inde tekrarlanan hücreler vardır. Tam kombinasyon tablosu, o testte gözlenen başlık metinleri ile görsel kimliklerinin her eşini içerir. Farklı metinlerin farklı fikirler ifade etmesi veya farklı görsel kimliklerinin görünüşü farklı resimleri temsil etmesi gerekmez; görsel dosyaları mevcut değildir.

Sonuçlar insanları, gösterimleri veya işletmeleri değil, tasarımları eşit sayar. Günümüz pazarlama uygulamalarını, performansı veya istatistiksel gücü ortaya koymaz. İndirilebilir dosyalar, her iki kapsam kontrolü de dâhil, toplulaştırılmış sonuçları ve yeniden üretme yöntemini sunar. Böylece okur, gözlenen birleşim ile ondan çıkarılan sonuç arasındaki ayrımı inceleyebilir. [7]

Ana karşılaştırma, 3.212 uygun testin 188’iyle başlıyor

Kamuya açık keşif dosyasındaki 4.873 testten seçim. Dışlamalar gösterilen sırayla uygulanır. Son 4 tasarım kategorisi, 3.212 uygun testi bölümlere ayırır.

Seçim aşamalarını ve tüm uygun kategorileri görüntüle
Şekil değerlerini tablodan okuyun
Seçim aşaması veya uygun tasarım kategorisiTest sayısı
Başlangıçtaki keşif testleri4.873
Dışlandı: başlık veya görsel kimliği eksik5
Dışlandı: belirtilen oluşturulma tarihi aralığı1.050
Sonraki dışlama: kısa açıklama metni değişiyor606
Dışlamalar sonrası uygun testler3.212
Uygun: başlık değişiyor, görsel sabit1.624
Uygun: görsel değişiyor, başlık sabit1.078
Uygun: başlık ve görselin ikisi de değişiyor188
Uygun: gözlenen 1 birleşim322
Önce sırayı, ardından dağılımı okuyun: 4.873 eksi 5 eksi 1.050 eksi 606 eşittir 3.212. Yalnızca başlığın değiştiği 1.624, yalnızca görselin değiştiği 1.078, her ikisinin değiştiği 188 ve tek birleşimli 322 testin toplamı 3.212’dir. Tüm satırları toplamayın. Hiçbir test, asgari kol sayısı veya tarih ayrıştırma kontrolünde başarısız olmadı.

CSV, 4 şekilden gelen 41 değer içerir; örnek tasarım hücreleri, gözlenen sayı ve oranlardan ayrı etiketlenir. ZIP, toplulaştırılmış sonuçları, yapısal test kayıtlarını ve analiz kodunu içerir. Çevrilmiş yeniden üretim yönergeleri de dahildir; özgün, herkese açık arşivi ayrıca indirin. Tıklama veya gösterim sonuçları dahil değildir.

Kaynaklar ve notlar

  1. Matias, J. Nathan; Munger, Kevin; Aubin Le Quere, Marianne; Ebersole, Charles (2021), Upworthy Research Archive: ABD medyasında 32.487 deneylik bir zaman serisi, Scientific Data 8, 195. DOI: 10.1038/s41597-021-00934-7. Influence IQ analizi, keşif alt kümesini ve düzeltilmiş kaynak açıklamasını kullanır. Özgün makale, editörlerin çoğu zaman tüm başlık-görsel birleşimlerini test etmediğini nitel olarak açıklar.
  2. Ana kapsamda iki öğenin de değiştiği testlerin paydası: 188 test. Tam kombinasyon tablosu: 31; eksik: 157. Eksik grupta her iki karşılaştırma türüne sahip 75, yalnızca başlık karşılaştırması olan 30, yalnızca görsel karşılaştırması olan 45 ve hiçbirinin olmadığı 7 tasarım bulunur. Dolayısıyla en az 1 karşılaştırma türünü koruyan tasarımların payı 150/157 = %95,5’tir. “Karşılaştırma”, tahmini bir etki veya geçerliliği doğrulanmış bir deney değil, yapısal bir fırsatı belirtir.
  3. Atölyenin 3 tasarımı açıklama amaçlıdır. 2 faktörlü, 2 düzeyli tam bir tasarım, 4 birleşimin tamamını içerir. Kısmi örnekte A ile Görsel 2 yoktur; köşegen örnek yalnızca A ile Görsel 1’i ve B ile Görsel 2’yi tutar. 4 hücreli tasarım tek başına atama kalitesini, yeterli örneklem büyüklüğünü veya anlamlı bir etkileşimi ortaya koymaz. NIST el kitabı, tam faktöriyel tasarımları ve birleşimlerini açıklar.
  4. Arşivin Haziran 2024 düzeltmesi, 25 Haziran 2013 ile 10 Ocak 2014 arasında olası rastgele atama sorunları belirler ve bu dönemin nedensel araştırmalarda kullanılmasını önermez. Diğer araştırma kullanımlarını açıkça korur. Ana analizimiz, oluşturulma tarihi aralığı bu dönemle kesişen her testi dışarıda bırakır. Zaman damgaları maruz kalma tarihlerini kanıtlamaz ve saat dilimleri bilinmez. Tüm dönemleri içeren yapısal kontrol, bu kayıtları korur.
  5. Boşluk duyarlılığı kontrolü, başlık ve kısa açıklama metninde baştaki/sondaki boşlukları kaldırır ve içteki tekrarlanan boşlukları birleştirir; büyük/küçük harfleri ve noktalama işaretlerini korur. 8 test kapsama girer; ortak uygun gruptaki 1 testin yapısal sınıflaması değişir. Paydalar 188’de sabit tutulmaz, yeniden hesaplanır. Ana kapsam, boşluk kontrolü ve tüm dönemler, sırasıyla iki öğenin de değiştiği 188, 189 ve 239 test içerir.
  6. Sabitlenen keşif CSV’si upworthy-archive-exploratory-packages-03.12.2020.csv dosyasıdır; OSF dosya sürümü 1, boyutu 14.260.949 bayttır. SHA-256 değeri 8368313b060f4015a0c6fb34e6d788163cee29554144aba9390b14922eb9d8ce olarak verilmiştir. Dosyada güncellenmiş sorun işareti yoktur; bu nedenle tarih sınırlaması ayrıca türetilir. Makale kısa açıklama metnini gösterilmiş olarak tanımlar; arşiv belgeleri ise bu alanı gösterilmediği düşünülenler arasında listeler. Kısa açıklamanın sabit tutulması, farkları bu tartışmalı alana bağlamayı önler.
  7. Cornell University; Upworthy Research Archive’ı, ilgili kodu ve belgeleri Creative Commons Attribution 4.0 International kapsamında yayımlar. Influence IQ bu türetilmiş yapısal analizi sunar; Upworthy’nin veya arşiv yazarlarının desteği ima edilmez. Analiz paketi; toplulaştırılmış çıktıları, yapısal test kayıtlarını, kodu ve çevrilmiş yeniden üretim yönergelerini içerir. Özgün, herkese açık verileri arşivden ayrıca edinin.

Bu makalenin İngilizce sürümü kaynak metindir. Her dil sürümü, aynı geçmiş Upworthy keşif alt kümesini ve aynı açıklayıcı tasarımları anlatır. Çeviri, bulguları yerel pazar veya güncel platformlar için bir kıyaslama ölçütüne dönüştürmez.

Test sorusunu kampanya planıyla ilişkilendirin