CES 2024: Birden Fazla Soru Formatında Anket Uyumu
Bir CES karşılaştırması; 300 eşleştirilmiş katılımcıyı 27 ikili, sıralı ve çoktan seçmeli soru üzerinden değerlendirerek toplulaştırılmış uyumu bireysel tahminden ayırıyor.
CES 2024 testi, profil olasılığı yanıtlarıyla %95.28 toplulaştırılmış yaklaşıma ulaştı; bu da ortalama 4.72 yüzdelik puanlık dağılım hatasına karşılık geliyor. Yanıt formatı karşılaştırmasında, olasılık çıkarımı, zorunlu yanıtlara kıyasla kayıtlı bootstrap tahminine göre hatayı 19.72 puan azalttı.
Çalışma, anket bulgularını tek bir soru formatının ötesine taşıyor. Ayrıca nihai bir yaklaşım puanına neden eşleştirilmiş referans noktalarının eşlik etmesi gerektiğini gösteriyor.
Değerlendirilen anket
Karşılaştırmada 300 eşleştirilmiş CES katılımcısı ve kapsam dışı bırakılan 27 soru kullanıldı: 15 sıralı, 10 ikili ve iki çoklu seçim bataryası. Katılımcının önceki bilgileri bağlam sağladı; değerlendirme yanıtları ise üretim sürecinin dışında tutuldu.
Dört koşul şunlardı: jenerik zorunlu seçim, jenerik olasılıklar veya marjinaller, demografik olasılık ve tam profil olasılığı. Çoklu seçim seçenekleri, bir katılımcı birden fazla seçeneği işaretleyebileceğinden marjinal olasılıklar gerektirir. Bunların yorumlanması, tek seçimli bir olasılık vektöründen farklıdır.
Ölçülen dağılımlar
Madde başına ortalama mutlak hata
Bu çalışma için raporlanan sonuçlar. Tablo ve tartışma, kapsamı, temel karşılaştırmaları ve belirsizliği açıklar.
- Jenerik zorunlu seçim26,927
- Jenerik olasılık veya marjinaller7,036
- Demografik olasılık4,563
- Tam profil olasılığı4,720
| Koşul | Madde başına ortalama mutlak hata |
|---|---|
| Jenerik zorunlu seçim | 26.927 pp |
| Jenerik olasılık veya marjinaller | 7.036 pp |
| Demografik olasılık | 4.563 pp |
| Tam profil olasılığı | 4.720 pp |
Yaklaşım, 100 değerinden ortalama mutlak yüzdelik puan hatasının çıkarılmasıyla hesaplanır. Dolayısıyla %95.28 rakamı, değerlendirilen bu sorulardaki ortalama dağılım uyumunu ifade eder. Bu, doğru simüle edilen kişilerin yüzdesi değildir.
Kayıtlı bootstrap olasılık artışı, yuvarlanmış haliyle 19.72 olmak üzere 19.719 puandı. Bildirilen nokta kontrastı ise 16.257 ile 23.401 arasındaki %95 aralığıyla 19.892 puandı. Bootstrap özeti ile gösterilen koşul ortalamaları farklı özetleme ve yuvarlama yöntemleri kullanır; birbirlerinin yerine sessizce ikame edilmemelidir.
Daha zengin profillerin iyileştirdiği ve iyileştirmediği noktalar
Tam profiller, jenerik olasılık istemine göre iyileşme gösterdi ancak birincil toplulaştırılmış metrikte eşleştirilmiş demografik olasılığı geride bırakamadı. Profile karşı demografi artışı -0.157 puandı ve güven aralığı sıfırı kesti.
Bireysel doğruluk profil bağlamıyla artarken, toplulaştırılmış hata demografiye kıyasla biraz daha kötüydü. Dolayısıyla sonuç karmaşıktır: güçlü bir yanıt formatı bulgusu söz konusu olsa da, tam profil koşulunun demografik koşula kıyasla doğrulanmış bir toplulaştırılmış avantajı bulunmamaktadır.
Yalnızca iki çoklu seçim bataryası mevcuttu. Bu, karma bir anketten elde edilen bir kanıttır; alanlar ve ölçüm araçları genelinde çoklu seçim kalibrasyonunun evrensel bir doğrulaması değildir.
Kanıtların uygulanması
Dağılım tahminleri için yanıt toplama ve toplulaştırma, araştırma tasarımının açık ve net parçaları olarak ele alınmalıdır. Daha zengin kitleye olasılık döndürme izni verildiğinde, zorunlu kategorik bir referans noktası profillerin değerini tek başına ayrıştıramaz.
Bir karşılaştırmanın hedefinin madde düzeyinde popülasyon uyumu mu yoksa bireysel tahmin mi olduğu da açıkça belirtilmelidir. Daha fazla bağlam, her ikisi için de otomatik olarak daha iyi sonuç anlamına gelmez. Test edilen örneklem, model yapılandırması ve anket, iddia sınırlarını belirler.
Bu izole test ortamı, güncel ürün davranışını veya yeni müşteri kitleleri için temsili tahminleri garanti etmez. Çalışma zamanında hedef ayrımı yapılsa dahi, kamuya açık kaynaklardan ön eğitim teması olasılığı geçerliliğini korur.
ANES boylamsal çalışması aynı toplulaştırılmış ve bireysel ayrımını inceler. PISA karşılaştırması beş ülkelik bir ortam ekler. Kanıt genel bakışı ise bu sonuçları tek bir puanda toplamadan birbiriyle ilişkilendirir.
