CES 2024: ملاءمة الاستطلاعات عبر صيغ أسئلة متعددة
مقارنة تستند إلى دراسة CES لتقييم 300 مشارك متطابق عبر 27 سؤالاً ثنائياً وترتيبياً ومتعدد الاختيارات، مع الفصل بين الملاءمة التجميعية والتنبؤ الفردي.
حقق اختبار CES 2024 تقريباً إجمالياً بنسبة 95.28% باستخدام إجابات احتمالية تستند إلى الملفات التعريفية، وهو ما يعادل 4.72 نقطة مئوية من متوسط خطأ التوزيع. وعبر مقارنة صيغ الاستجابة، أدى استنباط الاحتمالات إلى تقليل الخطأ بتقدير بوتستراب مسجل بلغ 19.72 نقطة مقارنة بالإجابات القسرية.
توسع هذه الدراسة الأدلة الاستطلاعية لتتجاوز صيغة السؤال الواحدة. كما توضح سبب ضرورة إقران درجة التقريب النهائية بخطوط أساس متطابقة.
الاستبيان الخاضع للتقييم
استخدمت المقارنة 300 مشارك متطابق من دراسة CES و27 سؤالاً محجوباً: 15 سؤالاً ترتيبياً، و10 أسئلة ثنائية، ومجموعتين من الأسئلة متعددة الاختيارات. وفرت معلومات المشاركين السابقة السياق المطلوب، بينما ظلت إجابات التقييم محجوبة عن عملية التوليد.
تمثلت الحالات الأربع في: الاختيار القسري العام، والاحتمالات أو الهوامش العامة، والاحتمال الديمغرافي، والاحتمال القائم على الملف التعريفي الكامل. تتطلب الخيارات المتعددة احتمالات هامشية نظراً لأن المشارك قد يختار أكثر من خيار واحد. ويختلف تفسيرها عن متجهات الاحتمالات الخاصة بالاختيار الفردي.
التوزيعات المقاسة
متوسط الخطأ المطلق لكل عنصر
النتائج المبلغ عنها لهذه الدراسة. يوضح الجدول والنقاش نطاق الدراسة وخطوط المقارنة وعدم اليقين.
- اختيار قسري عام26.927
- احتمالات أو هوامش عامة7.036
- احتمال ديمغرافي4.563
- احتمال بالملف التعريفي الكامل4.720
| الحالة | متوسط الخطأ المطلق لكل عنصر |
|---|---|
| اختيار قسري عام | 26.927 pp |
| احتمالات أو هوامش عامة | 7.036 pp |
| احتمال ديمغرافي | 4.563 pp |
| احتمال بالملف التعريفي الكامل | 4.720 pp |
يُحسب التقريب بطرح متوسط الخطأ المطلق بالنقاط المئوية من 100. وبالتالي، يصف الرقم 95.28% متوسط ملاءمة التوزيع عبر هذه الأسئلة التي تم تقييمها. وهو لا يمثل نسبة مئوية للأشخاص الذين تمت محاكاتهم بدقة.
بلغ رفع الاحتمال المسجل عبر البوتستراب 19.719 نقطة، وجرى تقريبه إلى 19.72. وكان التباين النقطي المعلن 19.892 نقطة، بفترة ثقة 95% تتراوح بين 16.257 و23.401. يستخدم ملخص البوتستراب ومتوسطات الحالات المعروضة طرق تلخيص وتقريب مختلفة، ولا ينبغي استبدال أحدهما بالآخر ضمنياً دون توضيح.
ما حققته الملفات الأكثر تفصيلاً وما عجزت عن تحسينه
حققت الملفات التعريفية الكاملة تحسناً مقارنة بالحث الاحتمالي العام، لكنها لم تتفوق على الاحتمال الديمغرافي المتطابق في المقياس التجميعي الأساسي. وبلغ فارق التحسن بين الملف التعريفي والديمغرافي -0.157 نقطة، وتجاوزت فترته حاجز الصفر.
تحسنت الدقة الفردية مع إضافة سياق الملف التعريفي، في حين كان الخطأ التجميعي أسوأ قليلاً مقارنة بالحالة الديمغرافية. بناءً على ذلك، تعد النتيجة متباينة، مع وجود نتيجة قوية تتعلق بصيغة الاستجابة ولكن دون ميزة تجميعية مؤكدة لحالة الملف التعريفي الكامل على الحالة الديمغرافية.
لم تتوفر سوى مجموعتين من الأسئلة متعددة الاختيارات. تمثل هذه النتائج دليلاً مستمداً من استبيان مختلط، وليست معايرة صالحة عالمياً لجميع المجالات والأدوات.
تطبيق هذه الأدلة
بالنسبة لتقديرات التوزيع، يجب التعامل مع جمع الاستجابات وتجميعها كأجزاء صريحة من تصميم البحث. ولا يمكن لخط أساس قسري فئوي أن يعزل القيمة المضافة للملفات التعريفية عندما يُسمح للجمهور الأكثر تفصيلاً بتقديم احتمالات.
يجب أن تحدد المقارنة أيضاً ما إذا كان هدفها هو ملاءمة مجتمع الدراسة على مستوى العناصر أم التنبؤ الفردي. فزيادة السياق لا تعني تلقائياً تحقيق أداء أفضل في كلا الجانبين. وتحدد العينة المختبرة وتكوين النموذج والاستبيان حدود الادعاء البحثي.
لا يضمن هذا الاختبار المعزول سلوك المنتج الحالي أو تقديم تقديرات تمثيلية لجماهير عملاء جديدة. كما يظل التعرض للبيانات أثناء التدريب المسبق عبر المصادر العامة وارداً حتى مع الفصل بين الأهداف أثناء وقت التشغيل.
تبحث دراسة ANES الطولية نفس التمييز بين المستوى التجميعي والمستوى الفردي. وتضيف مقارنة PISA سياقاً يشمل خمس دول. كما تربط نظرة عامة على الأدلة بين هذه النتائج دون دمجها في نتيجة واحدة.
