كيف تعمل لجان الاستطلاع الاصطناعية والمستجيبون بالذكاء الاصطناعي

المستجيب الاصطناعي هو مشارك بحثي تتم محاكاته بواسطة نموذج لغوي. يتم تكييف النموذج وفق ملف تعريفي لنوع الأشخاص الذين ترغب في دراستهم (العمر، والمنطقة، والوظيفة، والعادات، والتوجهات، ويُفضل دعم ذلك ببيانات حقيقية من استطلاعات أو مقابلات لأشخاص مماثلين لهم)، ثم يجيب عن أسئلة الاستبيان، أو يتفاعل مع مفهوم معين، أو يشارك في مقابلة متقمصاً ذلك الدور.

اللجنة الاصطناعية هي مجموعة من المستجيبين الاصطناعيين صُممت لتمثيل جمهور محدد. ونظراً لإمكانية طرح الأسئلة نفسها على كل عضو فيها، يمكن تجميع إجاباتهم في توزيعات إحصائية ومقارنتها عبر الشرائح، تماماً مثل إجراء استطلاع على لجنة مستقطبة من المشاركين.

يُعد كلاهما أدوات لإجراء أبحاث توجيهية سريعة؛ إذ يتيحان للفريق فرز الأفكار والاستبيانات واختبارها قبل النزول إلى الميدان. لكن إجاباتهما تظل تقديرات ينتجها نموذج وليست قياسات لأشخاص حقيقيين، ويجب التحقق منها مقابل بيانات واقعية قبل اتخاذ قرارات يصعب التراجع عنها وتترتب عليها تكاليف باهظة.

المستجيبون الاصطناعيون مقارنة بالمصطلحات ذات الصلة

تتداخل المفردات المستخدمة في هذا المجال. وفيما يلي الفروق الجوهرية التي تهمك عند مقارنة الأدوات أو قراءة منهجية بحثية:

للتعرف على المنهجية الأوسع التي تعتمد على هؤلاء المستجيبين، اقرأ ما هي أبحاث السوق الاصطناعية.

كيف يتم بناء المستجيبين الاصطناعيين

يتكون المستجيب الاصطناعي الفعال من ثلاث طبقات:

1. نموذج لغوي أساسي: يوفر الطلاقة والمعرفة العامة، لكنه يجلب معه أيضاً نزعاته الخاصة: الميل إلى الموافقة المفرطة، والإسهاب، والانحيازات الفكرية الموجودة في بيانات تدريبه.
2. الملف التعريفي والأدلة الداعمة له: يحدد الملف الخصائص الديموغرافية والسلوكية والتوجهية. وتربط الأنظمة الأكثر كفاءة كل ملف بمصادر موثوقة: إحصاءات منشورة، وأبحاث عامة، ونتائج استطلاعات الفريق نفسه، أو نصوص المقابلات، أو ملفات العملاء. فالمستجيب المبني على تصنيف ديموغرافي مجرد يميل إلى الإجابة بطريقة نمطية مكررة.
3. بروتوكول الاستجابة: يجيب المستجيب ضمن أداة قياس محددة (اختيار فردي، أو اختيار متعدد، أو مقاييس تقييم، أو ترتيب أولويات، أو مهام الاختيار الإجباري مثل MaxDiff، أو أسئلة مفتوحة) بحيث يمكن مقارنة الإجابات وتجميعها.

طريقة جمع الإجابات المغلقة تصنع فارقاً حاسماً. ففي عمليات إعادة التطبيق المنشورة بواسطة Minds، أدى سؤال المستجيبين الاصطناعيين عن الاحتمالات عبر خيارات الإجابة بدلاً من إجبار كل منهم على اختيار واحد إلى خفض خطأ التوزيع بمقدار 12.47 إلى 19.72 نقطة مئوية عبر أربع مجموعات بيانات عامة (Minds research).

ما هي اللجنة الاصطناعية، وكيف تختلف عن اللجنة التقليدية

اللجنة الاصطناعية هي النسخة الجماعية: عشرات إلى آلاف المستجيبين الاصطناعيين الذين يتباينون ضمن تعريف واحد للجمهور، مثل "متسوقو البقالة في المملكة المتحدة الذين تتراوح أعمارهم بين 25 و40 عاماً ويشترون الحليب النباتي أسبوعياً". تجيب اللجنة عن دراسة محددة، ثم تُقرأ النتائج في صورة توزيعات إحصائية وتصنيفات ومحاور رئيسية.

الخياران ليسا بديلين لبعضهما البعض. فاللجنة الاصطناعية وسيلة لتحديد ما يستحق أن يُطرح على لجنة حقيقية، ولجعل تلك الدراسة الواقعية أصغر حجماً وأكثر دقة في الاستهداف. للمزيد حول المقارنة، راجع اللجان الاصطناعية مقابل اللجان التقليدية.

ماذا تُظهر أدلة الدقة

لا ينطبق رقم دقة موحد على المستجيبين الاصطناعيين. فالنتائج تعتمد على طبيعة الجمهور، وطبيعة السؤال، وكيفية جمع الإجابات، كما أن الأدلة المنشورة تشير إلى نتائج متباينة في الاتجاهين.

• قام Argyle وزملاؤه بتكييف نموذج GPT-3 استناداً إلى خلفيات اجتماعية وديموغرافية لمشاركين حقيقيين في استطلاعات رأي بالولايات المتحدة، ووجدوا أنه قادر على إعادة إنتاج توزيعات استجابة العديد من المجموعات الفرعية، وهو ما أطلقوا عليه اسم "الدقة الخوارزمية" (Political Analysis, 2023).
• بنى فريق بقيادة Stanford وكلاء أذكياء لـ 1,052 أمريكياً استناداً إلى مقابلات استمرت ساعتين، أو استطلاعات، أو كليهما. وعند اختبارهم على بنود محجوبة من المسح الاجتماعي العام (General Social Survey)، حققوا 83% و82% و86% من اتساق المشاركين أنفسهم في اختبار إعادة القياس بعد أسبوعين، مقابل 74% فقط للوكلاء الذين زُوّدوا ببيانات ديموغرافية فحسب (arXiv, 2024). وقد تفوق التأصيل المعتمد على إفادات ذاتية حقيقية على مجرد التصنيفات الديموغرافية.
• وجد Bisbee وزملاؤه أن ChatGPT المُوجّه بشخصيات محاكاة تطابق مع متوسط درجات مقياس المشاعر من دراسة الانتخابات الوطنية الأمريكية، ولكن بتباين أقل من المستجيبين الحقيقيين، وعلاقات انحدار مختلفة، وحساسية للتغيرات الطفيفة في الصياغة، وانحراف في الأداء بمرور الوقت (Political Analysis, 2024).
• وجد Santurkar وزملاؤه عدم اتساق جوهري بين الآراء التي تعبر عنها النماذج اللغوية وتلك الخاصة بـ 60 مجموعة ديموغرافية أمريكية، حيث ظهر ضعف كبير في تمثيل بعض الفئات، مثل الأشخاص الذين تزيد أعمارهم عن 65 عاماً، حتى عندما تم توجيه النموذج نحوهم (ICML 2023).

للحصول على مراجعة مفصلة لنقاط الاتفاق والاختلاف بين الإجابات الاصطناعية والبشرية، اقرأ المستجيبون الاصطناعيون مقابل الحقيقيين: الدقة.

أنماط الإخفاق التي يجب التنبه لها

يخفق المستجيبون الاصطناعيون بطرق تختلف تماماً عن اللجان البشرية:

• تباين منخفض للغاية: تتجمع الإجابات حول الرأي الأكثر شيوعاً، مما يجعل التوزيعات تبدو أكثر تنظيماً وتماسكاً من الواقع وتختفي معها الآراء الأقلية.
• خطأ مترابط: يتشارك جميع المستجيبين النموذج نفسه، لذا فإن أي نقطة عمياء ستؤثر عليهم جميعاً في وقت واحد. علماً بأن هوامش الخطأ التقليدية تفترض استقلالية المستجيبين، وبالتالي لا تنطبق هنا.
• الاعتماد على الصياغة والنموذج: التغييرات الطفيفة في الصياغة أو الترتيب أو إصدار النموذج يمكن أن تبدل النتائج بالكامل.
• الميل إلى الموافقة والمداراة: قد يبدي المستجيبون إعجابهم بكل ما يُعرض عليهم ما لم تجبرهم أداة البحث على تقديم تنازلات ومفاضلات صريحة.
• فئات الجماهير شحيحة البيانات: تنخفض الدقة بوضوح لدى المجموعات ذات معدلات الظهور المنخفضة، والأدوار المهنية التخصصية، والفئات الجديدة التي لا تتوفر عنها بيانات كافية.

كيف تبني Minds اللجان الاصطناعية وتتحقق من صحتها

داخل Minds، يُعد كل مستجيب اصطناعي بمثابة Mind، وتُسمى اللجنة الاصطناعية Audience. يتم تأصيل عينات Minds في مصادر موثوقة وفي ملفات ترفعها بنفسك، مثل نتائج الاستطلاعات، أو نصوص المقابلات، أو أبحاث العملاء. وتتولى الدراسة (Study) توجيه أسئلة مفتوحة ومغلقة، وتطبيق MaxDiff وأساليب أخرى على الـ Audience، أو عرض محفزات متنوعة مثل المفاهيم، والصور، والمواقع الإلكترونية، والنصوص الإعلانية.

تعمل ميزة التحقق من الجمهور (Audience Validation) على فحص الـ Audience مقابل استطلاعات حقيقية بدلاً من الاكتفاء بادعاءات دقة عامة. تبحث Minds عن استطلاعات منشورة يتطابق مستجيبوها مع الـ Audience، أو تستخدم ملفات استطلاعات ترفعها أنت، مع الاحتفاظ فقط بالأسئلة التي تمثل إجاباتها المنشورة هدفاً عادلاً لذلك الجمهور، وتسرد كل سؤال تم استبعاده مع ذكر السبب. يحصل كل استطلاع على تقييم من 100، يُعرّف بأنه 100 مطروحاً منها متوسط الفرق المطلق بالنقاط المئوية عن حصص الإجابات المنشورة، مع نطاق موثوقية 95%. اقرأ كيف يعمل التحقق من الجمهور للاطلاع على التفاصيل.

أظهرت عمليات إعادة التطبيق المنشورة لـ Minds مقابل خمس مجموعات بيانات عامة متوسط أخطاء في التوزيع تراوح بين 4.72 و8.33 نقطة مئوية (full results). تستخدم تلك الدراسات أدوات بحثية مختلفة ولا ينبغي دمجها في مقياس دقة واحد، كما أن تحقيق نتيجة جيدة في استطلاع معين لا ينتقل تلقائياً إلى جمهور مختلف أو سؤال آخر.

متى تستخدم المستجيبين الاصطناعيين، ومتى تتجنبهم

حالات الاستخدام المناسبة:

• فرز عدد كبير من المفاهيم أو الادعاءات أو الرسائل واختصارها إلى قائمة قصيرة قبل النزول إلى الميدان.
• الاختبار المسبق للاستبيان لرصد الصياغات المربكة، وخيارات الإجابة المفقودة، والأسئلة الموجهة.
• تكوين رؤية أولية حول جماهير يصعب استقطابها أو ترتفع تكلفة الوصول إليها، وذلك قبل إجراء مقابلات موجهة معها.
• بناء الفرضيات واختيار الشرائح التي ينبغي للدراسة البشرية سحب عينات منها.

استعن بمشاركين حقيقيين أو بسلوكيات فعلية مرصودة بدلاً من ذلك عندما:

• تحتاج إلى تقديرات تمثيلية مثل حجم السوق، أو الحصة السوقية، أو النسبة المئوية الدقيقة للراغبين في الشراء.
• تحتاج إلى قياس الاستعداد للدفع أو المرونة السعرية عند نقاط سعر محددة.
• يكون الادعاء مخصصاً للنشر، أو خاضعاً للمراجعة التنظيمية والتدقيق، بما في ذلك إثبات صحة الإعلانات والادعاءات الصحية.
• يتطلب المنتج لمساً أو تذوقاً أو استخداماً مادياً ملموساً.
• يكون الجمهور أو قطاع السوق جديداً تماماً وتندر البيانات الموثوقة عنه.

كيف تقيّم مزودي المستجيبين الاصطناعيين

اطلب دائماً أدلة ملموسة يمكنك التحقق منها:

1. ما هي الاستطلاعات العامة التي قمت بإعادة تطبيقها، وما هو معدل الخطأ المسجل، وما خط الأساس الذي قارنت النتائج به؟
2. هل يمكنني التحقق من صحة لجنتي الخاصة مقابل بيانات استطلاعات حقيقية، والاطلاع على الأسئلة المستبعدة ومعرفة أسباب ذلك؟
3. كيف يتم تأصيل كل مستجيب: هل هو مجرد تصنيف ديموغرافي، أم مصادر موثوقة وملفات أبحاث خاصة بي؟
4. كيف تُجمع الإجابات المغلقة، وهل يستطيع المستجيبون التعبير عن رفضهم أو عدم موافقتهم على فكرة معينة؟
5. ما هي الحالات التي تقرون صراحة بعدم جواز استخدام الأداة فيها؟

تجد مقارنة شاملة بين مختلف المزودين في دليل منصات المستجيبين الاصطناعيين.

المصادر

• Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C. and Wingate, D. (2023). Out of One, Many: Using Language Models to Simulate Human Samples. Political Analysis, 31(3), 337-351.
• Bisbee, J., Clinton, J. D., Dorff, C., Kenkel, B. and Larson, J. M. (2024). Synthetic Replacements for Human Survey Data? The Perils of Large Language Models. Political Analysis, 32(4), 401-416.
• Santurkar, S., Durmus, E., Ladhak, F., Lee, C., Liang, P. and Hashimoto, T. (2023). Whose Opinions Do Language Models Reflect? Proceedings of the 40th International Conference on Machine Learning.
• Park, J. S. and colleagues (2024). LLM Agents Grounded in Self-Reports Enable General-Purpose Simulation of Individuals. arXiv 2411.10109.
• Minds (2026). We Tested Synthetic Audiences Against Reality.