متى تتفوق الجماهير الاصطناعية على النماذج التأسيسية العامة

يمكن لأي نموذج تأسيسي تقديم إجابة تبدو معقولة عن سؤال في مقابلة ما. لكن إعادة إنتاج ما قد يقوله شخص محدد مهمة أكثر دقة وتخصيصا. فتجاربهم السابقة وقيمهم ومبرراتهم قد تكون أهم بكثير من قدرة النموذج على صياغة إجابة عامة فصيحة.

اختبرنا هذا التمايز باستخدام 66 إجابة محجوبة من مقابلات مع 22 شخصا. تفوق مستجيب اصطناعي مزود بملف مشارك موجز وذاكرة مسترجعة للأدلة السابقة على استجابات GPT-5.4 وClaude Sonnet 5 العامة، وذلك وفق مقياس مركب معمّى لمطابقة المشارك. بلغ التفوق الأساسي 25.49 نقطة مقارنة بنموذج GPT، و30.05 نقطة مقارنة بنموذج Claude. كما أظهرت نسخة تقييم ثانية نتائج إيجابية مطابقة.

تدعم هذه المقارنة استخداما محددا للجماهير الاصطناعية: إدخال أدلة المشارك ذات الصلة في الأسئلة التي تعتمد على تلك الأدلة. لم تتلقَ النماذج العامة أي سجل تاريخي للمشاركين، لذا فإن هذه التجربة تقارن بين سير عمل معزز بالأدلة ومطالبات عامة، وليست ترتيبا لكفاءة النماذج تحت سياق متطابق.

الاختبار: أدلة سابقة، وإجابات لاحقة

اعتمد الاختبار المرجعي على مجموعتي مقابلات متاحتين للعموم، تناولتا ممارسي طب الأسنان بالليزر والأمن الغذائي للاجئين. حُوّلت الأدلة المستخلصة من المقابلات السابقة إلى ملفات تعريف موجزة وذكريات قابلة للاسترجاع. وظلت ثلاث إجابات لاحقة لكل شخص محجوبة لأغراض التقييم، بإجمالي 66 إجابة مستهدفة من 22 شخصا.

تضمن كل سؤال مستهدف أربع إجابات مرشحة ومجهولة الهوية: إجابة معززة بالملف والاسترجاع، وإجابة عامة من عائلة نماذج Gemini الأساسية نفسها، وإجابة عامة من GPT-5.4، وإجابة عامة من Claude Sonnet 5. حُجبت تفاصيل الإجابات المرشحة قبل التقييم، وتولى المحكمون مراجعتها دون معرفة الشروط التجريبية الخاصة بكل إجابة.

قيّم مقياس التحكيم مدى التوافق مع الإجابة الحقيقية، ووجهة النظر والقيم، والمبررات، والدقة والنوعية، وملاءمة نبرة الصوت والطول، بالإضافة إلى قياس العمومية والحقائق الشخصية غير المدعومة بأدلة. تمثل هذه المعايير أبعادا لمدى مطابقة المشارك، وليست مقاييس لمعدل التحويل الإعلاني، أو الذكاء العام، أو النسبة المئوية لمحاكاة البشر بدقة.

التفوق المقاس

سجلت الحالة المدعومة بالأدلة 67.66 نقطة في المقياس المركب وفق تقييم المحكّم الأساسي، مقابل 42.17 نقطة لنموذج GPT العام، و37.61 نقطة لنموذج Claude العام، و35.24 نقطة للإجابة العامة من النموذج الأساسي نفسه. وأظهرت مجموعتا المقابلات تفوقا متوسطا إيجابيا على حالتي GPT وClaude المذكورتين تحت كلا نسختي التحكيم.

اتفقت نسختا التحكيم على الإجابة الفائزة في 81.8% من الحالات. ينتمي كلا المحكّمين إلى عائلة نماذج Gemini، لذا فإن هذا الاتفاق يختبر حساسية الإصدارات داخل العائلة نفسها، وليس توافقا بين مقيّمين بشريين مستقلين أو عائلات تحكيم مختلفة تماما.

لماذا يفيد الإسناد بالبيانات

التفسير الأكثر وضوحا هو الوصول إلى الأدلة ذات الصلة. يضطر النموذج العام إلى ملء السياق الشخصي المفقود بالاعتماد على أنماط عامة، بينما يمكن للمستجيب المدعوم بالأدلة الاستناد إلى تجارب وتفضيلات مسجلة بالفعل.

عند طرح سؤال حول قرار مهني، قد توضح الأدلة السابقة القيود التي واجهها الشخص، وخبراته السابقة، والسبب وراء اختياره خيارا دون غيره. يمكن للإجابة حينها أن تعكس تلك التفاصيل بدلا من تقديم نصائح عامة تبدو معقولة ظاهريا. وفي هذا الاختبار المرجعي، حققت الحالة المدعومة بالأدلة درجات أعلى في الدقة والمبررات، وصُنفت على أنها أقل عمومية.

تكتسب المقارنة مع إجابة النموذج العام نفسه أهمية هنا. فتثبيت عائلة النموذج الأساسي مع تغيير شرط الملف الشخصي والاسترجاع يُظهر تفوق سير العمل المدعوم بالأدلة في هذه المهمة. لكن هذا لا يحدد على وجه الدقة أي جزء من سير العمل تسبب في مقدار هذا التحسن، إذ تغيرت الملفات الشخصية، والاسترجاع، والسياق الإضافي، والصياغة المرافقة معا في الوقت نفسه.

تتسق هذه النتائج مع القيمة التي تضيفها الذاكرة ذات الصلة، لكنها لا تثبت أن إضافة المزيد من السياق مفيدة دائما، أو أن كل حقيقة مخزنة تستحق الظهور في كل إجابة.

متى يرجح ظهور هذا التفوق

تكون هذه الأدلة أكثر أهمية وملاءمة عندما يعتمد سؤال البحث على التاريخ الشخصي، أو تفضيل تم التعبير عنه سابقا، أو تجربة ملموسة، أو الأسباب الكامنة وراء اتخاذ قرار ما. وتنطبق هذه المعايير بوضوح على المقابلات التتبعية واستكشاف أسباب تفسير أفراد الجمهور للفكرة نفسها بطرق متباينة.

يتمثل الاختبار العملي المفيد في طرح السؤال التالي: هل يمكن لمعرفة إجابات هذا الشخص السابقة أن تُحدث تغييرا ملموسا في رده؟ إذا كانت الإجابة نعم، فإن الاستناد إلى الأدلة يصبح ذا قيمة حقيقية. أما إذا كان السؤال يتطلب معرفة واقعية عامة فقط، فإن هذه التجربة لا تثبت وجود أي تفوق لجمهور اصطناعي على نموذج عام عالي الكفاءة.

وحتى ضمن المقابلات المرجعية، لم يكن التفوق مطلقا في جميع الحالات. ففي شريحة الأسئلة التأملية الاستكشافية، سجل GPT تفوقا بمقدار 10.75 نقطة مقارنة بالحالة المدعومة بالأدلة. غير أن تلك الشريحة شملت خمسة أسئلة فقط من ثلاثة أشخاص، وهي أصغر من أن تؤسس تصنيفا موثوقا للمهام. ومع ذلك، فإن هذه النتيجة تمنع تعميم الفوز المتوسط واعتباره فوزا في كل أنواع الأسئلة.

الاستطلاعات تتطلب تفسيرا منفصلا

أوضح نظرة عامة على استطلاعات Against Reality أن جمع الإجابات القائم على الاحتمالات أدى باستمرار إلى تحسين التوزيعات الإجمالية مقارنة بأسلوب الإجابات الإجبارية. ولم تسهم ملفات التعريف التفصيلية في تحسين تلك التوزيعات بشكل ثابت مقارنة بمطالبات الاحتمالات الديموغرافية المتطابقة.

وهذا أمر جوهري لإجراء مقارنة منصفة مع النماذج التأسيسية. فمقارنة جمهور يعتمد على الاحتمالات بنموذج عام يعتمد على الاختيار الإجباري يخلط بين تأثير الإسناد وتأثير تنسيق الإجابة. يجب أن يخضع كلاهما لمحددات الإجابة نفسها متى كان الهدف قياس القيمة التراكمية للإسناد بالبيانات.

يقدم اختبار استطلاع الغذاء للجيل Z مثالا كميا أدق، حيث بلغت نسبة الخطأ في تشغيل الإنتاج اللاحق 6.01 نقطة مقابل 6.68 نقطة للخط المرجعي الاحتمالي العام المجمد. ويعد الفارق البالغ 0.67 نقطة فارقا وصفيا لأن الخط المرجعي العام كان تاريخيا، وبالتالي لا يمكن الاستناد إليه لإطلاق ادعاء واسع بأن الجماهير الاصطناعية تتفوق على النماذج التأسيسية في استطلاعات الرأي.

ما تتركه هذه المقارنة دون حسم

هذه الدراسة محدودة النطاق: مجموعتان من المقابلات، و22 شخصا، و66 إجابة. كما تُرجمت بعض المقابلات إلى الإنجليزية، وهو ما يؤثر على مفهوم الأسلوب ونبرة الصوت. واختلفت أيضا إصدارات النماذج وضوابط أخذ العينات، ولم تتوفر للنماذج العامة المحددة أي أدلة حول المشاركين. تتطلب المقارنة المتكافئة في السياق تزويد كل نموذج بالمواد المصدرية المصرح بها نفسها، وتثبيت محددات الإجابة، والإبلاغ عن التكلفة الناتجة إلى جانب الجودة.

كما أعاد التقييم استخدام مجموعة أدلة المقابلات المأخوذة من تحقق سابق. لذا فإن تلك المقارنة السابقة وهذا التقييم الممتد عبر الشروط الأربعة ليسا عينتين مستقلتين. وينبغي أن تشمل محاولات التكرار المستقبلية مشاركين جددا، ومجالات موضوعية متنوعة، وتقييمات بشرية مستقلة، وضوابط أكثر صرامة لتحديد المعلومات التي يتاح لكل نظام الاطلاع عليها.

يظل الادعاء الذي تدعمه هذه الدراسة ذا قيمة دون أن يكون عاما: في هذه الأسئلة المحجوبة من المقابلات، قدم جمهور اصطناعي مدعوم ببيانات المشاركين إجابات أكثر توافقا مع إجابات الأشخاص الحقيقيين مقارنة بالاستجابات العامة لإصدارات النماذج المختبرة. وكان وجود الأدلة ذات الصلة العامل الأساسي في تحقيق هذا التفوق.

للاطلاع على سير العمل الخاص بإسناد الجماهير إلى البيانات، راجع كيفية بناء لجان Minds. كما توضح قائمة التحقق من المصادقة كيفية ربط النتائج الاصطناعية بالأدلة اللازمة لاتخاذ القرار.

البيانات المرجعية

De-identified, English Transcripts of 36 interviews

Transcription Data

CC BY 4.0