غالباً ما تنتج أنظمة الذكاء الاصطناعي العامة نفس الإجابة المصقولة بشكل متكرر: هيكل متشابه، ولغة متشابهة، وافتراضات متشابهة. واختبرت دراسة تأثير Spark ما إذا كان بإمكان الشخصيات الافتراضية المحددة بدقة أن تولد أفكاراً مختلفة حقاً بدلاً من ذلك.
وكانت النتيجة قوية. حيث بلغ متوسط درجات الوكلاء الموجهين بالشخصيات 7.90 من 10 في التنوع الإبداعي، مقارنة بـ 3.14 للنموذج المرجعي الموحد للوكيل الواحد. بينما بلغ متوسط الخبراء البشر 8.90.
النتائج المبلغ عنها لهذه الدراسة. يوضح الجدول والنقاش نطاق الدراسة وخطوط المقارنة وعدم اليقين.
وكلاء Spark الموجهون بالشخصيات7.90
النموذج المرجعي الموحد للوكيل الواحد3.14
المرجع البشري الخبير8.90
0الدرجة / 1010
المقياس النهائي
النتيجة
ما يقيسه
وكلاء Spark الموجهون بالشخصيات
7.90/10
متوسط درجة التنوع الإبداعي
النموذج المرجعي الموحد للوكيل الواحد
3.14/10
متوسط الدرجة بدون توجيه غني بالشخصيات
المرجع البشري الخبير
8.90/10
متوسط الدرجة للأعمال التي ألفها خبراء
أفضلية Spark المزدوجة
+5.69 نقطة
متوسط الأفضلية المسجل عبر سبع مهام مزدوجة
التأثير المعياري
d = 2.88
حجم الاختلاف بين Spark والنموذج المرجعي الموحد
وعبر سبع مهام إبداعية مزدوجة، بلغت أفضلية Spark المسجلة مقارنة بالنموذج المرجعي الموحد 5.69 نقطة، مع حجم تأثير معياري كبير بلغ Cohen's d = 2.88.
كما يشير البحث المنشور إلى تحسن منفصل قدره 4.1 نقطة من حالة الوكيل المتخصص السابقة لمرحلة Spark إلى نظام Spark النهائي. هذه مقارنات مختلفة ولا ينبغي دمجها في رقم واحد.
استخدم النموذج المرجعي وكيلاً واحداً دون توجيه غني بالشخصيات. بينما استخدم نظام Spark وكلاء بهويات ودوافع وأساليب وأولويات مميزة وحدود واضحة.
وبدلاً من مطالبة نسخ متعددة من المساعد العام نفسه بتقديم أفكار، أنشأت هذه الطريقة فريقاً متنوعاً عن عمد. فقد يركز أحد الوكلاء على قيمة الأعمال القابلة للقياس، ويركز آخر على الاستدامة، وآخر على المعنى الثقافي، وآخر على الحجج المضادة غير المريحة.
لم يكن الهدف هو تقمص الأدوار بشكل مسرحي، بل كان الهدف هو تقليل تقارب الأفكار.
قارنت الدراسة المخرجات من ظروف تجريبية متعددة عبر مهام إبداعية حقيقية. وقام مقيم يعتمد على النماذج اللغوية الكبيرة (LLM) بتقييم تنوع كل نتيجة بناءً على نفس المقياس المستخدم للأعمال المرجعية المصنفة بواسطة البشر.
وكانت متوسطات الحالات كالتالي:
النموذج المرجعي الموحد للوكيل الواحد: 3.14.
الوكلاء المتخصصون السابقون: 3.76.
وكلاء Spark النهائيون الموجهون بالشخصيات: 7.90.
المرجع البشري الخبير: 8.90.
أعاد المقيم تقييم العمل البشري بدرجة أعلى من تقييمه البشري الأصلي، مما كشف عن انحياز تفاؤلي قدره 1.32 نقطة. وبسبب هذا الانحياز، فإن التفسير الأكثر منطقية هو الاختلاف النسبي بين الحالات، وليس الادعاء بأن التقييم الآلي هو مقياس موضوعي للإبداع.
أولاً، اقترح الوكلاء مجموعة أوسع من الاستراتيجيات بدلاً من تكرار توصية إجماع واحدة. ثانياً، أظهرت الشخصيات المختلفة توترات أخلاقية وبيئية وثقافية غالباً ما يغفل عنها النموذج المرجعي الموحد. ثالثاً، تباينت النبرة والصياغة بشكل أكثر طبيعية، مما منح الفرق الإبداعية بدائل بدلاً من عشر نسخ من نفس الإجابة.
تستخدم Minds نفس المبدأ المركزي: لا ينبغي للمستجيبين الاصطناعيين الأفراد أن يندمجوا في صوت عام واحد. وتساعد الملفات الشخصية والمعارف والدوافع والقيود المتميزة لجنة الاستطلاع على توليد آراء متباينة ومسارات تفكير مختلفة.
بالنسبة لفرق الأبحاث، لا يعني التنوع الدقة بالضرورة، ولكنه شرط أساسي ومهم. فلا يمكن للجنة الاستطلاع أن تمثل جمهوراً متنوعاً إذا كان كل عضو فيها يجيب كأنه نفس المساعد المفيد.
تقدم الدراسة دليلاً على أن التوجيه بالشخصيات يمكن أن يزيد بشكل ملموس من التنوع الإبداعي مقارنة بإعداد الوكيل الموحد. كما توضح أن نظاماً متعدد الوكلاء مصمماً بعناية يمكنه الاقتراب بشكل كبير من التنوع الموجود في أعمال الخبراء البشر.
غطى الاختبار المرجعي مجموعة محدودة من المهام الإبداعية واستخدم عائلة نماذج واحدة. واعتمد التقييم على حكم من النماذج اللغوية الكبيرة (LLM) يعاني من انحياز تفاؤلي يمكن قياسه. لذلك، لا تثبت الدراسة أن كل شخصية تحسن كل مهمة، أو أن مخرجات Spark تعادل الإبداع البشري.
