Sentetik Anket Panelleri ve Yapay Zeka Katılımcıları Nasıl Çalışır?

Sentetik katılımcı, bir dil modeli tarafından simüle edilen bir araştırma katılımcısıdır. Model, incelemek istediğiniz kişi profiliyle (yaş, bölge, meslek, alışkanlıklar, tutumlar ve ideal olarak benzer kişilere dair gerçek anket veya mülakat verileri) koşullandırılır; ardından bu rol çerçevesinde anket sorularını yanıtlar, bir konsepte tepki verir veya bir mülakata katılır.

Sentetik panel, tek bir kitleyi temsil etmek üzere oluşturulmuş sentetik katılımcılardan oluşan bir gruptur. Her üyeye aynı sorular yöneltilebildiği için, yanıtlar dağılımlar halinde toplanabilir ve tıpkı panel katılımcılarıyla yapılan bir ankette olduğu gibi segmentler arasında karşılaştırılabilir.

Her ikisi de hızlı ve yön gösterici araştırmalar için kullanılan araçlardır. Ekiplerin saha çalışmasından önce fikirleri ve anket formlarını test etmesini sağlarlar; ancak yanıtları gerçek insanların ölçümleri değil, bir modelin ürettiği tahminlerdir ve geri dönüşü maliyetli bir karara dayanak yapılmadan önce gerçek verilerle doğrulanmaları gerekir.

Sentetik katılımcıların ilişkili kavramlarla karşılaştırması

Bu pazardaki terminoloji birbiriyle sıklıkla örtüşür. Araçları karşılaştırırken veya bir yöntem bölümünü incelerken dikkat edilmesi gereken temel ayrımlar şunlardır:

Bu katılımcıları kullanan daha kapsamlı yöntem hakkında bilgi edinmek için sentetik pazar araştırması nedir yazısını inceleyin.

Sentetik katılımcılar nasıl oluşturulur?

İşlevsel bir sentetik katılımcının üç katmanı vardır.

1. Temel dil modeli. Akıcılık ve genel bilgi sağlar; aynı zamanda kendi eğilimlerini de beraberinde getirir: uyumluluk, lafı uzatma eğilimi ve eğitim verilerindeki görüş yanlılıkları.
2. Profil ve arkasındaki kanıtlar. Profil; demografik, davranışsal ve tutumsal özellikleri belirler. Daha güçlü sistemler her profili somut kaynaklara dayandırır: yayımlanmış istatistikler, kamuya açık araştırmalar ve ekibin kendi anket sonuçları, mülakat dökümleri veya müşteri dosyaları. Yalnızca demografik bir etiketle oluşturulan bir katılımcı, basmakalıp bir stereotip gibi yanıt verme eğilimindedir.
3. Yanıt protokolü. Katılımcı; yanıtların karşılaştırılabilmesi ve birleştirilebilmesi için tanımlanmış bir ölçüm aracı dahilinde (tekli seçim, çoklu seçim, ölçekler, sıralamalar, MaxDiff gibi zorunlu seçim görevleri veya açık uçlu sorular) yanıt verir.

Kapalı uçlu yanıtların nasıl toplandığı önemlidir. Minds'ın yayımladığı replikasyonlarda, sentetik katılımcılardan tek bir zorunlu seçim yerine seçenekler genelinde olasılık dağılımı istenmesi, dört kamuya açık veri setinde dağılım hatasını 12.47 ile 19.72 yüzde puanı arasında azaltmıştır (Minds araştırması).

Sentetik panel nedir ve geleneksel bir panelden nasıl ayrılır?

Sentetik panel, bu yapının grup versiyonudur: Tek bir kitle tanımı içinde çeşitlilik gösteren düzinelerce ila binlerce sentetik katılımcıdan oluşur; örneğin "Haftalık olarak bitkisel süt satın alan, 25-40 yaş arası Birleşik Krallık gıda alışverişçileri". Panel bir çalışmayı yanıtlar ve sonuçlar dağılımlar, sıralamalar ve temalar halinde okunur.

Bu ikisi birbirinin ikamesi değildir. Sentetik panel, gerçek bir panele nelerin sorulmaya değer olduğuna karar vermenin ve o gerçek çalışmayı daha küçük ve daha hedefli hale getirmenin bir yoludur. Karşılaştırma hakkında daha fazla bilgi için sentetik paneller ve geleneksel paneller içeriğine bakın.

Doğruluk konusundaki kanıtlar ne gösteriyor?

Sentetik katılımcılar için geçerli tek bir doğruluk rakamı yoktur. Sonuçlar kitleye, soruya ve yanıtların nasıl toplandığına bağlıdır; yayımlanan kanıtlar da iki farklı yöne işaret etmektedir.

• Argyle ve meslektaşları, GPT-3'ü ABD'deki gerçek anket katılımcılarının sosyo-demografik geçmişleriyle koşullandırmış ve modelin birçok alt grubun yanıt dağılımlarını yeniden üretebildiğini tespit etmiştir; araştırmacılar bu durumu "algoritmik sadakat" (algorithmic fidelity) olarak adlandırmıştır (Political Analysis, 2023).
• Stanford liderliğindeki bir ekip, iki saatlik mülakatlar, anketler veya her ikisinden yararlanarak 1.052 Amerikalı için yapay zeka ajanları oluşturmuştur. Modele dahil edilmeyen General Social Survey sorularında bu ajanlar, katılımcıların kendi iki haftalık test-tekrar test tutarlılığının sırasıyla %83, %82 ve %86'sına ulaşırken, yalnızca demografik bilgilerin verildiği ajanlarda bu oran %74'te kalmıştır (arXiv, 2024). Gerçek öz beyanlara dayandırma, salt demografik etiketleri geride bırakmıştır.
• Bisbee ve meslektaşları, persona yönlendirmeli ChatGPT'nin American National Election Study'deki ortalama duygu termometresi puanlarıyla eşleştiğini; ancak gerçek katılımcılara kıyasla daha az varyasyon gösterdiğini, farklı regresyon ilişkileri sergilediğini, küçük ifade değişikliklerine karşı duyarlı olduğunu ve zaman içinde sapma gösterdiğini tespit etmiştir (Political Analysis, 2024).
• Santurkar ve meslektaşları, dil modellerinin ifade ettiği görüşler ile 60 ABD demografik grubunun görüşleri arasında kayda değer bir uyumsuzluk bulmuştur; model kendilerine yönlendirilse bile 65 yaş üstü bireyler gibi bazı grupların görüşleri zayıf bir şekilde yansıtılmıştır (ICML 2023).

Sentetik ve insan yanıtlarının nerede örtüştüğünü ve nerede ayrıştığını daha kapsamlı incelemek için sentetik ve gerçek katılımcılar: doğruluk yazısını okuyun.

Dikkat edilmesi gereken hata türleri

Sentetik katılımcılar, insan panellerinden farklı şekillerde hata yapar:

• Varyans azlığı. Yanıtlar en tipik görüş etrafında kümelenir; bu nedenle dağılımlar gerçekte olduğundan daha derli toplu görünür ve azınlık görüşleri kaybolur.
• Korelasyonlu hata. Her katılımcı aynı modeli paylaştığı için, modeldeki kör bir nokta aynı anda hepsini etkiler. Geleneksel hata payları katılımcıların bağımsız olduğunu varsayar ve bu durumda geçerli değildir.
• Yönlendirme ve model bağımlılığı. İfadelerdeki, sıralamadaki veya model versiyonundaki küçük değişiklikler sonuçları değiştirebilir.
• Uysallık eğilimi (agreeableness). Ölçüm aracı ödünleşim (trade-off) yapmaya zorlamadıkça katılımcılar kendilerine gösterilen her şeyi beğenebilir.
• Verisi kısıtlı kitleler. Düşük görülme sıklığına sahip gruplar, uzmanlık gerektiren roller ve mevcut verilerde yetersiz tanımlanmış yeni kategoriler için doğruluk düşer.

Minds sentetik panelleri nasıl oluşturur ve denetler?

Minds bünyesinde her sentetik katılımcı bir Mind, her sentetik panel ise bir Audience olarak adlandırılır. Mind'lar somut kaynaklara ve eklediğiniz anket sonuçları, mülakat dökümleri veya müşteri araştırmaları gibi dosyalara dayandırılır; bir Study ise Audience'a açık ve kapalı uçlu sorular, MaxDiff ve diğer yöntemleri yöneltir veya konseptler, görseller, web siteleri ve metinler gibi uyaranlar sunar.

Audience Validation, genel bir doğruluk iddiasına güvenmek yerine bir Audience'ı gerçek anketlerle karşılaştırarak denetler. Minds, katılımcıları Audience ile eşleşen yayımlanmış anketleri bulur veya yüklediğiniz anket dosyalarını kullanır; yalnızca yayımlanan yanıtları söz konusu Audience için adil bir hedef oluşturan soruları tutar ve dışarıda bıraktığı her soruyu gerekçesiyle listeler. Her anket, yayımlanan yanıt oranlarından ortalama mutlak yüzde puanı farkının 100'den çıkarılmasıyla tanımlanan ve %95'lik bir aralık içeren 100 üzerinden bir puan alır. Ayrıntılar için Audience Validation nasıl çalışır kılavuzunu inceleyin.

Minds'ın beş kamuya açık veri setine karşı yayımladığı replikasyonlar, 4.72 ile 8.33 yüzde puanı arasında ortalama dağılım hataları ortaya koymuştur (tüm sonuçlar). Bu çalışmalar farklı ölçüm araçları kullanmaktadır ve tek bir doğruluk puanında birleştirilmemelidir; ayrıca bir anketteki başarılı bir sonuç, farklı bir kitleye veya soruya otomatik olarak aktarılamaz.

Sentetik katılımcılar ne zaman kullanılmalı, ne zaman kullanılmamalı?

Uygun kullanım alanları:

• Saha çalışmasından önce çok sayıda konsepti, iddiayı veya mesajı eleyerek kısa bir liste oluşturmak.
• Bir anket formunu kafa karıştırıcı ifadeler, eksik yanıt seçenekleri ve yönlendirici sorular açısından ön teste tabi tutmak.
• Hedefli mülakatlardan önce, ulaşılması zor veya maliyetli kitleler hakkında ilk izlenimi edinmek.
• Hipotezler geliştirmek ve bir insan araştırmasının hangi segmentleri örneklemesi gerektiğini belirlemek.

Şu durumlarda kayıtlı kişileri veya gözlemlenen davranışları tercih edin:

• Pazar büyüklüğü, pazar payı veya satın alma eğiliminde olanların yüzdesi gibi temsili tahminlere ihtiyaç duyduğunuzda.
• Belirli fiyat noktalarında ödeme istekliliği veya fiyat elastikiyetine ihtiyaç duyduğunuzda.
• İddia yayımlanacaksa, yasal düzenlemelere tabi olacaksa veya denetlenecekse (reklam doğrulamaları ve sağlık iddiaları dahil).
• Ürüne fiziksel olarak dokunulması, tadılması veya fiziksel olarak kullanılması gerektiğinde.
• Kitle veya kategori yeni olduğunda ve onu tanımlayan güvenilir veri çok kısıtlı olduğunda.

Sentetik katılımcı sağlayıcısı nasıl değerlendirilir?

Doğrulayabileceğiniz kanıtlar talep edin:

1. Hangi kamuya açık anketleri replike ettiniz, hata payı neydi ve hangi referans noktasıyla karşılaştırdınız?
2. Kendi panelimi gerçek anket verileriyle doğrulayabilir miyim ve hangi soruların neden hariç tutulduğunu görebilir miyim?
3. Her bir katılımcı neye dayandırılıyor: Yalnızca demografik bir etikete mi, yoksa kaynaklara ve benim araştırma dosyalarıma mı?
4. Kapalı uçlu yanıtlar nasıl toplanıyor ve katılımcılar fikir ayrılığı belirtebiliyor veya bir konsepti reddedebiliyor mu?
5. Aracın hangi durumlar için kullanılmaması gerektiğini belirtiyorsunuz?

Sağlayıcıların karşılaştırması sentetik katılımcı platformları rehberinde yer almaktadır.

Kaynaklar

• Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C. and Wingate, D. (2023). Out of One, Many: Using Language Models to Simulate Human Samples. Political Analysis, 31(3), 337-351.
• Bisbee, J., Clinton, J. D., Dorff, C., Kenkel, B. and Larson, J. M. (2024). Synthetic Replacements for Human Survey Data? The Perils of Large Language Models. Political Analysis, 32(4), 401-416.
• Santurkar, S., Durmus, E., Ladhak, F., Lee, C., Liang, P. and Hashimoto, T. (2023). Whose Opinions Do Language Models Reflect? Proceedings of the 40th International Conference on Machine Learning.
• Park, J. S. and colleagues (2024). LLM Agents Grounded in Self-Reports Enable General-Purpose Simulation of Individuals. arXiv 2411.10109.
• Minds (2026). We Tested Synthetic Audiences Against Reality.