Minds Mosaic ile Tanışın: Kitle Simülasyonunun Sınırlarını Zorluyoruz

Minds Mosaic, kitle simülasyonu için öncü modelimiz. Tanımlanmış bir popülasyon ve bir anket sorusu verin; anket yayınlanmadan önce o popülasyonun her yanıt seçeneğine nasıl dağılacağını tahmin eder.

Bu tür bir tahmin, ancak gerçek sonuçlara karşı dayanıklılığını kanıtlarsa değer taşır. Bu yüzden Mosaic'i açık biçimde ölçüyoruz. Her tahmin, yayıncı sonuçları açıklamadan önce kaydedilip zaman damgasıyla sabitlenir; her puan, kaçırılanlar dahil, kamuya açık bir kayıt defterine işlenir. Mosaic'i tahminleri önceden mühürlenmiş biçimde değerlendiren bağımsız bir arenaya kaydettik ve bir rakibin kendi kamuya açık kıyaslamasında onunla doğrudan karşılaştırdık.

Artık her sentetik katılımcı sağlayıcısı bir doğruluk rakamı yayımlıyor; ancak bu rakamlar farklı verilerden, farklı metriklerden ve farklı koşullardan geliyor. Bu yazı her sağlayıcının genel rakamıyla başlıyor, ardından yayımlanmış sonuçları alıcıların gerçekte kullandığı kullanım senaryolarına göre sıralıyor ve yalnızca aynı veri üzerinde ölçülen rakamları birbiriyle karşılaştırıyor.

Kısa Özet

• Kitle simülasyonunu, siyasi anketlerden reklamcılığa ve açık uçlu görüşmelere kadar 15 kullanım senaryosu kategorisine ayırıyor; rakamları yalnızca aynı kategori içinde ve aynı veri üzerinde karşılaştırıyoruz.
• Siyasi ve kamuoyu anketlerinde, sonuçlar yayınlanmadan önce kaydedilen Minds Mosaic tahminleri, 7 anketten 24 soruda 0.023 dağılım hatası (TVD) gösteriyor. Ekonomik duyarlılık anketlerinde ise 6 anketten 53 soruda bu değer 0.039.
• Artificial Societies'in kendi kamuya açık kıyaslamasında Mosaic, her iki sosyal tutum kaynağında, üç kişilik kaynağından ikisinde ve demografik alt gruplarda daha düşük hata gösteriyor (0.053'e karşı 0.063). Genel olarak iki sistem, kendi kurallarına göre eşit: 0.083'e karşı 0.082.
• Burada ele alınan sağlayıcıların hiçbiri, anket yayınlanmadan önce kaydedilip sonradan puanlanan anket tahminlerinin süregelen bir kaydını yayımlamıyor. Bizimki forecasts.getminds.ai adresinde herkese açık: düz Markdown ve JSON dosyaları, zaman damgası kanıtları ve bunları doğrulayan bir betik.

Kategoriler Genelinde Genel Doğruluk

Minds Mosaic ve diğer iki sağlayıcı, test edilen tüm kategorileri bir araya getiren tek bir genel dağılım hatası (TVD) yayımlıyor. Düşük olan daha iyidir; bir sonraki bölüm metriği açıklıyor.

Tablo, her rakamın arkasındaki veriyi ve kaynağı, yanıt seçeneği başına ortalama kaçırmayı (MAE) ve sağlayıcının yayımladığı durumlarda havuzlanmış korelasyonu gösteriyor.

Dört şirket, TVD veya MAE'ye dönüştürülemeyen kendi ölçeklerinde bir başlık yayımlıyor:

• Simile: Ajanlar, bireylerin anket yanıtlarını, insanların iki hafta sonra kendileriyle gösterdikleri tutarlılığın yaklaşık %85'i oranında yeniden üretiyor (ön baskının en son sürümünde veri kaynağına göre %82 ile %86 arasında).
• Evidenza: 100'den fazla doğrulamada sentetik ve geleneksel araştırma arasındaki ortalama eşleşme olarak tanımlanan "%88 doğruluk".
• Synthetic Users: Görüşme içeriği için ağırlıklı bir değerlendirme ölçütü olan %85 ile %92 arasında "Sentetik Organik Eşlik".
• Electric Twin: Yukarıdaki %96'ya ek olarak, kendi tam dağılım puanında (NDAM) %92.

Rakamları Nasıl Okumalı

En sık karşılaşılan iki metrik birbirinin yerine kullanılamaz.

Toplam varyasyon mesafesi (TVD) 0 ile 1 arasında değer alır. Yanıt dağılımının yanlış yerde duran payını gösterir. 0.05 TVD, dağılımın beş puanının gerçek sonuçla örtüşmesi için yer değiştirmesi gerektiği anlamına gelir.

Ortalama mutlak hata (MAE), yanıt seçeneği başına ortalama kaçırmayı yüzde puan cinsinden ifade eder. Aynı tahmin için MAE, puan cinsinden ifade edilen TVD'den genellikle çok daha küçüktür; çünkü TVD seçenekler arasındaki kaçırmaları toplarken MAE onları ortalar. 3.5 puanlık bir MAE ile 7.6 puanlık bir TVD aynı sonucu tanımlayabilir.

Korelasyonların da bir etikete ihtiyacı var. Her sorunun her yanıt seçeneği genelinde havuzlanmış bir korelasyon, neredeyse her makul yöntem için yüksektir; çünkü bazı seçenekler her zaman büyük, diğerleri her zaman küçüktür. Her soru içindeki korelasyon çok daha katıdır. Aşağıda havuzlanmış bir korelasyondan söz ettiğimizde, hem kendi rakamlarımız hem de başkalarının rakamları için bunu açıkça belirtiyoruz.

Kitle Simülasyonunun On Beş Kategorisi

Alıcılar kitle simülasyonunu çok farklı amaçlarla kullanıyor; oy niyetini iyi tahmin eden bir sistem, insanların bir video reklamına nasıl tepki vereceğini tahmin edebildiğini kanıtlamış olmaz. Çalışmaları, neyin tahmin edildiğine ve gerçek verinin ne olduğuna göre 15 kategoride gruplandırıyoruz.

Sonraki iki tablo, 1 Kasım 2026 itibarıyla her kategoride puanlı sonuç yayımlayan sağlayıcıları gösteriyor. "Evet", o kategoride en az bir kamuya açık, puanlı sonucun mevcut olduğu anlamına gelir; aşağıdaki bölümler her birinin arkasındaki veriyi adlandırıyor. Art. Soc. Artificial Societies, E. Twin ise Electric Twin'i temsil ediyor.

Her Doğruluk İddiası Nasıl Üretildi

Kategori, neyin ölçüldüğünü söyler. Koşullar ise rakama ne kadar güvenilebileceğini.

1 Kasım 2026 itibarıyla her şirketin kamuya açık materyallerine dayanmaktadır. Boş hücre, yayımlanan iddianın bunu göstermediği anlamına gelir.

Geriye dönük bir test, sistemi zaten yayımlanmış ya da sağlayıcının elinde bulunan bir anket üzerinde çalıştırır. Geliştirme için kullanışlıdır ve bu alandaki her ekip, bizimkiler dahil, bunu kullanır. Sınırları iyi bilinir: model sonuçları görmüş olabilir, hangi soruların dahil edileceğine ilişkin seçimler yanıtlar mevcut durumdayken yapılır ve sağlayıcı kendini puanlar.

Önceden kaydedilmiş bir tahmin bu sorunları ortadan kaldırır. Tahmin, sonuçlar ortaya çıkmadan önce sabitlenir; dolayısıyla onlara göre ayarlanamaz ve tahmincinin göremediği rakamlara karşı puanlanır. İlk görüşmeden önce kaydetmek daha da güçlüdür; çünkü anket hakkında hiçbir şey sızdırılmış olamaz. Bu, seçim ve ekonomik tahminler için kullanılan standarttır ve kitle simülasyonunun da karşılaması gereken standarttır.

Yukarıdaki sağlayıcıların hiçbiri, anket yayınlanmadan önce kaydedilip sonradan puanlanan anket tahminlerinin süregelen bir kaydını yayımlamıyor. Aaru, oylamadan bir gün önce 2024 ABD başkanlık seçiminin bir tahminini yayımladı. Electric Twin, baş bilim danışmanının LSE'de yürüttüğü, sentetik yanıtları yedi insan örnekleme hizmetiyle karşılaştıran önceden kaydedilmiş bir akademik çalışmayı finanse etti. Simile'nin ortak teknik raporu, tahminleri yayımlamaksızın saha çalışmasından önce yeni sonuçları öngören dahili testleri anlatıyor. Bizim kayıt defterimiz her tahmini ve her puanı yayımlıyor.

Minds Mosaic Tahmin Kayıt Defteri Nasıl Çalışır

Her hedef anket için, kilitleme öncesinde tam soru ifadesini, yanıt seçeneklerini ve popülasyonu yazıyoruz. Minds Mosaic ardından her sorunun tam yanıt dağılımını tahmin ediyor. Her tahmin karma değeriyle işleniyor, yalnızca ekleme yapılabilen bir kayıt defterine ekleniyor, toplu hale getiriliyor ve OpenTimestamps aracılığıyla Bitcoin blok zincirinde zaman damgasıyla sabitleniyor. Yayıncı sonuçlarını açıkladığında, puanlanamaz olduğu ortaya çıkan tahminler dahil, her kaydedilmiş tahmini resmi yayına karşı puanlıyoruz. Her anket bir kanıt sınıfı taşıyor: saha çalışması başlamadan önce kaydedildi ya da saha çalışmasından sonra ancak herhangi bir sonuç kamuya açık olmadan önce kaydedildi.

Kayıt defteri kasıtlı olarak sade tutulmuştur. forecasts.getminds.ai adresinde herkes onu sıradan dosyalar olarak indirebilir: güncel puan kartını içeren bir Markdown README, kaydedilmiş tahmin başına bir JSON dosyası, OpenTimestamps kanıtları ve her karma değerini ve zaman damgasını kontrol eden bir betik. JSON dosyaları aynı zamanda makine tarafından okunabilir bir besleme işlevi görür; böylece herkes bize sormadan kaydımızı doğrulayabilir ya da yeniden puanlayabilir.

On üç anket şimdiye kadar sonuçlarını açıkladı; Avusturya, Fransa, Almanya, Japonya, İspanya, Birleşik Krallık ve Amerika Birleşik Devletleri'ndeki 77 soruyu kapsıyor ve bu tahminlerin her biri, sonuçlar yayımlanmadan önce doğrulanmış bir Bitcoin zaman damgası taşıyor. Bu anketlerin genelinde Mosaic'in dağılım hatası 0.034, saha çalışması başlamadan önce kaydedilen 4 ankette ise 0.023.

77 sorunun tamamında, yanıt seçeneği başına ortalama kaçırma 1.37 yüzde puandır ve tahmin ile gerçek yanıt payları arasındaki havuzlanmış korelasyon 0.993'tür. Minds Mosaic, aynı anketin daha önce yayımlanmış sonuçları dahil, kilitleme öncesinde mevcut tüm kamuya açık bilgiyle tahmin yapar. Yayıncıların açıkladığı değerler yayıncılarda kalır: kayıt defteri tahminlerimizi ve puanlarımızı yayımlar. Aşağıdaki kategoriler bu sonuçları kullanım senaryosuna göre ayırıyor.

Siyasi ve Kamuoyu

Puanlanan anketlerin yedisi, Amerika Birleşik Devletleri ve Birleşik Krallık'taki siyasi ve kamuoyu anketleridir: The Economist/YouGov, YouGov'un GB takip anketleri, Emerson, NPR/PBS News/Marist, Reuters/Ipsos, Find Out Now ve Opinium. 24 soruları genelinde Mosaic'in kaydedilmiş tahminleri 0.023 TVD ve yanıt seçeneği başına 1.10 puanlık ortalama kaçırma gösteriyor. Saha çalışması başlamadan önce kaydedilen dört anketin tamamı bu kategoride: 19 soru ve 0.023 TVD.

Minds Mosaic'i ayrıca, tahminleri önceden mühürlenmiş biçimde puanlayan bağımsız bir akademik liderlik tablosu olan Social Simulation Arena'ya, 2026 ABD ara seçim turları için tahminlerle kaydettik.

Bu kategorideki diğer yayımlanmış sonuçlar farklı verilere dayanıyor; bu yüzden onları grafikle karşılaştırmak yerine listeliyoruz. Aaru, 2026 replikasyon çalışmasında örnekleme düzenlemesinden sonra siyaset, politika ve kamu işleri alanındaki 573 sorudan yanıt seçeneği başına ortalama 2.21 puanlık kaçırma bildiriyor ve 2024 ABD başkanlık seçiminin bir tahminini yayımladı. ANES 2024 ve CES 2024 seçim anketlerine ilişkin kendi geriye dönük çalışmalarımız, bireysel katılımcı düzeyinde sırasıyla 8.33 ve 4.72 puanlık ortalama dağılım hatası bildiriyor.

Ekonomik Duyarlılık

Puanlanan anketlerin altısı tüketici duyarlılığını ölçüyor: Avusturya, Fransa, Almanya ve İspanya için Avrupa Komisyonu'nun uyumlaştırılmış tüketici anketleri, Japonya'nın ESRI tüketici güveni anketi ve Conference Board'un ABD endeksi. 53 soruları genelinde Mosaic 0.039 TVD ve yanıt seçeneği başına 1.50 puanlık ortalama kaçırma gösteriyor.

University of Michigan anketi, New York Fed'in Tüketici Beklentileri Anketi ve tüketici anketlerinin Kasım dalgaları için kaydedilmiş tahminler bekleniyor. Burada ele alınan başka hiçbir sağlayıcı bu kategoride puanlı bir sonuç yayımlamıyor.

Sosyal Tutumlar ve Değerler

Artificial Societies, yedi anket kaynağı ve bir puanlama sözleşmesiyle kamuya açık bir kıyaslama yayımladı; bu kıyaslama arXiv 2609.30030 makalesinde açıklanıyor. Minds Mosaic'i, herhangi bir model çağrısından önce karma değeriyle sabitlenmiş bir protokol altında çalıştırdık, ham çıktıları puanlamadan önce mühürledik ve onların verilerini ve puanlama kodunu kullandık. İki kaynak 2024 Genel Sosyal Araştırması'ndan geliyor.

Mosaic rakamları üç çalışmanın ortalamasıdır; Artificial Societies'inkiler yayımlandığı gibidir. Mosaic, istek başına bir soru aldı; bağlam olarak Genel Sosyal Araştırması'nın daha önceki kamuya açık dalgaları etiketli biçimde sunuldu. Mosaic tüm örneklemin dağılımını tahmin ederken, onların yayımlanmış rakamları her katılımcıyı simüle etmekten geliyor.

Bu kategorideki diğer iki sonuç kendi verilerini kullanıyor. Simile'nin 1.052 görüşülen Amerikalı ajanları, bireylerin Genel Sosyal Araştırması yanıtlarını, insanların iki hafta sonra kendileriyle gösterdikleri tutarlılığın yaklaşık %85'i oranında yeniden üretiyor. GSS 2024 çalışmamız, 17 soru ve 360 eşleştirilmiş katılımcı genelinde 7.53 puanlık ortalama dağılım hatası bildiriyor.

Kişilik ve Psikometri

Artificial Societies kıyaslamasının üç kaynağı tutumlar yerine kişiliği ölçüyor. Bu, 15 kategoriden biri değil; bu yüzden ayrı olarak raporluyoruz.

Üç çalışmanın ortalaması olan Mosaic, boyutlarda ve ikiz yeniden testinde daha düşük hata gösteriyor; özelliklerde ise eşit düzeyde.

Soru İfadesi ve Anket Tasarımı Etkileri

Aynı kıyaslamanın iki kaynağı, aynı sorunun iki versiyonda sorulduğu bölünmüş oy pusulası ifade deneyleridir; yanıtın ne kadar kaydığını ölçmek için.

Mosaic, Jordan deneyinde eşit düzeyde; Albertson'da ise Artificial Societies daha düşük hata gösteriyor. Mosaic her iki kaymanın yönünü doğru tahmin ediyor ancak büyüklüklerini abartıyor. İfade etkileri, bir dağılımı tahmin etmekten farklı bir görevdir; bu yüzden onları ayrı bir kategori olarak puanlıyoruz.

Alt Gruplar ve Segmentler

Alt gruplar, sentetik araştırmanın en sık kullanıldığı ve en sık başarısız olduğu yerdir. Artificial Societies'in kıyaslamasındaki Genel Sosyal Araştırması güven maddelerinin 145 demografik alt grup hücresinde Mosaic, onların 0.063'üne karşı 0.053 TVD gösteriyor.

Kayıt defterimiz de alt grupları puanlıyor. The Economist/YouGov ve YouGov GB çapraz tabloları, yaş grubu, parti veya 2024 oy tercihi gibi 69 kaydedilmiş alt grup hücresi sunuyor; burada Mosaic 0.046 TVD gösteriyor.

Reklamcılık, Video ve Yaratıcı

Hiçbir iki sağlayıcı aynı yaratıcı veri üzerinde sonuç yayımlamadı; bu yüzden bu kategoride henüz doğrudan bir karşılaştırma yok. Electric Twin, kendi kıyaslamasında tahmin edilen ve gerçek ortalama Likert puanları arasında görüntüler için 0.909 ve video için 0.861 korelasyon bildiriyor. Super Bowl çalışmamızda, 100 temelli simüle edilmiş katılımcı USA TODAY Ad Meter 2026'daki 54 reklamın tamamını değerlendirdi ve 0.85 Spearman korelasyonuyla insan paneline yakın bir sıralama elde etti.

Konseptler, Fiyatlandırma ve Marka

Buradaki yayımlanmış sonuçlar da her sağlayıcının kendi verilerine dayanıyor.

Açık Uçlu Yanıtlar ve Davranış

Synthetic Users, görüşme içeriğini "Sentetik Organik Eşlik" adını verdiği ağırlıklı bir değerlendirme ölçütüyle %85 ile %92 arasında puanlıyor. Ayrılmış görüşme çalışmamız, temelli simüle edilmiş katılımcıların 66 görüşme yanıtında 22 gerçek katılımcının daha sonra söylediklerini yansıtıp yansıtmadığını test etti ve genel yönlendirmeye kıyasla katılımcı kanıtından açık bir kazanım buldu.

Davranış ile beyan edilen niyet konusunda Aaru, marka sıralamalarını kredi kartı satın alma verileriyle karşılaştırdı ve aynı replikasyon çalışmasında yayımlanmış anket değerlendirmesi için %77.8'e karşı marka çiftlerinin %92.4'ünde uyum bildiriyor.

Artificial Societies'in Kıyaslaması Genel Olarak

Yedi kaynağın tamamında Mosaic ve Artificial Societies eşit düzeyde. Artificial Societies'in kuralına göre, her kaynağın eşit ağırlıklandırıldığı ilk çalışmada Mosaic 0.082'ye karşı 0.083 puan alıyor; üç çalışmanın ortalamasında ise Mosaic 0.085 puan alıyor. Mosaic, yedi kaynaktan beşinde daha düşük hata gösteriyor. İki ifade deneyi olmadan Mosaic, üç çalışma ortalamasında 0.091'e karşı 0.084 ile önde.

Adil Bir Kıyaslama Nasıl Görünmeli

Son iki aydaki deneyimlerimiz, alandaki yayımlanmış rakamlar ve kamuya açık bir arenaya katılımımız aynı dört kurala işaret ediyor.

1. Saha çalışmasından önce kaydet. İlk görüşmeden önce sabitlenen bir tahmin, yanıta göre ayarlanamaz. Yalnızca yayınlanmadan önce kaydetmek daha zayıftır; çünkü saha çalışması kapandıktan sonra sonuçlar zaman zaman sızabilir. Gerçek saha çalışması tarihlerini ve her sonucun kanıt sınıfını kaydet.
2. Gürültü tabanını yayımla. Mükemmel bir tahminci bile örnekleme hatasını beraberinde taşır: yaklaşık 1.200 örneklemde üç seçenekli bir soru için yaklaşık 0.024 TVD. Bundan küçük farklar, aralıklar olmadan anlamlı değildir.
3. Kullanım senaryosu kategorisine ve uyarana göre raporla. Anketler, tüketici duyarlılığı, reklamlar, konseptler ve web siteleri farklı görevlerdir; metin soruları, görüntüler, video, ses ve etkileşimli akışlar ise farklı uyaranlardır. Bunların genelinde havuzlanmış bir başlık, herhangi biri hakkında çok az şey söyler.
4. Yanıt türüne göre ayır. Tek seçim, Likert ve sıralı ölçekler, çoklu seçim, sayısal yanıtlar, sıralamalar ve MaxDiff gibi zorla seçim tasarımları ile açık uçlu metin her biri kendi metriğine ihtiyaç duyar. Çoklu seçim seçenekleri ayrı evet/hayır payları olarak puanlanmalı, sıralı ölçekler sıra duyarlı bir puanla, açık yanıtlar ise tek bir yargıç yerine tema payları veya gömme mesafeleriyle değerlendirilmelidir.

İki pratik kural daha ekleriz: her çalışmayı ve çalışmalar arasındaki yayılımı raporlayın; hangi korelasyonun raporlandığını, havuzlanmış mı yoksa soru içi mi olduğunu belirtin.

Takip Etmeye Değer Diğer Kamuya Açık Kıyaslamalar

Henüz alanın tamamını kapsayan tek bir kıyaslama yok. Bunlar, ürettikleri kanıt türüne göre gruplandırılmış, takip ettiğimiz kamuya açık olanlardır.

Yalnızca birincisi, sonuç ortaya çıkmadan önce yapılan tahminleri puanlıyor. Diğerleri yöntem geliştirme için değerlidir ve çoğu kamuya açıktır; dolayısıyla herhangi bir ekip bunları yeniden çalıştırabilir. Maddeleri de kamuya açık olduğundan, bir model bunları eğitim sırasında görmüş olabilir. Bu yüzden ileriye dönük sonuçlar en fazla ağırlığı taşır.

Sırada Ne Var

Birkaç kategoride henüz hiç kimsenin kamuya açık puanlı sonucu yok: mesajlaşma ve metin, web sitesi ve uygulama davranışı ile medya ve eğlence talebi. Diğerleri tek bir çalışmaya dayanıyor. Bunlar açık alandır ve önceden kaydedilmiş kayıt defteri, onları dolduracağımız yoldur: tahmini kaydet, gerçek sonucu bekle, puanı yayımla.

Minds Mosaic, 2026 ABD ara seçim turları ve Kasım'dan itibaren çözüme kavuşan haftalık anket turları için önceden mühürlenmiş tahminlerle Social Simulation Arena'ya minds-mosaic olarak kaydedildi. Tahmin kayıt defterimize anket eklemeye devam edeceğiz, her sonucu çözüme kavuştukça yayımlayacağız ve kategori bazında ve gürültü tabanıyla birlikte raporlayacağız. Ayrıca Aaru'nun yayımlanmış protokolünü yeni 2026 çalışmaları üzerinde çalıştırıyoruz.

Minds Mosaic, kitle simülasyonu için öncü modelimizdir: bir popülasyon ve bir soru verin, gerçek dağılım ortaya çıkmadan önce tam yanıt dağılımını tahmin eder. Yayımlanmış anketler ilk testtir. Sırada Mosaic, davranış üzerinde ölçülecek: satın alma ve izleme tahminleri, insanların gerçekte ne satın aldığına ve ne izlediğine karşı puanlanacak. Ayrıca yukarıdaki açık kategorilerde ve önümüzdeki aylarda çözüme kavuşan arena turlarında da ölçülecek; her biri sonuç ortaya çıkmadan önce kaydedilecek ve kamuya açık biçimde puanlanacak.

Bir kitle simülasyonu modeli için doğruluk rakamları yayımlıyorsanız, bu kategorilerden herhangi birinde ortak, ileriye dönük kaydedilmiş bir test yapmaktan memnuniyet duyarız. Bu, kategorinin araştırma satın alan kişilerin güvenini kazanmasının en hızlı yoludur.