Minds Mosaic: An der Spitze der Zielgruppensimulation

Minds Mosaic ist unser Frontier-Modell für Zielgruppensimulation. Geben Sie eine definierte Zielpopulation und eine Umfragefrage vor, prognostiziert es die vollständige Antwortverteilung über alle Antwortoptionen hinweg, bevor die Befragung überhaupt beginnt.

Eine solche Prognose ist nur dann etwas wert, wenn sie sich an realen Ergebnissen messen lässt. Deshalb messen wir Mosaic öffentlich. Jede Prognose wird vorab festgeschrieben und mit einem Zeitstempel versehen, bevor der Herausgeber seine Ergebnisse veröffentlicht. Jedes Ergebnis, einschließlich der Fehlprognosen, fließt in ein öffentliches Register ein. Wir haben Mosaic in einer unabhängigen Arena angemeldet, die vorab festgeschriebene Prognosen bewertet, und haben es direkt am eigenen öffentlichen Benchmark eines Mitbewerbers gemessen.

Inzwischen veröffentlicht jeder Anbieter synthetischer Befragungsteilnehmer eine Genauigkeitszahl, doch diese Zahlen basieren auf unterschiedlichen Daten, unterschiedlichen Metriken und unterschiedlichen Bedingungen. Dieser Beitrag beginnt mit der Gesamtzahl jedes Anbieters, ordnet die veröffentlichten Ergebnisse dann in die Anwendungsfälle ein, die Käufer tatsächlich nutzen, und vergleicht Zahlen direkt miteinander, wo sie auf denselben Daten gemessen wurden.

Die Kurzfassung

• Wir unterteilen die Zielgruppensimulation in 15 Anwendungskategorien, von politischen Umfragen bis hin zu Werbung und offenen Interviews, und vergleichen Zahlen nur innerhalb einer Kategorie und auf denselben Daten direkt miteinander.
• Bei politischen Umfragen und Meinungsumfragen zeigen die vorab festgeschriebenen Prognosen von Minds Mosaic einen Verteilungsfehler (TVD) von 0.023 über 24 Fragen aus 7 Umfragen. Bei Wirtschaftsstimmungsumfragen liegt er bei 0.039 über 53 Fragen aus 6 Umfragen.
• Auf dem eigenen öffentlichen Benchmark von Artificial Societies weist Mosaic den geringeren Fehler bei beiden Quellen zu sozialen Einstellungen auf, bei zwei von drei Persönlichkeitsquellen sowie bei demografischen Subgruppen (0.053 gegenüber 0.063). Insgesamt liegen beide nach der Konvention von Artificial Societies gleichauf: 0.083 gegenüber 0.082.
• Keiner der hier betrachteten Anbieter veröffentlicht ein laufendes Register von Umfrageprognosen, die vor Beginn der Befragung festgeschrieben und anschließend bewertet wurden. Unser Register ist öffentlich zugänglich unter forecasts.getminds.ai: einfache Markdown- und JSON-Dateien, Zeitstempelnachweise und ein Skript zur Verifikation.

Gesamtgenauigkeit über alle Kategorien

Minds Mosaic und zwei weitere Anbieter veröffentlichen einen Gesamt-Verteilungsfehler (TVD), der alle getesteten Kategorien zusammenfasst. Niedrigere Werte sind besser; der nächste Abschnitt erläutert die Metrik.

Die Tabelle nennt die Daten und die Quelle hinter jeder Zahl, mit dem durchschnittlichen Fehler pro Antwortoption (MAE) und der gepoolten Korrelation, sofern der Anbieter sie veröffentlicht.

Vier Unternehmen veröffentlichen ihre Kennzahl auf einer eigenen Skala, die sich nicht in TVD oder MAE umrechnen lässt:

• Simile: Agenten reproduzieren die Umfrageantworten einzelner Personen mit etwa 85% der Konsistenz, die Menschen zwei Wochen später mit sich selbst zeigen (82% bis 86% je nach Datenquelle in der aktuellen Version des Preprints).
• Evidenza: "88% Genauigkeit", beschrieben als durchschnittliche Übereinstimmung zwischen synthetischer und traditioneller Forschung in mehr als 100 Validierungen.
• Synthetic Users: "Synthetic Organic Parity" von 85 bis 92%, ein gewichtetes Bewertungsschema für Interview-Inhalte.
• Electric Twin: zusätzlich zu den oben genannten 96%, 92% auf dem eigenen Vollverteilungs-Score (NDAM).

So lesen Sie die Zahlen

Zwei Metriken tauchen am häufigsten auf, und sie sind nicht austauschbar.

Total Variation Distance (TVD) liegt zwischen 0 und 1. Sie gibt den Anteil der Antwortverteilung an, der an der falschen Stelle liegt. Ein TVD von 0.05 bedeutet, dass fünf Punkte der Verteilung verschoben werden müssten, um das reale Ergebnis zu treffen.

Mean Absolute Error (MAE) ist der durchschnittliche Fehler pro Antwortoption in Prozentpunkten. Für dieselbe Prognose ist der MAE in der Regel deutlich kleiner als der TVD in Punkten ausgedrückt, weil der TVD die Fehler über alle Optionen summiert und der MAE sie mittelt. Ein MAE von 3.5 Punkten und ein TVD von 7.6 Punkten können dasselbe Ergebnis beschreiben.

Korrelationen brauchen ebenfalls eine Erläuterung. Eine Korrelation, die über alle Antwortoptionen aller Fragen gepoolt wird, ist für nahezu jede vernünftige Methode hoch, weil manche Optionen immer groß und andere immer klein sind. Eine Korrelation innerhalb jeder einzelnen Frage ist deutlich strenger. Wo wir unten eine gepoolte Korrelation angeben, sagen wir das ausdrücklich, für unsere Zahlen ebenso wie für die anderer Anbieter.

Fünfzehn Kategorien der Zielgruppensimulation

Käufer nutzen Zielgruppensimulation für sehr unterschiedliche Aufgaben, und ein System, das Wahlabsichten gut prognostiziert, hat damit noch nicht gezeigt, dass es auch Reaktionen auf Videowerbung vorhersagen kann. Wir gruppieren die Anwendungen in 15 Kategorien danach, was prognostiziert wird und was als Grundwahrheit gilt.

Die nächsten zwei Tabellen zeigen, wer in jeder Kategorie ein bewertetes Ergebnis veröffentlicht, Stand 1. November 2026. "Ja" bedeutet, dass mindestens ein öffentliches, bewertetes Ergebnis in dieser Kategorie vorliegt; die Abschnitte unten nennen die Daten dahinter. Art. Soc. steht für Artificial Societies, E. Twin für Electric Twin, Syn. Users für Synthetic Users.

Wie jede Genauigkeitsaussage zustande kam

Die Kategorie sagt Ihnen, was gemessen wurde. Die Bedingungen sagen Ihnen, wie verlässlich die Zahl ist.

Basierend auf den öffentlichen Materialien jedes Unternehmens, Stand 1. November 2026. Eine leere Zelle bedeutet, dass die veröffentlichte Aussage dies nicht belegt.

Ein retrospektiver Test führt ein System auf einer Umfrage aus, die bereits veröffentlicht wurde oder dem Anbieter vorliegt. Er ist für die Entwicklung nützlich, und jedes Team in diesem Bereich, einschließlich unseres, nutzt ihn. Seine Grenzen sind bekannt: Das Modell hat die Ergebnisse möglicherweise gesehen, die Auswahl der einzubeziehenden Fragen erfolgt mit Kenntnis der Antworten, und der Anbieter bewertet sich selbst.

Eine vorab festgeschriebene Prognose beseitigt diese Probleme. Die Prognose wird fixiert, bevor die Ergebnisse existieren, kann also nicht auf sie abgestimmt werden, und sie wird gegen Zahlen bewertet, die der Prognostiker nicht gesehen haben kann. Eine Festschreibung vor dem ersten Interview ist noch stärker, weil nichts über die Umfrage durchgesickert sein kann. Dies ist der Standard für Wahl- und Wirtschaftsprognosen, und es ist der Standard, den die Zielgruppensimulation erfüllen sollte.

Keiner der oben genannten Anbieter veröffentlicht ein laufendes Register von Umfrageprognosen, die vor Beginn der Befragung festgeschrieben und anschließend bewertet wurden. Aaru veröffentlichte eine Prognose der US-Präsidentschaftswahl 2024 am Tag vor der Wahl. Electric Twin finanzierte eine vorab registrierte akademische Studie unter der Leitung seines leitenden Wissenschaftsberaters an der LSE, in der synthetische Antworten mit sieben menschlichen Stichprobenerhebungsdiensten verglichen wurden. Das Partner-Whitepaper von Simile beschreibt interne Tests, die neue Ergebnisse vor der Feldarbeit antizipierten, ohne die Prognosen zu veröffentlichen. Unser Register veröffentlicht jede Prognose und jede Bewertung.

Wie das Minds Mosaic Prognose-Ledger funktioniert

Für jede Zielumfrage halten wir den genauen Fragetext, die Antwortoptionen und die Zielpopulation vor der Festschreibung fest. Minds Mosaic prognostiziert dann die vollständige Antwortverteilung jeder Frage. Jede Prognose wird gehasht, einem append-only-Register hinzugefügt, gebündelt und über OpenTimestamps auf der Bitcoin-Blockchain mit einem Zeitstempel versehen. Wenn der Herausgeber seine Ergebnisse veröffentlicht, bewerten wir jede festgeschriebene Prognose gegen die offizielle Veröffentlichung, einschließlich Fehlprognosen und Prognosen, die sich als nicht bewertbar herausstellen. Jede Umfrage trägt eine Evidenzklasse: vor Beginn der Feldarbeit festgeschrieben oder nach der Feldarbeit, aber vor jeder öffentlichen Veröffentlichung festgeschrieben.

Das Register ist bewusst schlicht gehalten. Unter forecasts.getminds.ai kann jeder es als gewöhnliche Dateien herunterladen: eine Markdown-README mit dem aktuellen Ergebnisstand, eine JSON-Datei pro festgeschriebener Prognose, die OpenTimestamps-Nachweise und ein Skript, das jeden Hash und Zeitstempel prüft. Die JSON-Dateien dienen gleichzeitig als maschinenlesbarer Feed, sodass jeder unser Register verifizieren oder neu bewerten kann, ohne uns zu fragen.

Dreizehn Umfragen haben bisher Ergebnisse veröffentlicht, die 77 Fragen in Österreich, Frankreich, Deutschland, Japan, Spanien, dem Vereinigten Königreich und den Vereinigten Staaten abdecken. Jede dieser Prognosen trägt einen verifizierten Bitcoin-Zeitstempel von vor der Veröffentlichung der Ergebnisse. Über sie hinweg beträgt der Verteilungsfehler von Mosaic 0.034, bei den 4 vor Beginn der Feldarbeit festgeschriebenen Umfragen 0.023.

Über alle 77 Fragen hinweg beträgt der durchschnittliche Fehler pro Antwortoption 1.37 Prozentpunkte, und die gepoolte Korrelation zwischen prognostizierten und tatsächlichen Antwortanteilen beträgt 0.993. Minds Mosaic prognostiziert mit allen öffentlich verfügbaren Informationen vor der Festschreibung, einschließlich früherer veröffentlichter Ergebnisse derselben Umfrage. Veröffentlichte Werte der Herausgeber verbleiben bei den Herausgebern: Das Register veröffentlicht unsere Prognosen und unsere Bewertungen. Die folgenden Kategorien schlüsseln diese Ergebnisse nach Anwendungsfall auf.

Politische Umfragen und öffentliche Meinung

Sieben der bewerteten Umfragen sind politische Umfragen und Meinungsumfragen in den Vereinigten Staaten und dem Vereinigten Königreich: The Economist/YouGov, YouGovs GB-Tracker, Emerson, NPR/PBS News/Marist, Reuters/Ipsos, Find Out Now und Opinium. Über ihre 24 Fragen hinweg haben die festgeschriebenen Prognosen von Mosaic einen TVD von 0.023 und einen durchschnittlichen Fehler pro Antwortoption von 1.10 Prozentpunkten. Die vier vor Beginn der Feldarbeit festgeschriebenen Umfragen fallen alle in diese Kategorie, mit 19 Fragen und einem TVD von 0.023.

Wir haben Minds Mosaic außerdem in der Social Simulation Arena angemeldet, einem unabhängigen akademischen Leaderboard, das vorab festgeschriebene Prognosen bewertet, mit Prognosen für die US-Zwischenwahlen 2026.

Andere veröffentlichte Ergebnisse in dieser Kategorie basieren auf unterschiedlichen Daten, daher listen wir sie auf, anstatt sie in einer Grafik darzustellen. Aaru berichtet einen durchschnittlichen Fehler pro Antwortoption von 2.21 Punkten bei 573 Fragen zu Politik, Politikgestaltung und öffentlichen Angelegenheiten aus seiner Replikationsstudie 2026, nach der Stichprobenanpassung, und veröffentlichte eine Prognose der US-Präsidentschaftswahl 2024. Unsere eigenen retrospektiven Studien zur ANES 2024 und CES 2024 berichten 8.33 bzw. 4.72 Punkte mittleren Verteilungsfehlers auf Ebene einzelner Befragter.

Wirtschaftsstimmung

Sechs der bewerteten Umfragen messen die Konsumentenstimmung: die harmonisierten Konsumentenbefragungen der Europäischen Kommission für Österreich, Frankreich, Deutschland und Spanien, Japans ESRI-Konsumklimaindex und den US-Index des Conference Board. Über ihre 53 Fragen hinweg hat Mosaic einen TVD von 0.039 und einen durchschnittlichen Fehler pro Antwortoption von 1.50 Punkten.

Festgeschriebene Prognosen für die University of Michigan-Umfrage, den Survey of Consumer Expectations der New York Fed und die November-Wellen der Konsumentenbefragungen stehen noch aus. Kein anderer hier betrachteter Anbieter veröffentlicht ein bewertetes Ergebnis in dieser Kategorie.

Soziale Einstellungen und Werte

Artificial Societies hat einen öffentlichen Benchmark mit sieben Umfragequellen und einem Bewertungsvertrag veröffentlicht, der in ihrem Paper arXiv 2609.30030 beschrieben wird. Wir haben Minds Mosaic nach einem Protokoll ausgeführt, das vor jedem Modellaufruf gehasht wurde, die Rohergebnisse vor der Bewertung versiegelt und ihre Daten sowie ihren Bewertungscode verwendet. Zwei Quellen stammen aus dem General Social Survey 2024.

Mosaic-Zahlen sind der Mittelwert aus drei Durchläufen; die Zahlen von Artificial Societies sind wie veröffentlicht. Mosaic erhielt eine Frage pro Anfrage, mit früheren öffentlichen Wellen des General Social Survey als beschrifteten Kontext. Mosaic prognostiziert die Verteilung der Gesamtstichprobe, während die veröffentlichten Zahlen von Artificial Societies aus der Simulation einzelner Befragter stammen.

Zwei weitere Ergebnisse in dieser Kategorie verwenden eigene Daten. Similes Agenten von 1.052 befragten Amerikanern reproduzieren die individuellen Antworten auf den General Social Survey mit etwa 85% der Konsistenz, die Menschen zwei Wochen später mit sich selbst zeigen. Unsere GSS 2024-Studie berichtet 7.53 Punkte mittleren Verteilungsfehlers über 17 Fragen und 360 gematchte Befragte.

Persönlichkeit und Psychometrie

Drei Quellen des Artificial Societies-Benchmarks messen Persönlichkeit statt Einstellungen. Dies ist keine der 15 Kategorien, daher berichten wir sie gesondert.

Mosaic, Mittelwert aus drei Durchläufen, weist den geringeren Fehler bei Facetten und beim Twin-Retest auf und liegt bei Merkmalen gleichauf.

Formulierungs- und Fragebogeneffekte

Zwei Quellen desselben Benchmarks sind Split-Ballot-Formulierungsexperimente: dieselbe Frage in zwei Versionen gestellt, um zu messen, wie stark sich die Antwort verschiebt.

Mosaic liegt beim Jordan-Experiment gleichauf, und Artificial Societies weist den geringeren Fehler bei Albertson auf. Mosaic prognostiziert die Richtung beider Verschiebungen und überschätzt deren Ausmaß. Formulierungseffekte sind eine andere Aufgabe als die Prognose einer Verteilung, weshalb wir sie als eigene Kategorie bewerten.

Subgruppen und Segmente

Subgruppen sind der Bereich, in dem synthetische Forschung am häufigsten eingesetzt wird und am häufigsten scheitert. Bei den 145 demografischen Subgruppen-Zellen der General Social Survey-Konfidenzitems im Benchmark von Artificial Societies weist Mosaic einen TVD von 0.053 gegenüber deren 0.063 auf.

Unser Register bewertet auch Subgruppen. Die Kreuztabellen von The Economist/YouGov und YouGov GB liefern 69 festgeschriebene Subgruppen-Zellen, etwa Antworten nach Altersgruppe, Partei oder Wahlverhalten 2024, bei denen Mosaic einen TVD von 0.046 aufweist.

Werbung, Video und Kreatives

Kein Anbieter hat bisher Ergebnisse auf denselben Kreativdaten veröffentlicht, daher gibt es in dieser Kategorie noch keinen direkten Vergleich. Electric Twin berichtet Korrelationen von 0.909 für Bilder und 0.861 für Video zwischen prognostizierten und tatsächlichen mittleren Likert-Werten auf dem eigenen Benchmark. In unserer Super Bowl-Studie bewerteten 100 fundiert simulierte Befragte alle 54 Werbespots im USA TODAY Ad Meter 2026 und reihten sie in enger Übereinstimmung mit dem menschlichen Panel ein, mit einer Spearman-Korrelation von 0.85.

Konzepte, Preisgestaltung und Marke

Veröffentlichte Ergebnisse hier basieren ebenfalls auf den eigenen Daten jedes Anbieters.

Offene Antworten und Verhalten

Synthetic Users bewertet Interview-Inhalte mit einem gewichteten Bewertungsschema, das als "Synthetic Organic Parity" bezeichnet wird, bei 85 bis 92%. Unsere Studie zu zurückgehaltenen Interview-Antworten testete, ob fundiert simulierte Befragte das widerspiegeln, was 22 reale Teilnehmer später in 66 Interview-Antworten sagten, und stellte einen klaren Gewinn durch Teilnehmer-Evidenz gegenüber generischem Prompting fest.

Für Verhalten gegenüber geäußerter Absicht verglich Aaru seine Marken-Rankings mit Kreditkarten-Kaufdaten und berichtet Übereinstimmung bei 92.4% der Markenpaare, gegenüber 77.8% für veröffentlichte Umfrage-Consideration, in derselben Replikationsstudie.

Der Benchmark von Artificial Societies insgesamt

Über alle sieben Quellen hinweg liegen Mosaic und Artificial Societies gleichauf. Nach der Konvention von Artificial Societies, dem ersten Durchlauf mit gleicher Gewichtung jeder Quelle, erzielt Mosaic 0.083 gegenüber deren 0.082; gemittelt über alle drei Durchläufe erzielt Mosaic 0.085. Mosaic weist bei fünf der sieben Quellen den geringeren Fehler auf. Ohne die zwei Formulierungsexperimente führt Mosaic mit 0.084 gegenüber 0.091 im Drei-Durchlauf-Mittel.

Wie ein fairer Benchmark aussehen sollte

Unsere Experimente der vergangenen zwei Monate, die veröffentlichten Zahlen des Feldes und unser Eintrag in einer öffentlichen Arena weisen alle auf dieselben vier Regeln hin.

1. Vor der Feldarbeit festschreiben. Eine Prognose, die vor dem ersten Interview fixiert wird, kann nicht auf die Antwort abgestimmt werden. Eine Festschreibung erst vor der Veröffentlichung ist schwächer, weil Ergebnisse manchmal durchsickern, sobald die Feldarbeit abgeschlossen ist. Halten Sie die tatsächlichen Feldarbeitsdaten und die Evidenzklasse jedes Ergebnisses fest.
2. Das Rauschen veröffentlichen. Selbst ein perfekter Prognostiker trägt Stichprobenfehler: etwa 0.024 TVD für eine Drei-Optionen-Frage bei einer Stichprobengröße von rund 1.200. Unterschiede kleiner als das sind ohne Intervalle nicht aussagekräftig.
3. Nach Anwendungskategorie und Stimulus berichten. Umfragen, Konsumentenstimmung, Werbung, Konzepte und Websites sind unterschiedliche Aufgaben, und Textfragen, Bilder, Video, Audio und interaktive Abläufe sind unterschiedliche Stimuli. Eine gepoolte Gesamtkennzahl sagt wenig über eine einzelne davon aus.
4. Nach Antworttyp aufschlüsseln. Einfachauswahl, Likert- und Ordinalskalen, Mehrfachauswahl, numerische Antworten, Rankings und Forced-Choice-Designs wie MaxDiff sowie offener Text benötigen jeweils eigene Metriken. Mehrfachauswahl-Optionen sollten als separate Ja/Nein-Anteile bewertet werden, Ordinalskalen mit einem reihenfolgebewussten Score, und offene Antworten mit Themenanteilen oder Embedding-Distanzen statt einem einzelnen Urteil.

Wir würden zwei praktische Regeln ergänzen: Berichten Sie jeden Durchlauf und die Streuung zwischen den Durchläufen, und geben Sie an, welche Korrelation berichtet wird, gepoolte oder innerhalb der Frage.

Weitere öffentliche Benchmarks, die es sich lohnt zu verfolgen

Noch kein einzelner Benchmark deckt das gesamte Feld ab. Dies sind die öffentlichen, die wir verfolgen, gruppiert nach der Art der Evidenz, die sie liefern.

Nur der erste bewertet Prognosen, die vor dem Eintreten des Ergebnisses gemacht wurden. Die anderen sind wertvoll für die Methodenentwicklung, und die meisten sind öffentlich, sodass jedes Team sie erneut ausführen kann. Ihre Items sind ebenfalls öffentlich, was bedeutet, dass ein Modell sie möglicherweise während des Trainings gesehen hat. Deshalb haben prospektive Ergebnisse das größte Gewicht.

Was als Nächstes kommt

Mehrere Kategorien haben noch kein öffentlich bewertetes Ergebnis von irgendjemandem: Botschaften und Texte, Website- und App-Verhalten sowie Medien- und Unterhaltungsnachfrage. Andere stützen sich auf eine einzige Studie. Das ist offenes Terrain, und das vorab festgeschriebene Register ist der Weg, wie wir es füllen werden: Prognose festschreiben, auf das reale Ergebnis warten, Bewertung veröffentlichen.

Minds Mosaic ist in der Social Simulation Arena als minds-mosaic angemeldet, mit vorab versiegelten Prognosen für die US-Zwischenwahlen 2026 und für wöchentliche Umfragerunden, die ab November aufgelöst werden. Wir werden unserem Prognose-Ledger weiterhin Umfragen hinzufügen, jedes Ergebnis bei seiner Auflösung veröffentlichen und es nach Kategorie und im Verhältnis zum Rauschen berichten. Wir führen außerdem das veröffentlichte Protokoll von Aaru auf neuen Studien aus dem Jahr 2026 aus.

Minds Mosaic ist unser Frontier-Modell für Zielgruppensimulation: Geben Sie ihm eine Population und eine Frage, und es prognostiziert die vollständige Antwortverteilung, bevor die reale existiert. Veröffentlichte Umfragen sind der erste Test. Als Nächstes wird Mosaic am Verhalten gemessen: Prognosen von Käufen und Sehgewohnheiten, bewertet daran, was Menschen tatsächlich gekauft und gesehen haben. Es wird außerdem an den offenen Kategorien oben und in den Arena-Runden gemessen, die in den kommenden Monaten aufgelöst werden, jede einzelne vor dem Ergebnis festgeschrieben und öffentlich bewertet.

Wenn Sie Genauigkeitszahlen für ein Zielgruppensimulationsmodell veröffentlichen, würden wir einen gemeinsamen, vorab festgeschriebenen Test in einer dieser Kategorien begrüßen. Es ist der schnellste Weg für diese Kategorie, das Vertrauen der Menschen zu gewinnen, die Forschung kaufen.