--- title: "Minds Mosaic: An der Spitze der Zielgruppensimulation" description: "Minds Mosaic, unser Frontier-Modell für Zielgruppensimulation, prognostiziert Umfrageergebnisse, bevor die Befragung beginnt. Kategorie für Kategorie bewertet." canonical_url: "https://getminds.ai/research/de/introducing-minds-mosaic" last_updated: "2026-11-15T00:49:40.521Z" --- # Minds Mosaic: An der Spitze der Zielgruppensimulation Minds Mosaic ist unser Frontier-Modell für Zielgruppensimulation. Geben Sie eine definierte Zielpopulation und eine Umfragefrage vor, prognostiziert es die vollständige Antwortverteilung über alle Antwortoptionen hinweg, bevor die Befragung überhaupt beginnt. Eine solche Prognose ist nur dann etwas wert, wenn sie sich an realen Ergebnissen messen lässt. Deshalb messen wir Mosaic öffentlich. Jede Prognose wird vorab festgeschrieben und mit einem Zeitstempel versehen, bevor der Herausgeber seine Ergebnisse veröffentlicht. Jedes Ergebnis, einschließlich der Fehlprognosen, fließt in ein öffentliches Register ein. Wir haben Mosaic in einer unabhängigen Arena angemeldet, die vorab festgeschriebene Prognosen bewertet, und haben es direkt am eigenen öffentlichen Benchmark eines Mitbewerbers gemessen. Inzwischen veröffentlicht jeder Anbieter synthetischer Befragungsteilnehmer eine Genauigkeitszahl, doch diese Zahlen basieren auf unterschiedlichen Daten, unterschiedlichen Metriken und unterschiedlichen Bedingungen. Dieser Beitrag beginnt mit der Gesamtzahl jedes Anbieters, ordnet die veröffentlichten Ergebnisse dann in die Anwendungsfälle ein, die Käufer tatsächlich nutzen, und vergleicht Zahlen direkt miteinander, wo sie auf denselben Daten gemessen wurden. ## Die Kurzfassung - Wir unterteilen die Zielgruppensimulation in 15 Anwendungskategorien, von politischen Umfragen bis hin zu Werbung und offenen Interviews, und vergleichen Zahlen nur innerhalb einer Kategorie und auf denselben Daten direkt miteinander. - Bei politischen Umfragen und Meinungsumfragen zeigen die vorab festgeschriebenen Prognosen von Minds Mosaic einen Verteilungsfehler (TVD) von 0.023 über 24 Fragen aus 7 Umfragen. Bei Wirtschaftsstimmungsumfragen liegt er bei 0.039 über 53 Fragen aus 6 Umfragen. - Auf dem eigenen öffentlichen Benchmark von Artificial Societies weist Mosaic den geringeren Fehler bei beiden Quellen zu sozialen Einstellungen auf, bei zwei von drei Persönlichkeitsquellen sowie bei demografischen Subgruppen (0.053 gegenüber 0.063). Insgesamt liegen beide nach der Konvention von Artificial Societies gleichauf: 0.083 gegenüber 0.082. - Keiner der hier betrachteten Anbieter veröffentlicht ein laufendes Register von Umfrageprognosen, die vor Beginn der Befragung festgeschrieben und anschließend bewertet wurden. Unser Register ist öffentlich zugänglich unter [forecasts.getminds.ai](https://forecasts.getminds.ai): einfache Markdown- und JSON-Dateien, Zeitstempelnachweise und ein Skript zur Verifikation. ## Gesamtgenauigkeit über alle Kategorien Minds Mosaic und zwei weitere Anbieter veröffentlichen einen Gesamt-Verteilungsfehler (TVD), der alle getesteten Kategorien zusammenfasst. Niedrigere Werte sind besser; der nächste Abschnitt erläutert die Metrik. Die Tabelle nennt die Daten und die Quelle hinter jeder Zahl, mit dem durchschnittlichen Fehler pro Antwortoption (MAE) und der gepoolten Korrelation, sofern der Anbieter sie veröffentlicht.
Anbieter TVD MAE (Punkte) Pearson r, gepoolt Daten und Quelle
Minds Mosaic 0.034 1.37 0.993 77 Fragen aus 13 Umfragen, vorab festgeschrieben, bevor Ergebnisse öffentlich waren ( Prognose-Ledger ). Minds Mosaic prognostiziert mit allen öffentlich verfügbaren Informationen vor der Festschreibung, einschließlich früherer veröffentlichter Ergebnisse derselben Umfrage.
Aaru 0.076 3.53 0.970 2.993 Fragen aus 186 veröffentlichten Studien, vor Stichprobenanpassung ( Studie , Zusammenfassung )
Artificial Societies 0.080 Sieben öffentliche Studien, der unten beschriebene Benchmark ( Paper )
Electric Twin 4.00 280 Datensätze; veröffentlicht als 96%, definiert als 1 minus MAE ( Genauigkeit )
Vier Unternehmen veröffentlichen ihre Kennzahl auf einer eigenen Skala, die sich nicht in TVD oder MAE umrechnen lässt: - *Simile:* Agenten reproduzieren die Umfrageantworten einzelner Personen mit etwa 85% der Konsistenz, die Menschen zwei Wochen später mit sich selbst zeigen (82% bis 86% je nach Datenquelle in der aktuellen Version des Preprints). - *Evidenza:* "88% Genauigkeit", beschrieben als durchschnittliche Übereinstimmung zwischen synthetischer und traditioneller Forschung in mehr als 100 Validierungen. - *Synthetic Users:* "Synthetic Organic Parity" von 85 bis 92%, ein gewichtetes Bewertungsschema für Interview-Inhalte. - *Electric Twin:* zusätzlich zu den oben genannten 96%, 92% auf dem eigenen Vollverteilungs-Score (NDAM). ## So lesen Sie die Zahlen Zwei Metriken tauchen am häufigsten auf, und sie sind nicht austauschbar. *Total Variation Distance (TVD)* liegt zwischen 0 und 1. Sie gibt den Anteil der Antwortverteilung an, der an der falschen Stelle liegt. Ein TVD von 0.05 bedeutet, dass fünf Punkte der Verteilung verschoben werden müssten, um das reale Ergebnis zu treffen. *Mean Absolute Error (MAE)* ist der durchschnittliche Fehler pro Antwortoption in Prozentpunkten. Für dieselbe Prognose ist der MAE in der Regel deutlich kleiner als der TVD in Punkten ausgedrückt, weil der TVD die Fehler über alle Optionen summiert und der MAE sie mittelt. Ein MAE von 3.5 Punkten und ein TVD von 7.6 Punkten können dasselbe Ergebnis beschreiben. Korrelationen brauchen ebenfalls eine Erläuterung. Eine Korrelation, die über alle Antwortoptionen aller Fragen gepoolt wird, ist für nahezu jede vernünftige Methode hoch, weil manche Optionen immer groß und andere immer klein sind. Eine Korrelation innerhalb jeder einzelnen Frage ist deutlich strenger. Wo wir unten eine gepoolte Korrelation angeben, sagen wir das ausdrücklich, für unsere Zahlen ebenso wie für die anderer Anbieter. ## Fünfzehn Kategorien der Zielgruppensimulation Käufer nutzen Zielgruppensimulation für sehr unterschiedliche Aufgaben, und ein System, das Wahlabsichten gut prognostiziert, hat damit noch nicht gezeigt, dass es auch Reaktionen auf Videowerbung vorhersagen kann. Wir gruppieren die Anwendungen in 15 Kategorien danach, was prognostiziert wird und was als Grundwahrheit gilt.
Kategorie Was prognostiziert wird Grundwahrheit Hauptmetrik
Politische Umfragen und öffentliche Meinung Wahlabsicht, Zustimmung, Themen Veröffentlichte Umfragen, Wahlergebnisse TVD auf Anteile, Punkte auf Margen
Wirtschaftsstimmung Konsumklima, Inflationserwartung EC, Michigan, NY Fed, Konsumenten-Tracker TVD
Soziale Einstellungen und Werte Vertrauen, Religion, Familie, Wohlbefinden GSS, ESS, WVS TVD
Konzept- und Produkttests Attraktivität, Kaufabsicht Konzepttests TVD, Rangübereinstimmung
Visuelle und kreative Tests Reaktionen auf Bilder und Designs Kreativtests Korrelation, Rangübereinstimmung
Werbung und Video Werbebeliebtheit und -wirkung Werbetests, Werbung-Rankings Rangübereinstimmung
Preisgestaltung und Zahlungsbereitschaft Preisakzeptanz, Nachfragekurven Preisstudien, Umsatz Fehler auf Anteile
Botschaften und Texte Welche Botschaft gewinnt Botschaftstests Rangübereinstimmung
Website- und App-Verhalten Klicks, Aufgabenerfolg Analysen, Usability-Tests Verhaltensfehler
Marke und Reputation Bekanntheit, Wahrnehmung Marken-Tracker TVD
Medien- und Unterhaltungsnachfrage Sehen, Hören, Besuche Einschaltquoten, Kinokassen Fehler auf Nachfrage
Formulierungs- und Fragebogeneffekte Verschiebungen durch Frageformulierung Split-Ballot-Tests Effektfehler
Subgruppen und Segmente Antworten nach Alter, Partei, Region Kreuztabellen TVD über Zellen
Offene und qualitative Antworten Themen und Gründe in Freitext Interviews, offene Antworten Themenanteile, beurteilte Treue
Verhalten vs. geäußerte Absicht Was Menschen tun, nicht was sie sagen Kauf- und Verhaltensdaten Übereinstimmung mit Verhalten
Die nächsten zwei Tabellen zeigen, wer in jeder Kategorie ein bewertetes Ergebnis veröffentlicht, Stand 1. November 2026. "Ja" bedeutet, dass mindestens ein öffentliches, bewertetes Ergebnis in dieser Kategorie vorliegt; die Abschnitte unten nennen die Daten dahinter. Art. Soc. steht für Artificial Societies, E. Twin für Electric Twin, Syn. Users für Synthetic Users.
Kategorie Minds Aaru Art. Soc. E. Twin
Politische Umfragen und öffentliche Meinung Ja Ja
Wirtschaftsstimmung Ja
Soziale Einstellungen und Werte Ja Ja
Konzept- und Produkttests Ja
Visuelle und kreative Tests Ja
Werbung und Video Ja Ja
Preisgestaltung und Zahlungsbereitschaft Ja
Botschaften und Texte
Website- und App-Verhalten
Marke und Reputation Ja
Medien- und Unterhaltungsnachfrage
Formulierungs- und Fragebogeneffekte Ja Ja
Subgruppen und Segmente Ja Ja
Offene und qualitative Antworten Ja
Verhalten vs. geäußerte Absicht Ja
Kategorie Simile Evidenza Syn. Users Qualtrics
Politische Umfragen und öffentliche Meinung
Wirtschaftsstimmung
Soziale Einstellungen und Werte Ja
Konzept- und Produkttests
Visuelle und kreative Tests
Werbung und Video
Preisgestaltung und Zahlungsbereitschaft
Botschaften und Texte
Website- und App-Verhalten
Marke und Reputation Ja
Medien- und Unterhaltungsnachfrage
Formulierungs- und Fragebogeneffekte
Subgruppen und Segmente
Offene und qualitative Antworten Ja
Verhalten vs. geäußerte Absicht
## Wie jede Genauigkeitsaussage zustande kam Die Kategorie sagt Ihnen, was gemessen wurde. Die Bedingungen sagen Ihnen, wie verlässlich die Zahl ist.
System Vor Ergebnissen festgeschrieben Zeitstempelnachweis An ungesehenen Ergebnissen bewertet Methode veröffentlicht
Minds Mosaic Ja Ja Ja Ja
Aaru Ja
Artificial Societies Ja
Electric Twin Ja
Simile Ja
Evidenza
Synthetic Users Ja
Qualtrics Edge Audiences Ja
Basierend auf den öffentlichen Materialien jedes Unternehmens, Stand 1. November 2026. Eine leere Zelle bedeutet, dass die veröffentlichte Aussage dies nicht belegt. Ein retrospektiver Test führt ein System auf einer Umfrage aus, die bereits veröffentlicht wurde oder dem Anbieter vorliegt. Er ist für die Entwicklung nützlich, und jedes Team in diesem Bereich, einschließlich unseres, nutzt ihn. Seine Grenzen sind bekannt: Das Modell hat die Ergebnisse möglicherweise gesehen, die Auswahl der einzubeziehenden Fragen erfolgt mit Kenntnis der Antworten, und der Anbieter bewertet sich selbst. Eine vorab festgeschriebene Prognose beseitigt diese Probleme. Die Prognose wird fixiert, bevor die Ergebnisse existieren, kann also nicht auf sie abgestimmt werden, und sie wird gegen Zahlen bewertet, die der Prognostiker nicht gesehen haben kann. Eine Festschreibung vor dem ersten Interview ist noch stärker, weil nichts über die Umfrage durchgesickert sein kann. Dies ist der Standard für Wahl- und Wirtschaftsprognosen, und es ist der Standard, den die Zielgruppensimulation erfüllen sollte. Keiner der oben genannten Anbieter veröffentlicht ein laufendes Register von Umfrageprognosen, die vor Beginn der Befragung festgeschrieben und anschließend bewertet wurden. Aaru [veröffentlichte eine Prognose der US-Präsidentschaftswahl 2024](https://www.semafor.com/article/11/04/2024/an-ai-polling-startup-polls-bots-predicts-harris-will-win) am Tag vor der Wahl. Electric Twin finanzierte eine vorab registrierte akademische Studie unter der Leitung seines leitenden Wissenschaftsberaters an der LSE, in der synthetische Antworten mit sieben menschlichen Stichprobenerhebungsdiensten verglichen wurden. Das [Partner-Whitepaper](https://www.cvshealth.com/content/dam/enterprise/cvs-enterprise/pdfs/2026/CVS_WhitepaperCVSxSimile.pdf) von Simile beschreibt interne Tests, die neue Ergebnisse vor der Feldarbeit antizipierten, ohne die Prognosen zu veröffentlichen. Unser Register veröffentlicht jede Prognose und jede Bewertung. ## Wie das Minds Mosaic Prognose-Ledger funktioniert Für jede Zielumfrage halten wir den genauen Fragetext, die Antwortoptionen und die Zielpopulation vor der Festschreibung fest. Minds Mosaic prognostiziert dann die vollständige Antwortverteilung jeder Frage. Jede Prognose wird gehasht, einem append-only-Register hinzugefügt, gebündelt und über OpenTimestamps auf der Bitcoin-Blockchain mit einem Zeitstempel versehen. Wenn der Herausgeber seine Ergebnisse veröffentlicht, bewerten wir jede festgeschriebene Prognose gegen die offizielle Veröffentlichung, einschließlich Fehlprognosen und Prognosen, die sich als nicht bewertbar herausstellen. Jede Umfrage trägt eine Evidenzklasse: vor Beginn der Feldarbeit festgeschrieben oder nach der Feldarbeit, aber vor jeder öffentlichen Veröffentlichung festgeschrieben. Das Register ist bewusst schlicht gehalten. Unter [forecasts.getminds.ai](https://forecasts.getminds.ai) kann jeder es als gewöhnliche Dateien herunterladen: eine Markdown-README mit dem aktuellen Ergebnisstand, eine JSON-Datei pro festgeschriebener Prognose, die OpenTimestamps-Nachweise und ein Skript, das jeden Hash und Zeitstempel prüft. Die JSON-Dateien dienen gleichzeitig als maschinenlesbarer Feed, sodass jeder unser Register verifizieren oder neu bewerten kann, ohne uns zu fragen.
Minds Mosaic Prognose-Ledger, Stand 1. November 2026 Anzahl
Vor Veröffentlichung der Ergebnisse festgeschriebene Umfragen 45
Davon vor Beginn der Feldarbeit festgeschrieben 28
Bisher bewertete Umfragen 13
Länder 8
Dreizehn Umfragen haben bisher Ergebnisse veröffentlicht, die 77 Fragen in Österreich, Frankreich, Deutschland, Japan, Spanien, dem Vereinigten Königreich und den Vereinigten Staaten abdecken. Jede dieser Prognosen trägt einen verifizierten Bitcoin-Zeitstempel von vor der Veröffentlichung der Ergebnisse. Über sie hinweg beträgt der Verteilungsfehler von Mosaic 0.034, bei den 4 vor Beginn der Feldarbeit festgeschriebenen Umfragen 0.023. Über alle 77 Fragen hinweg beträgt der durchschnittliche Fehler pro Antwortoption 1.37 Prozentpunkte, und die gepoolte Korrelation zwischen prognostizierten und tatsächlichen Antwortanteilen beträgt 0.993. Minds Mosaic prognostiziert mit allen öffentlich verfügbaren Informationen vor der Festschreibung, einschließlich früherer veröffentlichter Ergebnisse derselben Umfrage. Veröffentlichte Werte der Herausgeber verbleiben bei den Herausgebern: Das Register veröffentlicht unsere Prognosen und unsere Bewertungen. Die folgenden Kategorien schlüsseln diese Ergebnisse nach Anwendungsfall auf. ## Politische Umfragen und öffentliche Meinung Sieben der bewerteten Umfragen sind politische Umfragen und Meinungsumfragen in den Vereinigten Staaten und dem Vereinigten Königreich: The Economist/YouGov, YouGovs GB-Tracker, Emerson, NPR/PBS News/Marist, Reuters/Ipsos, Find Out Now und Opinium. Über ihre 24 Fragen hinweg haben die festgeschriebenen Prognosen von Mosaic einen TVD von 0.023 und einen durchschnittlichen Fehler pro Antwortoption von 1.10 Prozentpunkten. Die vier vor Beginn der Feldarbeit festgeschriebenen Umfragen fallen alle in diese Kategorie, mit 19 Fragen und einem TVD von 0.023. Wir haben Minds Mosaic außerdem in der [Social Simulation Arena](https://social-simulation-arena.com) angemeldet, einem unabhängigen akademischen Leaderboard, das vorab festgeschriebene Prognosen bewertet, mit Prognosen für die US-Zwischenwahlen 2026. Andere veröffentlichte Ergebnisse in dieser Kategorie basieren auf unterschiedlichen Daten, daher listen wir sie auf, anstatt sie in einer Grafik darzustellen. Aaru berichtet einen durchschnittlichen Fehler pro Antwortoption von 2.21 Punkten bei 573 Fragen zu Politik, Politikgestaltung und öffentlichen Angelegenheiten aus seiner [Replikationsstudie 2026](https://aaru.com/publications/population-simulation-at-the-replication-floor-research), nach der Stichprobenanpassung, und veröffentlichte eine Prognose der US-Präsidentschaftswahl 2024. Unsere eigenen retrospektiven Studien zur [ANES 2024](/research/anes-2024-synthetic-survey-validation) und [CES 2024](/research/ces-2024-synthetic-survey-validation) berichten 8.33 bzw. 4.72 Punkte mittleren Verteilungsfehlers auf Ebene einzelner Befragter. ## Wirtschaftsstimmung Sechs der bewerteten Umfragen messen die Konsumentenstimmung: die harmonisierten Konsumentenbefragungen der Europäischen Kommission für Österreich, Frankreich, Deutschland und Spanien, Japans ESRI-Konsumklimaindex und den US-Index des Conference Board. Über ihre 53 Fragen hinweg hat Mosaic einen TVD von 0.039 und einen durchschnittlichen Fehler pro Antwortoption von 1.50 Punkten. Festgeschriebene Prognosen für die University of Michigan-Umfrage, den Survey of Consumer Expectations der New York Fed und die November-Wellen der Konsumentenbefragungen stehen noch aus. Kein anderer hier betrachteter Anbieter veröffentlicht ein bewertetes Ergebnis in dieser Kategorie. ## Soziale Einstellungen und Werte Artificial Societies hat einen [öffentlichen Benchmark](https://societies.ai/as-benchmark) mit sieben Umfragequellen und einem Bewertungsvertrag veröffentlicht, der in ihrem Paper [arXiv 2609.30030](https://arxiv.org/abs/2609.30030v2) beschrieben wird. Wir haben Minds Mosaic nach einem Protokoll ausgeführt, das vor jedem Modellaufruf gehasht wurde, die Rohergebnisse vor der Bewertung versiegelt und ihre Daten sowie ihren Bewertungscode verwendet. Zwei Quellen stammen aus dem General Social Survey 2024.
GSS 2024-Quelle, TVD Minds Mosaic Artificial Societies
Vertrauen in Institutionen 0.035 0.042
Interpersonales Vertrauen 0.052 0.058
Mosaic-Zahlen sind der Mittelwert aus drei Durchläufen; die Zahlen von Artificial Societies sind wie veröffentlicht. Mosaic erhielt eine Frage pro Anfrage, mit früheren öffentlichen Wellen des General Social Survey als beschrifteten Kontext. Mosaic prognostiziert die Verteilung der Gesamtstichprobe, während die veröffentlichten Zahlen von Artificial Societies aus der Simulation einzelner Befragter stammen. Zwei weitere Ergebnisse in dieser Kategorie verwenden eigene Daten. Similes Agenten von [1.052 befragten Amerikanern](https://arxiv.org/abs/2411.10109) reproduzieren die individuellen Antworten auf den General Social Survey mit etwa 85% der Konsistenz, die Menschen zwei Wochen später mit sich selbst zeigen. Unsere [GSS 2024-Studie](/research/gss-2024-synthetic-survey-validation) berichtet 7.53 Punkte mittleren Verteilungsfehlers über 17 Fragen und 360 gematchte Befragte. ## Persönlichkeit und Psychometrie Drei Quellen des Artificial Societies-Benchmarks messen Persönlichkeit statt Einstellungen. Dies ist keine der 15 Kategorien, daher berichten wir sie gesondert.
Quelle, TVD Minds Mosaic Artificial Societies
SAPA-Persönlichkeitsmerkmale 0.091 0.090
SAPA-Persönlichkeitsfacetten 0.103 0.117
Twin-Retest 0.138 0.147
Mosaic, Mittelwert aus drei Durchläufen, weist den geringeren Fehler bei Facetten und beim Twin-Retest auf und liegt bei Merkmalen gleichauf. ## Formulierungs- und Fragebogeneffekte Zwei Quellen desselben Benchmarks sind Split-Ballot-Formulierungsexperimente: dieselbe Frage in zwei Versionen gestellt, um zu messen, wie stark sich die Antwort verschiebt.
Formulierungsexperiment, TVD Minds Mosaic Artificial Societies
Jordan 0.095 0.096
Albertson 0.078 0.025
Mosaic liegt beim Jordan-Experiment gleichauf, und Artificial Societies weist den geringeren Fehler bei Albertson auf. Mosaic prognostiziert die Richtung beider Verschiebungen und überschätzt deren Ausmaß. Formulierungseffekte sind eine andere Aufgabe als die Prognose einer Verteilung, weshalb wir sie als eigene Kategorie bewerten. ## Subgruppen und Segmente Subgruppen sind der Bereich, in dem synthetische Forschung am häufigsten eingesetzt wird und am häufigsten scheitert. Bei den 145 demografischen Subgruppen-Zellen der General Social Survey-Konfidenzitems im Benchmark von Artificial Societies weist Mosaic einen TVD von 0.053 gegenüber deren 0.063 auf. Unser Register bewertet auch Subgruppen. Die Kreuztabellen von The Economist/YouGov und YouGov GB liefern 69 festgeschriebene Subgruppen-Zellen, etwa Antworten nach Altersgruppe, Partei oder Wahlverhalten 2024, bei denen Mosaic einen TVD von 0.046 aufweist. ## Werbung, Video und Kreatives Kein Anbieter hat bisher Ergebnisse auf denselben Kreativdaten veröffentlicht, daher gibt es in dieser Kategorie noch keinen direkten Vergleich. Electric Twin berichtet Korrelationen von [0.909 für Bilder und 0.861 für Video](https://48129355.fs1.hubspotusercontent-na1.net/hubfs/48129355/Accuracy%20Whitepaper_General.pdf) zwischen prognostizierten und tatsächlichen mittleren Likert-Werten auf dem eigenen Benchmark. In unserer [Super Bowl-Studie](/research/super-bowl-2026-ad-preferences) bewerteten 100 fundiert simulierte Befragte alle 54 Werbespots im USA TODAY Ad Meter 2026 und reihten sie in enger Übereinstimmung mit dem menschlichen Panel ein, mit einer Spearman-Korrelation von 0.85. ## Konzepte, Preisgestaltung und Marke Veröffentlichte Ergebnisse hier basieren ebenfalls auf den eigenen Daten jedes Anbieters.
Kategorie Anbieter Veröffentlichtes Ergebnis Daten
Konzept-, Produkt- und Preistests Aaru MAE 3.75 Punkte, nach Stichprobenanpassung Replikationsstudie 2026, Produkt- und Preisfragen
Marke und Reputation Aaru MAE 2.73 Punkte, nach Stichprobenanpassung Dieselbe Studie, Markengesundheitsfragen
Marke und Reputation Qualtrics Cohen's d 0.07 Eine Replikation , 8 Einstellungsfragen zu Technologieprodukten
## Offene Antworten und Verhalten Synthetic Users bewertet Interview-Inhalte mit einem [gewichteten Bewertungsschema](https://www.syntheticusers.com/science-posts/how-we-measure-success), das als "Synthetic Organic Parity" bezeichnet wird, bei 85 bis 92%. Unsere [Studie zu zurückgehaltenen Interview-Antworten](/research/held-out-interview-response-validation) testete, ob fundiert simulierte Befragte das widerspiegeln, was 22 reale Teilnehmer später in 66 Interview-Antworten sagten, und stellte einen klaren Gewinn durch Teilnehmer-Evidenz gegenüber generischem Prompting fest. Für Verhalten gegenüber geäußerter Absicht verglich Aaru seine Marken-Rankings mit Kreditkarten-Kaufdaten und berichtet Übereinstimmung bei 92.4% der Markenpaare, gegenüber 77.8% für veröffentlichte Umfrage-Consideration, in derselben [Replikationsstudie](https://aaru.com/publications/population-simulation-at-the-replication-floor-research). ## Der Benchmark von Artificial Societies insgesamt Über alle sieben Quellen hinweg liegen Mosaic und Artificial Societies gleichauf. Nach der Konvention von Artificial Societies, dem ersten Durchlauf mit gleicher Gewichtung jeder Quelle, erzielt Mosaic 0.083 gegenüber deren 0.082; gemittelt über alle drei Durchläufe erzielt Mosaic 0.085. Mosaic weist bei fünf der sieben Quellen den geringeren Fehler auf. Ohne die zwei Formulierungsexperimente führt Mosaic mit 0.084 gegenüber 0.091 im Drei-Durchlauf-Mittel.
Benchmark-Zusammenfassung, TVD Minds Mosaic Artificial Societies
Sieben Quellen, ihre Konvention 0.083 0.082
Fünf Quellen ohne Formulierungsexperimente 0.084 0.091
## Wie ein fairer Benchmark aussehen sollte Unsere Experimente der vergangenen zwei Monate, die veröffentlichten Zahlen des Feldes und unser Eintrag in einer öffentlichen Arena weisen alle auf dieselben vier Regeln hin. 1. *Vor der Feldarbeit festschreiben.* Eine Prognose, die vor dem ersten Interview fixiert wird, kann nicht auf die Antwort abgestimmt werden. Eine Festschreibung erst vor der Veröffentlichung ist schwächer, weil Ergebnisse manchmal durchsickern, sobald die Feldarbeit abgeschlossen ist. Halten Sie die tatsächlichen Feldarbeitsdaten und die Evidenzklasse jedes Ergebnisses fest. 2. *Das Rauschen veröffentlichen.* Selbst ein perfekter Prognostiker trägt Stichprobenfehler: etwa 0.024 TVD für eine Drei-Optionen-Frage bei einer Stichprobengröße von rund 1.200. Unterschiede kleiner als das sind ohne Intervalle nicht aussagekräftig. 3. *Nach Anwendungskategorie und Stimulus berichten.* Umfragen, Konsumentenstimmung, Werbung, Konzepte und Websites sind unterschiedliche Aufgaben, und Textfragen, Bilder, Video, Audio und interaktive Abläufe sind unterschiedliche Stimuli. Eine gepoolte Gesamtkennzahl sagt wenig über eine einzelne davon aus. 4. *Nach Antworttyp aufschlüsseln.* Einfachauswahl, Likert- und Ordinalskalen, Mehrfachauswahl, numerische Antworten, Rankings und Forced-Choice-Designs wie MaxDiff sowie offener Text benötigen jeweils eigene Metriken. Mehrfachauswahl-Optionen sollten als separate Ja/Nein-Anteile bewertet werden, Ordinalskalen mit einem reihenfolgebewussten Score, und offene Antworten mit Themenanteilen oder Embedding-Distanzen statt einem einzelnen Urteil. Wir würden zwei praktische Regeln ergänzen: Berichten Sie jeden Durchlauf und die Streuung zwischen den Durchläufen, und geben Sie an, welche Korrelation berichtet wird, gepoolte oder innerhalb der Frage. ## Weitere öffentliche Benchmarks, die es sich lohnt zu verfolgen Noch kein einzelner Benchmark deckt das gesamte Feld ab. Dies sind die öffentlichen, die wir verfolgen, gruppiert nach der Art der Evidenz, die sie liefern.
Benchmark Was er misst Evidenztyp
Social Simulation Arena Prognosen bevorstehender Umfragen und Wirtschaftserhebungen, vor Veröffentlichung versiegelt Prospektiv, unabhängiges akademisches Team ( Code )
Artificial Societies Benchmark Verteilungsfehler auf sieben öffentlichen Studien, einschließlich Formulierungsexperimenten Retrospektiv, öffentliche Aufgaben und Code, von einem Anbieter erstellt ( Paper )
SimBench Anpassung an menschliche Antwortverteilungen über viele Umfrage- und Verhaltensdatensätze Retrospektiv, akademisch
OpinionQA Anpassung an US-Meinungsgruppen auf Fragen des Pew American Trends Panel Retrospektiv, akademisch ( Code )
GlobalOpinionQA Wessen Ansichten Modelle widerspiegeln, aus länderübergreifenden Umfragen Retrospektiv, akademisch ( Daten )
SubPOP Meinungsverteilungen für Teilpopulationen Retrospektiv, akademisch
Twin-2K-500 Digitale Zwillinge von über 2.000 Personen, die 500+ Fragen beantworten Retrospektiv, akademisch, Retest-Stil
Agents of 1,052 people Individuelle Antworten gegen den eigenen Zwei-Wochen-Retest jeder Person Retrospektiv, akademisch
Predicting social science experiments Richtung und Größe von Effekten in Umfrageexperimenten Retrospektiv, mit einigen unveröffentlichten Studien
Nur der erste bewertet Prognosen, die vor dem Eintreten des Ergebnisses gemacht wurden. Die anderen sind wertvoll für die Methodenentwicklung, und die meisten sind öffentlich, sodass jedes Team sie erneut ausführen kann. Ihre Items sind ebenfalls öffentlich, was bedeutet, dass ein Modell sie möglicherweise während des Trainings gesehen hat. Deshalb haben prospektive Ergebnisse das größte Gewicht. ## Was als Nächstes kommt Mehrere Kategorien haben noch kein öffentlich bewertetes Ergebnis von irgendjemandem: Botschaften und Texte, Website- und App-Verhalten sowie Medien- und Unterhaltungsnachfrage. Andere stützen sich auf eine einzige Studie. Das ist offenes Terrain, und das vorab festgeschriebene Register ist der Weg, wie wir es füllen werden: Prognose festschreiben, auf das reale Ergebnis warten, Bewertung veröffentlichen. Minds Mosaic ist in der [Social Simulation Arena](https://social-simulation-arena.com) als minds-mosaic angemeldet, mit vorab versiegelten Prognosen für die US-Zwischenwahlen 2026 und für wöchentliche Umfragerunden, die ab November aufgelöst werden. Wir werden unserem [Prognose-Ledger](https://forecasts.getminds.ai) weiterhin Umfragen hinzufügen, jedes Ergebnis bei seiner Auflösung veröffentlichen und es nach Kategorie und im Verhältnis zum Rauschen berichten. Wir führen außerdem das veröffentlichte Protokoll von Aaru auf neuen Studien aus dem Jahr 2026 aus. Minds Mosaic ist unser Frontier-Modell für Zielgruppensimulation: Geben Sie ihm eine Population und eine Frage, und es prognostiziert die vollständige Antwortverteilung, bevor die reale existiert. Veröffentlichte Umfragen sind der erste Test. Als Nächstes wird Mosaic am Verhalten gemessen: Prognosen von Käufen und Sehgewohnheiten, bewertet daran, was Menschen tatsächlich gekauft und gesehen haben. Es wird außerdem an den offenen Kategorien oben und in den Arena-Runden gemessen, die in den kommenden Monaten aufgelöst werden, jede einzelne vor dem Ergebnis festgeschrieben und öffentlich bewertet. Wenn Sie Genauigkeitszahlen für ein Zielgruppensimulationsmodell veröffentlichen, würden wir einen gemeinsamen, vorab festgeschriebenen Test in einer dieser Kategorien begrüßen. Es ist der schnellste Weg für diese Kategorie, das Vertrauen der Menschen zu gewinnen, die Forschung kaufen.