Synthetische Marktforschung wird validiert, indem einer synthetischen Audience die Fragen realer Umfragen gestellt und die Antwortverteilungen verglichen werden. So funktioniert es und das bedeutet der Score.
Synthetische Marktforschung wird durch Replikation validiert: Man stellt der synthetischen Audience dieselben Fragen, die eine reale Umfrage vergleichbaren Personen gestellt hat, und gleicht die Antwortverteilungen ab. Der Abstand, üblicherweise die mittlere absolute Differenz in Prozentpunkten, zeigt, wie nah die Simulation bei diesen Fragen lag. Eine aussagekräftige Validierung weist zudem einen Unsicherheitsbereich, eine einfache Baseline sowie die ausgelassenen Fragen aus, da eine isolierte Genauigkeitszahl ohne diesen Kontext nicht überprüfbar ist.
Für wen dieser Validierungsleitfaden gedacht ist
Diese Seite richtet sich an Insights Leads, Methodiker und Analysten, die entscheiden müssen, wie weit sie einer synthetischen Audience vertrauen können, bevor sie sie einsetzen. Sie erläutert, was eine Replikation misst, wie Minds diesen Prozess für jede Audience durchführt und was ein Validierungs-Score aussagt und was nicht. Für methodische Grundlagen lesen Sie, was synthetische Marktforschung ist.
Wie das Validierungsproblem einzuordnen ist
Eine synthetische Audience liefert Schätzungen darüber, wie eine Gruppe von Menschen antworten würde. Um zu beurteilen, wie verlässlich diese Schätzungen sind, benötigt man Antworten von realen Personen aus derselben Zielgruppe auf dieselben Fragen. Drei Faktoren entscheiden darüber, ob der Vergleich fair ist:
Die passende Referenz. Die Befragten der Umfrage müssen der simulierten Zielgruppe entsprechen. Das Ausgeh- und Essverhalten der Allgemeinbevölkerung taugt beispielsweise nicht als Zielwert für eine Audience aus Bauarbeitern.
Die passenden Fragen. Eine Frage sollte nur verglichen werden, wenn die Audience sie beantworten kann und die publizierten Antworten einen fairen Zielwert für diese Audience darstellen.
Der passende Maßstab. Der Fehler sollte mit einem Unsicherheitsbereich und im Vergleich zu einer einfachen Baseline angegeben werden - etwa einer Gleichverteilung über alle Antwortoptionen -, damit eine triviale Frage nicht fälschlicherweise wie ein starkes Ergebnis wirkt.
Die Audience Validation von Minds folgt diesem Muster. Sie ordnet publizierte Umfragen danach ein, wie genau deren Befragte zur jeweiligen Audience passen, prüft jede Frage auf ihre Eignung, bevor ein Mind antwortet, und listet jede ausgelassene Frage samt Begründung auf. In einem Durchlauf werden maximal 60 Fragen aus bis zu 12 Umfragen abgefragt; mindestens 8 passende Fragen sind erforderlich, um einen Score zu berechnen. Zudem lässt sich die Validierung anhand selbst hochgeladener Umfragedateien durchführen, etwa Fragebögen samt Ergebnissen als PDF, Excel, CSV, Word oder Textdatei. Jede Umfrage erhält einen Score von bis zu 100 Punkten, definiert als 100 abzüglich der mittleren absoluten Differenz in Prozentpunkten zwischen den Antworten der Minds und den veröffentlichten Anteilen, ergänzt um einen 95%-Bereich. Details dazu finden sich im Audiences-Leitfaden.
Minds hat zudem Replikationen anhand von fünf öffentlichen Datensätzen veröffentlicht: GSS 2024, ANES 2024, Canadian Election Study 2024, PISA 2022 und Food and You 2. Die durchschnittlichen Fehler lagen zwischen 4.72 und 8.33 Prozentpunkten. Bei Food and You erreichte eine Gleichverteilungs-Baseline 7.00 Punkte gegenüber 6.01 Punkten bei der Audience, wobei die Baselines nicht zeitgleich erneut erhoben wurden (vollständige Ergebnisse). Die Studien nutzen unterschiedliche Erhebungsinstrumente und sollten nicht zu einem einzigen Genauigkeitswert zusammengefasst werden.
Vergleich der realistischen Forschungsoptionen
Teams, die belastbare Erkenntnisse über eine Zielgruppe benötigen, wählen meist zwischen drei Ansätzen.
Der erste Ansatz ist eine rekrutierte Befragung oder ein klassisches Panel. Er liefert reale Antworten und kann bei solidem Sampling und angemessener Gewichtung eine Population gut abbilden. Dies dauert Tage bis Wochen, verursacht Kosten pro abgeschlossenem Fragebogen und die Datenqualität steht und fällt mit dem Aussortieren unaufmerksamer oder betrügerischer Teilnehmer.
Der zweite Ansatz ist ein unvalidiertes KI-Tool: ein Chatbot, der Kunden per Rollenspiel simuliert. Das geht schnell und ist fast kostenlos, bietet jedoch keinerlei Anhaltspunkt dafür, wie nah die Antworten an der Realität liegen. Publizierte Studien zeigen zudem, dass Modelle mit Persona-Prompts zwar Mittelwerte treffen können, dabei aber zu wenig Varianz aufweisen und stark auf sprachliche Nuancen im Prompt reagieren (Bisbee et al., Political Analysis, 2024).
Der dritte Ansatz ist eine synthetische Audience, die anhand realer Daten geprüft wird. Sie behält die Geschwindigkeit der zweiten Option bei und liefert zugleich Belege dafür, wie weit man den Ergebnissen bei einer bestimmten Zielgruppe und Fragetypik vertrauen kann. Sie liefert weiterhin Schätzwerte, keine repräsentative Stichprobe.
Wann Minds die richtige Lösung ist und wann nicht
Minds eignet sich, wenn eine schnelle, richtungsweisende Einschätzung gefragt ist und gleichzeitig belegt sein soll, wie belastbar diese Einschätzung ist: beim Screening von Konzepten und Claims, dem Pretesting von Fragebögen, dem Segmentvergleich oder der Exploration schwer rekrutierbarer Zielgruppen.
Minds ist nicht das passende Werkzeug, wenn repräsentative Schätzungen wie Marktgrößen oder exakte Zahlungsbereitschaften gefragt sind, Nachweise für regulierte oder auditierte Aussagen verlangt werden, physische oder sensorische Produkttests anstehen oder Entscheidungen getroffen werden müssen, die sich nur unter hohen Kosten revidieren lassen und noch nicht mit realen Personen geprüft wurden. Für solche Fälle empfiehlt sich eine rekrutierte Stichprobe oder beobachtetes Verhalten - synthetische Forschung kann hier dazu dienen, diese Studien kleiner, präziser und zielgerichteter anzulegen.
Wie wird synthetische Marktforschung anhand realer Daten validiert?
Die Standardmethode ist eine Replikation: Man stellt der synthetischen Audience dieselben Fragen, die in einer realen Umfrage vergleichbaren Personen gestellt wurden, und vergleicht anschließend Frage für Frage die Antwortverteilungen. Die Abweichung wird meist als mittlere absolute Differenz in Prozentpunkten angegeben, idealerweise ergänzt um einen Unsicherheitsbereich und eine einfache Baseline zum Vergleich.
Wie validiert Minds eine Audience?
Minds Audience Validation identifiziert publizierte Umfragen, deren Befragte zur Audience passen, oder nutzt von Ihnen hochgeladene Umfragedateien. Das System filtert gezielt Fragen heraus, deren veröffentlichte Antworten ein faires Vergleichsziel für diese Audience darstellen, und befragt die Minds in einem einzigen Durchlauf zu allen diesen Fragen. Jede Umfrage erhält einen Score von bis zu 100 Punkten, definiert als 100 abzüglich der mittleren absoluten Differenz in Prozentpunkten, inklusive eines 95%-Bereichs. Jede ausgelassene Frage wird mit Begründung aufgeführt.
Was sagt ein Validierungs-Score nicht aus?
Eine hohe Übereinstimmung mit veröffentlichten Prozentwerten bedeutet nicht, dass sich jeder simulierte Befragte wie ein einzelner Mensch verhält. Zudem lässt sich ein guter Score aus einer Umfrage nicht automatisch auf eine andere Zielgruppe oder eine andere Art von Fragen übertragen. Eine Validierung liefert Belege für genau diese Audience bei genau diesen Fragen.
Warum ist der Vergleich mit einer Baseline notwendig?
Manche Umfragefragen lassen sich leicht näherungsweise treffen, etwa wenn Antworten gleichmäßig verteilt sind. In der von Minds veröffentlichten Replikation der Studie Food and You erzielte die Audience eine Abweichung von 6.01 Punkten, während eine Gleichverteilungs-Baseline auf denselben Zellen bereits 7.00 erreichte und ein generischer Wahrscheinlichkeits-Prompt 6.68. Ein niedriger Fehlerwert ist daher nur im direkten Vergleich mit einer Baseline aussagekräftig.
Kann eine Validierung synthetische Forschung repräsentativ machen?
Nein. Eine Validierung zeigt, wie nah eine synthetische Audience den realen Antworten bei den getesteten Fragen kam. Sie macht aus einer synthetischen Studie keine repräsentative Schätzung von Marktgröße, Zahlungsbereitschaft oder anderen Kennzahlen, die eine reale Stichprobe erfordern.
Wie lange dauert eine Validierung?
In Minds dauert ein Validierungslauf in der Regel 10 bis 60 Minuten. Neue private Audiences mit mindestens 10 Minds werden automatisch validiert, sobald das Training der Minds abgeschlossen ist, sofern ausreichend Antwortguthaben verfügbar ist. Jede bearbeitbare Audience kann zudem später erneut validiert werden.
