Wie synthetische Panels und KI-Befragte funktionieren

Ein synthetischer Befragter ist ein Forschungsteilnehmer, der von einem Sprachmodell simuliert wird. Das Modell wird auf ein Profil der Personengruppe konditioniert, die Sie untersuchen möchten (Alter, Region, Beruf, Gewohnheiten, Einstellungen und idealerweise reale Umfrage- oder Interviewdaten über vergleichbare Personen). In dieser Rolle beantwortet es Umfragefragen, reagiert auf Konzepte oder nimmt an Interviews teil.

Ein synthetisches Panel ist eine Gruppe synthetischer Befragter, die zusammengestellt wurde, um eine Zielgruppe zu repräsentieren. Da jedem Mitglied dieselben Fragen gestellt werden können, lassen sich die Antworten zu Häufigkeitsverteilungen aggregieren und über Segmente hinweg vergleichen - ganz ähnlich wie bei einer Befragung eines rekrutierten Panels.

Beide sind Werkzeuge für die schnelle, richtungsweisende Forschung. Sie ermöglichen es Teams, Ideen und Fragebögen vor der Feldphase zu testen. Ihre Antworten sind jedoch von einem Modell generierte Schätzungen, keine Messungen an realen Menschen, und müssen anhand realer Daten validiert werden, bevor Entscheidungen darauf gestützt werden, deren Korrektur teuer wäre.

Synthetische Befragte im Vergleich zu verwandten Begriffen

Die Begrifflichkeiten in diesem Markt überschneiden sich oft. Diese Unterscheidungen sind wichtig, wenn Sie Tools vergleichen oder methodische Beschreibungen lesen:

Mehr über die übergeordnete Methodik, die solche Befragten nutzt, erfahren Sie unter Was ist synthetische Marktforschung?.

Wie synthetische Befragte aufgebaut sind

Ein praxistauglicher synthetischer Befragter besteht aus drei Schichten.

1. Ein Basis-Sprachmodell. Es liefert Sprachkompetenz und Allgemeinwissen, bringt aber auch eigene Tendenzen mit: Gefälligkeit (Agreeableness), Weitschweifigkeit und die Meinungsverzerrungen seiner Trainingsdaten.
2. Ein Profil und die dahinterliegende Datengrundlage. Das Profil definiert demografische, verhaltensbezogene und einstellungsbasierte Merkmale. Leistungsfähigere Systeme stützen jedes Profil auf Quellen: publizierte Statistiken, öffentliche Studien und eigene Umfrageergebnisse, Interviewtranskripte oder Kundendateien. Ein Befragter, der nur aus einem demografischen Label besteht, antwortet meist wie ein Stereotyp.
3. Ein Antwortprotokoll. Der Befragte antwortet innerhalb eines definierten Erhebungsinstruments (Single Choice, Multiple Choice, Skalen, Rankings, Forced-Choice-Aufgaben wie MaxDiff oder offene Fragen), sodass sich die Antworten vergleichen und aggregieren lassen.

Die Art und Weise, wie geschlossene Antworten erhoben werden, ist entscheidend. In den von Minds veröffentlichten Replikationen reduzierte die Abfrage von Wahrscheinlichkeiten über Antwortoptionen hinweg - anstelle einer erzwungenen Einzelauswahl - den Verteilungsfehler über vier öffentliche Datensätze hinweg um 12.47 bis 19.72 Prozentpunkte (Minds-Studie).

Was ein synthetisches Panel ist und wie es sich von einem traditionellen Panel unterscheidet

Ein synthetisches Panel ist die Gruppenvariante: Dutzende bis Tausende synthetischer Befragter, die innerhalb einer gemeinsamen Zielgruppendefinition variieren - beispielsweise "Lebensmittelkäufer im Vereinigten Königreich im Alter von 25 bis 40 Jahren, die wöchentlich pflanzliche Milch kaufen". Das Panel beantwortet eine Studie, und die Ergebnisse werden als Häufigkeitsverteilungen, Rankings und thematische Cluster ausgewertet.

Beide sind kein gegenseitiger Ersatz. Ein synthetisches Panel hilft zu entscheiden, welche Fragen sich für ein reales Panel lohnen, und macht die anschließende Feldstudie schlanker und zielgerichteter. Einen ausführlicheren Vergleich finden Sie unter Synthetische Panels vs. traditionelle Panels.

Was die wissenschaftliche Evidenz zur Genauigkeit zeigt

Es gibt keine einzelne Kennzahl für die Genauigkeit synthetischer Befragter. Die Ergebnisse hängen von der Zielgruppe, der Fragestellung und der Erhebungsmethode ab, und die veröffentlichte Evidenz liefert ein gemischtes Bild.

• Argyle und Kollegen konditionierten GPT-3 auf soziodemografische Hintergrunddaten realer US-Umfrageteilnehmer und stellten fest, dass das Modell die Antwortverteilungen vieler Subgruppen reproduzieren konnte - ein Phänomen, das sie als "algorithmic fidelity" bezeichneten (Political Analysis, 2023).
• Ein von Stanford geleitetes Team erstellte Agenten für 1.052 US-Amerikaner auf Basis zweistündiger Interviews, Umfragen oder beidem. Bei nicht im Training enthaltenen Fragen des General Social Survey erreichten sie 83%, 82% und 86% der 14-tägigen Test-Retest-Konsistenz der realen Teilnehmer, verglichen mit 74% bei Agenten, die ausschließlich soziodemografische Angaben erhielten (arXiv, 2024). Die Fundierung auf realen Selbstauskünften übertraf reine demografische Labels deutlich.
• Bisbee und Kollegen zeigten, dass persona-gepromptetes ChatGPT zwar die durchschnittlichen Feeling-Thermometer-Werte der American National Election Study abbildete, dabei jedoch weniger Varianz als reale Befragte aufwies, abweichende Regressionsbeziehungen zeigte, empfindlich auf minimale Formulierungsänderungen reagierte und zeitlichem Drift unterlag (Political Analysis, 2024).
• Santurkar und Kollegen wiesen erhebliche Abweichungen zwischen den von Sprachmodellen geäußerten Meinungen und jenen von 60 US-amerikanischen demografischen Gruppen nach. Einige Gruppen, wie etwa Personen über 65 Jahre, wurden selbst dann nur unzureichend abgebildet, wenn das Modell gezielt auf sie ausgerichtet wurde (ICML 2023).

Eine ausführlichere Analyse darüber, wo synthetische und menschliche Antworten übereinstimmen und wo sie auseinanderdriften, finden Sie unter Synthetische vs. reale Befragte: Genauigkeit.

Typische Fehlerbilder, auf die Sie achten sollten

Synthetische Befragte weisen andere Fehlermuster auf als menschliche Panels:

• Zu geringe Varianz: Antworten häufen sich um die typischste Ansicht. Dadurch wirken Verteilungen gleichförmiger als in der Realität, und Minderheitsmeinungen verschwinden.
• Korrelierte Fehler: Alle Befragten teilen dasselbe Basismodell, weshalb sich ein toter Winkel auf alle gleichzeitig auswirkt. Konventionelle Fehlermargen setzen unabhängige Befragte voraus und greifen hier nicht.
• Abhängigkeit von Prompt und Modell: Geringfügige Änderungen an Formulierung, Reihenfolge oder Modellversion können die Ergebnisse verschieben.
• Gefälligkeit (Agreeableness): Befragte neigen dazu, allem vorgelegten Material zuzustimmen, sofern das Erhebungsinstrument keine expliziten Trade-offs erzwingt.
• Zielgruppen mit dünner Datenlage: Bei Low-Incidence-Gruppen, hochspezialisierten Rollen und neuen Kategorien, die in den verfügbaren Daten kaum dokumentiert sind, bricht die Genauigkeit ein.

Wie Minds synthetische Panels aufbaut und prüft

Bei Minds ist jeder synthetische Befragte ein Mind und ein synthetisches Panel eine Audience. Minds basieren auf Quellen und von Ihnen hochgeladenen Dateien wie Umfrageergebnissen, Interviewtranskripten oder Customer-Research-Daten. In einer Study werden einer Audience offene und geschlossene Fragen gestellt, MaxDiff- und weitere Erhebungsmethoden angewendet oder Stimuli wie Konzepte, Bildmaterial, Websites und Werbetexte vorgelegt.

Audience Validation prüft eine Audience anhand realer Umfragen, anstatt sich auf pauschale Genauigkeitsversprechen zu verlassen. Minds identifiziert publizierte Studien, deren Teilnehmer der Audience entsprechen, oder nutzt von Ihnen hochgeladene Umfragedateien. Dabei werden nur Fragen einbezogen, deren veröffentlichte Ergebnisse eine faire Vergleichsbasis für diese Audience bilden, und jede ausgeschlossene Frage wird samt Begründung transparent ausgewiesen. Jede Umfrage erhält einen Score von bis zu 100 Punkten - definiert als 100 abzüglich der mittleren absoluten Differenz in Prozentpunkten gegenüber den veröffentlichten Antwortanteilen, ergänzt um ein 95%-Konfidenzintervall. Details finden Sie unter So funktioniert Audience Validation.

Die von Minds veröffentlichten Replikationen anhand von fünf öffentlichen Datensätzen ergaben mittlere Verteilungsfehler von 4.72 bis 8.33 Prozentpunkten (vollständige Ergebnisse). Da diese Studien unterschiedliche Instrumente nutzen, sollten sie nicht zu einem einzelnen Genauigkeitswert zusammengefasst werden. Zudem lässt sich ein gutes Ergebnis bei einer Umfrage nicht automatisch auf eine andere Zielgruppe oder Fragestellung übertragen.

Wann synthetische Befragte sinnvoll sind - und wann nicht

Sinnvolle Einsatzbereiche:

• Screening vieler Konzepte, Claims oder Botschaften zu einer Shortlist vor der Feldphase.
• Pretesting eines Fragebogens auf missverständliche Formulierungen, fehlende Antwortoptionen und suggestive Fragen.
• Erste Orientierung bei schwer oder teuer zu rekrutierenden Zielgruppen vor vertiefenden Interviews.
• Hypothesenbildung und Auswahl relevanter Segmente für nachfolgende Studien mit realen Teilnehmern.

Nutzen Sie stattdessen rekrutierte Personen oder beobachtetes Verhalten, wenn:

• Sie repräsentative Schätzungen benötigen, etwa zu Marktgröße, Marktanteil oder zur Kaufbereitschaft in Prozent.
• Sie Zahlungsbereitschaften oder Preiselastizitäten an konkreten Preispunkten ermitteln müssen.
• Aussagen veröffentlicht, behördlich geprüft oder auditiert werden, etwa Werbeaussagen oder Health Claims.
• Das Produkt physisch berührt, verkostet oder ausprobiert werden muss.
• Die Zielgruppe oder Kategorie neu ist und kaum verlässliche Daten zu ihr vorliegen.

Wie Sie Anbieter synthetischer Befragter evaluieren

Verlangen Sie überprüfbare Belege:

1. Welche öffentlichen Umfragen haben Sie repliziert, wie hoch war der Fehler und gegen welche Baseline wurde verglichen?
2. Kann ich mein eigenes Panel anhand realer Umfragedaten validieren und nachvollziehen, welche Fragen aus welchen Gründen ausgeschlossen wurden?
3. Worauf basiert jeder Befragte: auf einem reinen demografischen Label oder auf Quellen und meinen eigenen Forschungsdateien?
4. Wie werden geschlossene Antworten erhoben, und können Befragte ein Konzept auch ablehnen oder ihm widersprechen?
5. Für welche Anwendungsfälle rät der Anbieter explizit vom Einsatz des Tools ab?

Einen Anbietervergleich finden Sie im Leitfaden Plattformen für synthetische Befragte.

Quellen

• Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C. and Wingate, D. (2023). Out of One, Many: Using Language Models to Simulate Human Samples. Political Analysis, 31(3), 337-351.
• Bisbee, J., Clinton, J. D., Dorff, C., Kenkel, B. and Larson, J. M. (2024). Synthetic Replacements for Human Survey Data? The Perils of Large Language Models. Political Analysis, 32(4), 401-416.
• Santurkar, S., Durmus, E., Ladhak, F., Lee, C., Liang, P. and Hashimoto, T. (2023). Whose Opinions Do Language Models Reflect? Proceedings of the 40th International Conference on Machine Learning.
• Park, J. S. and colleagues (2024). LLM Agents Grounded in Self-Reports Enable General-Purpose Simulation of Individuals. arXiv 2411.10109.
• Minds (2026). We Tested Synthetic Audiences Against Reality.