--- title: "Wir haben synthetische Zielgruppen an der Realität getestet" description: "Was fünf öffentliche Umfragedatensätze über die Genauigkeit synthetischer Zielgruppen aussagen, einschließlich eines Produktionstests mit 301 Minds der Gen Z, und wo Profil-Grounding hilft." canonical_url: "https://getminds.ai/research/de/synthetic-audiences-reality-benchmark-2026" last_updated: "2026-09-08T18:35:13.175Z" --- # Wir haben synthetische Zielgruppen an der Realität getestet Synthetische Forschung braucht eine externe Referenz: Antworten von echten Menschen. Unsere ursprüngliche Testreihe verglich synthetische Antworten mit vier öffentlichen Umfragedatensätzen und zwei qualitativen Benchmarks. Ein späterer Produktionstest mit Food and You ergänzte eine praktische Überprüfung derselben Frage: Wie genau kann eine Zielgruppe persistenter Minds die Antwortverteilungen einer realen Umfrage abbilden? Die Ergebnisse weisen auf zwei unterschiedliche Wertquellen hin. Das Bewahren von Unsicherheit verbessert die Schätzungen von Umfrageverteilungen. Teilnehmerprofile und relevante Erinnerungen bieten zusätzlichen Nutzen, wenn eine Antwort von individuellen Erfahrungen, Gründen und Werten abhängt. Ihre Vorteile variieren je nach Aufgabe. ## Ausgewählte Umfragereplikationen
Replizierte Studie Öffentlicher Quelldatensatz Ergebnis
GSS-2024-Umfragereplikation GSS 2024 92.47% Approximation · 7.53 pp mittlerer Fehler
ANES-2024-Längsschnittreplikation ANES 2024 Time Series Study 91.67% Approximation · 8.33 pp mittlerer Fehler
CES-2024-Pre-/Post-Replikation 2024 Canadian Election Study 95.28% Approximation · 4.72 pp mittlerer Fehler
Internationale PISA-2022-Replikation PISA 2022 Database 93.80% Approximation · 6.20 pp gewichteter mittlerer Fehler
Food-and-You-2-Produktionsreplikation Food and You 2, Wave 10 93.99% Approximation · 6.01 pp mittlerer Fehler · Pearson 0.804 · Spearman 0.834
Aggregierte Approximation bedeutet 100 abzüglich des mittleren absoluten Prozentpunktfehlers. Sie misst den Abstand zwischen Antwortverteilungen. Das bedeutet nicht, dass derselbe Prozentsatz von Einzelpersonen korrekt vorhergesagt wurde. Die Studien verwenden unterschiedliche Instrumente und Aggregationsdetails, einschließlich eines gewichteten PISA-Ergebnisses; die Zeilen sollten nicht zu einem einzigen Genauigkeitswert gemittelt werden. Die ersten vier Zeilen stammen aus den ursprünglichen, isolierten Umfrageexperimenten. Die fünfte ist ein späterer Produktionsdurchlauf auf einer bestehenden, fixierten Kohorte. Ihre Aufnahme erweitert die Evidenzbasis, ohne aus einer Wiederholung auf dieser Kohorte eine neue, unabhängige Populationsstudie zu machen. ## Gen Z: ein realer Fragebogen im Produkt Die Food and You 2-Umfrage der britischen Food Standards Agency untersuchte, wie oft junge Menschen zum Frühstück, Mittag- und Abendessen auswärts essen oder Takeaway-Gerichte kaufen. Im Rahmen des Produktionsvergleichs wurden dieselben drei Fragen 301 persistenten Minds im Alter von 16 bis 24 Jahren vorgelegt und die resultierenden Verteilungen mit den veröffentlichten Ergebnissen der Jugendlichen verglichen. Die menschliche Fragebasis lag für jedes evaluierte Item bei 257. Alle 903 geplanten Antworten wurden vollständig erfasst. Über 21 Antwortoptionszellen hinweg betrug der mittlere absolute Fehler 6.01 Prozentpunkte und die mittlere Verteilungsüberlappung 78.98%. Diese Werte beschreiben unterschiedliche Eigenschaften: Die Approximations-Transformation fasst den durchschnittlichen Zellenfehler zusammen, während die Überlappung zeigt, wie viel Wahrscheinlichkeitsmasse die Verteilungen teilen. Der Durchlauf vom 18. August verbesserte das Ergebnis vom 9. August unter Verwendung derselben Kohorte und desselben Instruments: Der Fehler sank von 7.33 auf 6.01 Punkte, was einer relativen Reduzierung von 18.0% entspricht. Jede Frage verbesserte sich. Der Vergleich war ein Produkt-Regressionstest mit einer historischen Kontrolle und kein gleichzeitiger randomisierter Vergleich. Der Kontext der Baseline ist entscheidend. Ein fixierter, generischer Wahrscheinlichkeits-Prompt verzeichnete auf denselben Zellen einen Fehler von 6.68 Punkten, und eine Gleichverteilungs-Nullhypothese lag bei 7.00 Punkten. Das Produktionsergebnis war deskriptiv besser, aber diese Baselines wurden nicht zeitgleich erneut ausgeführt. Ein Wert in den Neunzigern auf der Approximationsskala sollte daher für sich genommen nicht als großer Vorsprung interpretiert werden. Der [vollständige Artikel zur Gen-Z-Ernährungsumfrage](/research/synthetic-gen-z-food-survey-validation-2026) beschreibt Zielgruppe, Fragebogen, Herkunft und Einzelergebnisse pro Frage. Die Food Standards Agency stellte den öffentlichen Referenzdatensatz bereit; sie hat diese Minds-Studie weder gesponsert noch unterstützt oder geprüft. ## Warum Unsicherheit Umfrageschätzungen verbesserte In den vier ursprünglichen Umfrageexperimenten reduzierten wahrscheinlichkeitsbasierte Antworten den Verteilungsfehler um 12.47 bis 19.72 Prozentpunkte im Vergleich zu einer erzwungenen Einzelauswahl. Diese Verbesserung zeigte sich über alle vier Datensätze hinweg. Eine Antwort mit Wahrscheinlichkeiten behält Unsicherheiten bei, die bei einer kategorialen Entscheidung verworfen werden. Über eine Zielgruppe hinweg aggregiert können diese Wahrscheinlichkeiten eine Populationsverteilung genauer abbilden als eine einzige erzwungene Auswahl jedes synthetischen Befragten. Dieses Ergebnis betrifft die Erfassung und Aggregation von Antworten. Dieselben Experimente zeigten nicht, dass detaillierte Profile demografische Wahrscheinlichkeits-Prompts durchgehend übertrafen. Die Vergleichs-Baseline und das Antwortformat spielen eine ebenso große Rolle wie das Endergebnis. ## Weitere ausgewählte Validierungen Diese Studien nutzen andere Zielgrößen, weshalb ein Approximationsprozentsatz irreführend wäre. Sie ergänzen die Umfrageergebnisse, anstatt deren Genauigkeitsspanne einfach zu erweitern.
Studie und detaillierte Ergebnisse Evaluierte Stichprobe Berichtetes Ergebnis Approximation
PRISM Alignment 299 Teilnehmende, 869 Items 32.6% Participant-Fit-Gewinnerrate; 25.7% demografisch und 20.5% generisch Nicht anwendbar
Zurückgehaltene Interviews 22 Personen, 66 Antworten, zwei Korpora +24.37 Punkte im Composite gegenüber generischem Prompting; teilnehmergeclusterte Schätzung Nicht anwendbar
Namentlich genannte Foundation-Modelle Dieselben 22 Personen und 66 Antworten, keine neue Kohorte +25.49 Punkte gegenüber GPT-5.4; +30.05 gegenüber Claude Sonnet 5 Nicht anwendbar
Spark: kreative Vielfalt Sieben kreative Aufgaben Mittlere Vielfalt 7.90/10 gegenüber 3.14/10 bei einheitlicher Baseline Nicht anwendbar
Spark bewertet die Vielfalt von Ideen, nicht die Übereinstimmung mit einer repräsentativen Umfrage oder die Vorhersage realer Werbeleistung. Die Interviewvergleiche stützen sich auf automatisierte Evaluatoren (Judges), nicht auf einen Prozentsatz korrekt simulierter Personen. ## Wo der Teilnehmerkontext half Die ursprünglichen qualitativen Tests bewerteten spätere menschliche Antworten, die von der Generierung zurückgehalten worden waren. Im PRISM-Alignment-Vergleich erzielten vollständige Minds eine verblindete Gewinnerrate von 32.6%, verglichen mit 25.7% bei demografischen Prompts und 20.5% bei generischen Prompts. Dieser PRISM-Datensatz ist ein externer Benchmark und unterscheidet sich vom PRISM-Ansatz von Minds. Die unabhängige Interview-Validierung nutzte zwei öffentliche Korpora, 22 Personen und 66 spätere Antworten. Der Bericht zeigte über beide Korpora hinweg und unter einer zweiten Evaluator-Version einen positiven Vorteil für die Kombination aus Profil und Information Retrieval gegenüber generischem Prompting. Ein [Vergleich mit namentlich genannten Modellen](/research/synthetic-audiences-vs-foundation-models) untersucht diesen Vorteil anhand generischer Antworten von GPT und Claude. Diese Baselines erhielten keine Historie der Teilnehmenden. Diese Experimente beziehen sich auf Passgenauigkeit zu Teilnehmenden, Begründungen, Spezifität und Tonalität. Ihre Evaluator-Bewertungen sollten nicht mit Umfrageverteilungs-Prozentsätzen kombiniert werden. Beide hängen davon ab, welche Evidenz der synthetische Befragte erhält, und die qualitativen Bewertungen erfordern weiterhin eine unabhängige Bestätigung durch menschliche Rater. ## Wie weit die Aussagekraft reicht Die ursprüngliche Testreihe umfasste 1,881 Teilnehmende über alle Umfrage- und qualitativen Benchmarks hinweg. Der zusätzliche Ernährungstest mit 301 Minds hat seine eigene Kohorte und eine eigene menschliche Referenzbasis; diese sollten getrennt betrachtet werden. Die Zielantworten wurden in den berichteten Tests von den Laufzeit-Inputs ferngehalten. Öffentlich zugängliche Daten könnten dennoch im Pretraining der Modelle enthalten gewesen sein, sodass eine Trennung zur Laufzeit ein vorheriges Vorwissen nicht vollständig ausschließen kann. Die ursprünglichen Umfrageergebnisse stammten zudem aus isolierten Testumgebungen; sie garantieren kein identisches Verhalten über jede Produktversion hinweg. PISA verwendete den englischen Master-Fragebogen über alle fünf Länder hinweg. Dieser Überblick stellt die hier geprüfte Evidenz dar, nicht eine Gesamterfassung jedes von Minds durchgeführten Experiments. Andere explorative und nicht erfolgreiche Tests erfordern ihren eigenen Kontext. Der praktische Nutzen dieser Erkenntnisse besteht darin, für eine konkrete Fragestellung die passende Zielgruppe, das geeignete Antwortformat und die richtige Validierungsmethode auszuwählen. Lesen Sie, [wie Minds-Forschungspanels aufgebaut werden](/research/methodology), um mehr über den Workflow zu erfahren, und nutzen Sie die [Validierungs-Checkliste](/research/synthetic-audiences-validation-checklist) bei der Entscheidung, welche Aussagen ein synthetisches Ergebnis stützen kann.