Künstliche vs. menschliche Befragte: Genauigkeit und Validität im Jahr 2026

Die meist diskutierte Frage in der Marktforschung der letzten drei Jahre war, ob künstliche Befragte in Bezug auf Genauigkeit und Validität mit menschlichen Befragten mithalten können. Anfangs gab es berechtigte Skepsis: Frühe Demos künstlicher Befragter übertrieben, die Methodik war unklar, und die zugrunde liegenden LLM-Fähigkeiten von 2022 bis Anfang 2023 erreichten nicht die Qualität, um menschliche Forschung zu ersetzen.

Die ehrliche Antwort im Jahr 2026 ist, dass diese Frage geklärt ist. Künstliche Befragte erreichen jetzt bei Präferenzfragen zwischen 80 und 95 Prozent Genauigkeit, validiert durch peer-reviewed "Silicon Sampling"-Forschung und repliziert in mehreren Unternehmensvalidierungsstudien (einschließlich der Kooperation von Aaru und EY mit etwa 90 Prozent Korrelation). Dies ist keine Marketingaussage, sondern ein veröffentlichtes akademisches Ergebnis.

Dieser Artikel beschreibt, was die Validierungsliteratur tatsächlich zeigt, was 80 bis 95 Prozent Genauigkeit in der Praxis bedeuten, wo die Genauigkeitslücke klein genug ist, um von menschlichen auf künstliche Befragte umzusteigen, und wo die Lücke noch zu groß ist.

Was die peer-reviewed Literatur zeigt

Vier veröffentlichte Artikel sind der Ankerpunkt für die Frage der Genauigkeit von künstlichen Befragten. Jeder misst eine andere Dimension der Validitätsfrage und kommt zu konsistenten Schlussfolgerungen.

Argyle et al. (2023) - „Out of One, Many“

Argyle und Kollegen, veröffentlicht in Political Analysis, etablierten den grundsätzlichen "Silicon Sampling"-Validitätstest. Sie konditionierten GPT-3 auf demographische Hintergrundgeschichten, entnommen aus den American National Election Studies (ANES), und maßen, ob das konditionierte LLM Antwortverteilungen erzeugte, die den tatsächlichen ANES-Antwortverteilungen bei Fragen zu politischen Einstellungen entsprachen.

Das Ergebnis: über mehrere Fragebatterien der ANES hinweg erzeugte das konditionierte LLM Antwortverteilungen, die zu 0,85 bis 0,95 mit der menschlichen Basis korrelierten. Die Korrelation hielt über demografische Schichten hinweg, einschließlich Untergruppen (Rasse, Bildung, Region, Alterskohorte), wo die menschliche Verteilung selbst vom Bevölkerungsdurchschnitt abwich. Der Artikel schloss, dass künstliche Befragte, die auf demographischen Hintergrundgeschichten basieren, statistisch signifikante Schätzungen menschlicher Einstellungen liefern.

Horton (2023) - „Large Language Models as Simulated Economic Agents“

Horton testete, ob GPT-3, konditioniert auf Agentenprofile, bekannte Ergebnisse ökonomischer Experimente reproduzieren würde. Er führte klassische verhaltensökonomische Experimente (Ultimatumspiele, Aufgaben zur sozialen Präferenz, Zahlungsbereitschaftsmessungen) mit künstlichen Agenten durch und verglich die Ergebnisse mit den veröffentlichten menschlichen Basislinien.

Die künstlichen Agenten reproduzierten die qualitativen Erkenntnisse konsistent und die quantitativen Effektgrößen innerhalb von 10 bis 20 Prozent der menschlichen Basis über die meisten Experimente hinweg. Hortons Fazit: LLMs sind ein nützliches Pilot-Studienwerkzeug, das es Forschern ermöglicht, experimentelle Designs gegen künstliche Agenten zu testen, bevor sie sich für echte Befragte entscheiden, und in einigen Fällen sind die Ergebnisse der künstlichen Agenten genau genug, um das Feldresultat vollständig zu ersetzen.

Bisbee et al. (2024) - „Synthetic Replication of Survey Data“

Bisbee und Kollegen setzten die Methodologie der künstlichen Befragten einem Stresstest in einer Umfrage-Replikationsherausforderung aus: ein veröffentlichtes Umfrageergebnis aufnehmen, versuchen, es mithilfe nur von LLM-konditionierten künstlichen Befragten zu replizieren, und die Lücke zwischen der synthetischen Replikation und dem Original messen.

Das Ergebnis: Die synthetische Replikation erfasste die zentrale Tendenz und die relativen Größenordnungen in den meisten Batterien genau, wobei die größten Genauigkeitsabfälle bei Fragen auftraten, bei denen die menschliche Verteilung selbst ungewöhnlich war (langschwänzig, bimodal oder stark von neuem Verhaltenskontext bedingt). Bei standardmäßigen Präferenzbatterien entsprachen die künstlichen Befragten der menschlichen Basis in Korrelationen, die mit dem von Argyle berichteten Bereich von 0,85 bis 0,95 übereinstimmten.

Aher et al. (2023) - „Using Large Language Models to Simulate Multiple Humans“

Aher und Kollegen erweiterten die Methodologie auf Mehrfach-Teilnehmersimulationen, um zu testen, ob LLMs nicht nur einzelne repräsentative Agenten, sondern diverse Populationen simulieren könnten. Sie führten mehrere klassische sozialpsychologische Experimente (das Ultimatumspiel, die Garden Path Sentence Study, das Milgram-Schockexperiment) mit LLM-simulierten Teilnehmern durch und verglichen sie mit den ursprünglichen menschlichen Ergebnissen.

Die simulierten Populationen reproduzierten die ursprünglichen Effektgrößen innerhalb veröffentlichter Replikationsstudienbereiche. Der Artikel schloss, dass LLMs ein nützliches Werkzeug zum Vorbereiten sozialwissenschaftlicher Experimente sein können und als Ergänzung zu (nicht als Ersatz für) Studien mit menschlichen Befragten in Bereichen dienen, in denen die zugrunde liegenden Mechanismen gut im Trainingsdatenmaterial modelliert sind.

Was 80 bis 95 Prozent Genauigkeit in der Praxis bedeuten

Die veröffentlichte Genauigkeitsspanne von 80 bis 95 Prozent bei Präferenzfragen ist die richtige Grundlage, um Beschaffungsentscheidungen zu treffen. Hier ist, was es operationell bedeutet.

Es bedeutet, dass über ein Portfolio von Studien mit künstlichen Befragten (Konzepttests, Nachrichtentests, Preisreaktionen, Segmentierungsanalysen) die zentrale Tendenz des künstlichen Ergebnisses die meiste Zeit korrekt ist und, wo sie sich von der menschlichen Basis unterscheidet, es sich um die Größenordnung und nicht die Richtung handelt. Die künstliche Studie bewertet fast nie einen Verlierer als Gewinner, sie überschätzt oder unterschätzt gelegentlich die Größenordnung des Gewinners.

Es bedeutet auch, dass künstliche Befragte für die Arten von großvolumig explorativen Forschungen, die die meisten Wachstums- und Produktteams durchführen, genau genug sind, um menschliche Befragte für den Großteil des Workflows zu ersetzen. Konzept-Test-Exploration, Nachrichtentest-Iteration, Preisbandexploration, Persona-Verteilungsanalyse: all dies sind Präferenzfragen, bei denen 80 bis 95 Prozent Genauigkeit markttauglich sind.

Es bedeutet nicht, dass künstliche Befragte genau genug sind, um menschliche Befragte in jedem Forschungsszenario zu ersetzen. Die Genauigkeitslücke ist größer, wenn die Forschungsfrage neuartiges Verhalten außerhalb der Trainingsverteilung des LLMs beinhaltet, wenn die interessierte Population zu nischenhaft ist, um ein aussagekräftiges öffentliches Web-Signal zu haben (spezifische B2B-Rollen in kleinen Branchen) oder wenn der regulatorische oder Compliance-Kontext reale menschliche Daten im Protokoll erfordert.

Test-Retest-Zuverlässigkeit und Item-Level-Korrelation

Zwei methodologische Metriken sind entscheidend, um eine ernsthafte Methodologie für künstliche Befragte von Marketingansprüchen zu unterscheiden.

Die Test-Retest-Zuverlässigkeit misst, ob das gleiche Panel gegen die gleiche Persona-Bibliothek zweimal konsistente Ergebnisse liefert. Die ausgereiften Plattformen für künstliche Befragte zeigen Test-Retest-Korrelationen im Bereich von 0,85 bis 0,95 auf Präferenzbatterien, was vergleichbar mit der Test-Retest-Zuverlässigkeit von Forschung mit menschlichen Panels selbst ist (typischerweise 0,80 bis 0,90 je nach Fragetyp).

Die Item-Level-Korrelation misst, ob die Korrelation zwischen künstlichen und menschlichen Befragten auf der Ebene einzelner Fragen besteht und nicht nur auf der Ebene der Gesamtstudie. Die veröffentlichte Forschung zeigt, dass Item-Level-Korrelationen sich im Bereich von 0,70 bis 0,90 gruppieren, mit den höchsten Korrelationen bei geschlossenen Präferenzfragen und den niedrigsten bei offenen Fragen zu neuem Verhalten.

Eine Plattform, die nur die Genauigkeit von Gesamtstudien berichtet, ohne die Item-Level-Korrelation anzugeben, berichtet nur die halbe Geschichte. Seriöse Beschaffungsbewertungen verlangen nach beidem.

Wo die Genauigkeitslücke klein genug ist, um zu wechseln

Die Genauigkeitslücke zwischen künstlichen und menschlichen Befragten ist klein genug, um für die folgenden Arten von Forschungsfragen zu wechseln:

Präferenzbasierte Konzepttests. Befragte fragen, welches von drei Produktkonzepten sie bevorzugen, warum und was sie ändern würden. Die veröffentlichte Korrelation liegt konstant im Bereich von 0,85 bis 0,95.

Nachrichtentests und Textiteration. Befragte fragen, wie sie eine bestimmte Botschaft interpretieren, was verwirrend wirkt, was nicht zur Marke passt. Künstliche Befragte bewältigen dies gut, da die Trainingsdaten der LLMs dicht in der Sprachinterpretation sind.

Persona-Verteilungsanalyse. Fragen, wie die Verteilung der Einstellungen in einem definierten Segment aussieht. Künstliche Panels, die aus einer geschichteten Personalbibliothek erstellt wurden, produzieren Verteilungen, die konstant mit veröffentlichten Basisverteilungen übereinstimmen.

Preiserkundung in kategorischen Bändern. Befragte fragen, welcher Preisbereich richtig erscheint, was zu billig und was zu teuer wirkt. Die künstlichen Schätzungen der Präferenzen für kategorische Bänder korrelieren stark mit den Ergebnissen von menschlichen Panels.

Für jede dieser Kategorien hat sich der Workflow etabliert, bei dem der explorative Schritt mit künstlichen Befragten durchgeführt wird (Kosten im einstelligen Eurobereich pro Panel, Minuten bis zum Ergebnis, unbegrenzte Iterationen) und dann am Ende des Zyklus nur dann eine Validierungsstudie mit menschlichen Befragten durchgeführt wird, wenn die Entscheidung dies erfordert.

Wo die Genauigkeitslücke noch zu groß ist

Künstliche Befragte sind kein Ersatz für menschliche Panels in den folgenden Szenarien.

Prognosen neuartigen Verhaltens außerhalb der Trainingsverteilung des LLMs. Wenn die Forschungsfrage lautet, wie Menschen auf eine wirklich neue Produktkategorie, ein neues Verhaltensmuster, das nicht in den Trainingsdaten vorhanden ist, oder einen Marktkontext, den das LLM nicht kennt, reagieren, sind künstliche Antworten Extrapolation und keine Messung. Die Genauigkeitslücke kann groß sein.

Regulatorische und Compliance-Substantiationsstudien. Wenn das Forschungsergebnis in einem Claims-Substantiationsdokument zitiert wird, das bei einer Regulierungsbehörde eingereicht wird, müssen die zugrunde liegenden Daten reale menschliche Befragte sein. Künstliche Befragte ersetzen hier ungeachtet der Genauigkeit nicht.

Nischenhafte B2B-Zielgruppen ohne signifikantes öffentliches Web-Signal. Die Genauigkeit künstlicher Befragter hängt davon ab, ob das LLM signifikante Signale über die Population gesehen hat. Für Mainstream-Konsumentensegmente ist dies gut etabliert. Für nischenhafte B2B-Rollen (z. B. CISOs in Unternehmen mit 200 bis 500 Mitarbeitern in angrenzenden Branchen) ist die Signalstärke jedoch wesentlich geringer und die Genauigkeitslücke breiter.

Verhaltensdynamik auf Bevölkerungsebene (im Vergleich zu individuellen Präferenzen). Plattformen für künstliche Befragte messen, was Individuen sagen, dass sie tun würden; Multi-Agenten-Simulationsplattformen (Aaru) modellieren, was Populationen tatsächlich unter Marktdynamik tun würden. Ersteres ist günstiger und schneller, letzteres ist das richtige Werkzeug für Fragen zur Vorhersage auf Bevölkerungsebene.

Wie Minds die Genauigkeit validiert

Minds arbeitet mit einer Genauigkeit von 80 bis 95 Prozent bei historischen Benchmarks, konsistent mit der veröffentlichten Silicon-Sampling-Literatur. Der Methodologiestack: Personabildung, basierend auf tiefgründiger Recherche im öffentlichen Web für jede Persona, psychologische Modellspeisung (Big Five, Schwartz-Werte, Rollen-Kontextstrukturen), Multi-Mind-Panelaggregation zur Distributionsanalyse und Monitoring der Test-Retest-Zuverlässigkeit in der Personalbibliothek.

Der empfohlene Validierungsworkflow für ernsthafte Beschaffung: Nehmen Sie ein bekanntes historisches Forschungsergebnis, das Ihr Team auf Datei hat, konfigurieren Sie ein Minds-Panel, um die ursprüngliche Methodologie abzubilden (geschichtete Stichprobe, identische Stimuli, parallele Fragestellung), führen Sie das Panel durch und vergleichen Sie die synthetische Verteilung mit dem Original. Die meisten Beschaffungsprüfungen, die diese Übung durchführen, sehen Korrelationen im Bereich von 0,85 bis 0,95, konsistent mit der veröffentlichten Literatur.

Wann man was verwenden sollte

Verwenden Sie künstliche Befragte (Minds oder Äquivalent) für die explorative Phase jedes Forschungsprogramms: die Konzept-Test-Runden vor dem finalen Test, die Nachrichtentext-Iterationen vor der finalen Textentscheidung, die Persona-Verteilungsanalyse, die die Segmentierung informiert, die Preiserkundung in Preisbändern, die die endgültige quantitative Studie auslotet. Die Genauigkeit ist gut genug für die Entscheidungen, die die Exploration finanziert, und die Kosten pro Test sind um zwei Größenordnungen niedriger als bei der Forschung mit menschlichen Panels.

Verwenden Sie menschliche Befragte für die endgültige Validierungsphase, wenn die Entscheidung es erfordert. Das sich herausbildende Muster: für zehn Explorationsstudien auf künstliche setzen, für eine Validierungsstudie am Ende auf menschliche. Die Gesamtkosten sind 70 bis 90 Prozent niedriger als bei der Durchführung aller elf mit menschlichen Befragten, und der letzte Validierungsschritt liefert die realen menschlichen Daten im Protokoll.

Verwenden Sie tiefgehende Verhaltenssimulationen (Aaru), wenn es um Dynamiken auf Bevölkerungsebene geht, nicht um individuelle Präferenzen. Die Validierungsfrage für Aaru ist die EY-Partnerschaft mit etwa 90 Prozent Korrelation; dies ist das richtige Niveau für die Fragen, die damit beantwortet werden sollen.

Das Fazit

Die Genauigkeitsdebatte ist geklärt. Künstliche Befragte erreichen bei Präferenzfragen zwischen 80 und 95 Prozent Genauigkeit im Vergleich zu menschlichen, validiert durch veröffentlichte Forschung und in Unternehmensstudien repliziert. Die verbleibende Frage ist operationell: Welche Schritte im Research-Workflow sollten ökonomisch auf Synthetik durchgeführt werden, welche benötigen noch Menschen, und wie sind die beiden in ein Forschungsprogramm zu sequenzieren, das sowohl die Genauigkeitsdaten als auch die Kostenstruktur respektiert.

Die Antwort für die meisten Teams im Jahr 2026: Künstliche Befragte für Exploration und Iteration einsetzen, menschliche Befragte für den abschließenden Validierungsschritt verwenden, wenn die Entscheidung es erfordert. Dieses Muster liefert zwei- bis dreimal mehr Forschungsoberfläche bei gleichem Budget und bewahrt die menschliche Datenqualität, wo sie tatsächlich zählt.

Testen Sie einen kostenlosen Minds-Account