Kann KI eine echte Gen-Z-Ernährungsumfrage rekonstruieren? Minds erreichte eine Annäherung von 93.99%
Über drei Fragen zur Mahlzeitenhäufigkeit und 21 Antwortoptionen hinweg wiesen die Minds eine durchschnittliche Abweichung von 6.01 Prozentpunkten auf, erreichten eine durchschnittliche Verteilungsüberlappung von 78.98% und schlossen jede geplante Antwort erfolgreich ab.
Eine reale britische Umfrage fragte junge Menschen, wie oft sie auswärts essen oder Take-away-Essen zum Frühstück, Mittag- und Abendessen kaufen. Diese ergebnisblinde, angewandte Validierung stellte dieselben Fragen einer geschlossenen Zielgruppe von 301 Gen-Z-Minds und verglich die aggregierten Antwortverteilungen mit den veröffentlichten menschlichen Ergebnissen.
Das Hauptergebnis war eine aggregierte Annäherung von 93.99% an die realen Umfrageverteilungen. Über 21 Antwortoptionen hinweg betrug die durchschnittliche Abweichung 6.01 Prozentpunkte. Alle 903 geplanten Antworten auf die Mind-Fragen wurden erfolgreich abgeschlossen.
Die Analyse bewertet die aggregierte Übereinstimmung der Verteilungen. Sie interpretiert das Ergebnis nicht als individuelle Vorhersagegenauigkeit oder als Beweis dafür, dass dieselbe Leistung für jede Zielgruppe und jeden Fragetyp gilt.
Die Mahlzeitenhäufigkeit hängt von Routine, Arbeit oder Studium, Budget, Bequemlichkeit, sozialem Kontext und lokaler Verfügbarkeit ab. Sie bietet daher einen praktischen Test dafür, ob eine synthetische Zielgruppe eine vollständige Verteilung von Konsumentenantworten reproduzieren kann, anstatt nur plausible qualitative Kommentare zu generieren.
Die Referenz stammt aus der Studie Food and You 2, Wave 10 der britischen Food Standards Agency. Die Feldarbeit lief vom 9. Oktober 2024 bis zum 7. Februar 2025, und der öffentliche Datensatz wurde am 25. September 2025 veröffentlicht. Die Analyse nutzte die veröffentlichten Ergebnisse für Personen im Alter von 16 bis 24 Jahren, mit einer menschlichen Fallzahl von n=257 für jedes bewertete Item.
Die drei registrierten Fragen lauteten:
Wie oft essen Sie auswärts oder kaufen Essen zum Mitnehmen zum Frühstück?
Wie oft essen Sie auswärts oder kaufen Essen zum Mitnehmen zum Mittagessen?
Wie oft essen Sie auswärts oder kaufen Essen zum Mitnehmen zum Abendessen?
Jede Frage hatte sieben registrierte Antwortoptionen. Die konfirmatorische Analyse verglich daher 21 synthetische und menschliche Prozentsätze.
Das synthetische Panel repräsentierte junge Menschen im Alter von 16 bis 24 Jahren in England, Wales und Nordirland. Die geschlossene Kohorte wies Variationen in Bezug auf Alter, Geschlecht, Land, Einkommen, Routinen und sozialen Kontext auf. Alle 301 Minds wurden ausgewählt, bevor die aktuellen Ergebnisse eingesehen wurden.
Zusammensetzung der Zielgruppe
Altersgruppe
1
16–1829%
2
19–2137%
3
22–2434%
Geschlecht
1
Weiblich65%
2
Männlich35%
Land
1
England84%
2
Wales8%
3
Nordirland8%
Food and You 2 Survey: Wave 10 Datensatz
Food and You 2: Wave 10 Forschungsbericht
Hierbei handelte es sich um persistente Zielgruppenmitglieder und nicht um temporäre Charaktere, die für eine einzelne Frage generiert wurden. Das Panel basierte auf 20,500 Wissenselementen, die durch 14,671 Retrieval-Chunks repräsentiert wurden, was eine Wiederverwendung derselben synthetischen Kohorte über verschiedene Forschungsaufgaben hinweg ermöglicht.
Die Studie nutzte ein vorregistriertes Replikationsdesign mit derselben Kohorte:
Schließen der 301-köpfigen synthetischen Zielgruppe.
Stellen der originalen Umfragefragen mit den originalen Antwortoptionen.
Fernhalten der realen Umfrageprozentsätze von der Minds-Laufzeitumgebung.
Aggregieren aller 903 Mind-Antworten in drei vollständige Verteilungen.
Vergleichen jedes synthetischen Prozentsatzes der Antwortoptionen mit dem veröffentlichten menschlichen Ergebnis.
Anstatt Unsicherheit in eine einzige harte Entscheidung zu zwingen, stellten die Minds dar, wie wahrscheinlich es war, dass jedes Zielgruppenmitglied jede verfügbare Antwort wählt. Diese Wahrscheinlichkeiten wurden anschließend zur endgültigen Panelverteilung zusammengeführt.
Designelement
Registrierte Spezifikation
Synthetische Stichprobe
301 persistente Minds im Alter von 16–24 Jahren
Menschliche Referenz
Veröffentlichte Food and You 2-Jugendverteilungen; Basis n=257 pro Frage
Instrument
3 Fragen zur Mahlzeitenhäufigkeit × 7 Optionen
Geplante Antworten
903 Antworten auf Mind-Fragen
Primärer Endpunkt
Ungewichtete mittlere absolute Abweichung in Prozentpunkten über 21 Zellen hinweg
Sekundäre Endpunkte
Verteilungsüberlappung, Jensen-Shannon-Divergenz, Pearson-r und Spearman-rho
Ergebnis-Isolierung
Menschliche Prozentsätze und Benchmark-Dateien von der Laufzeitumgebung vorenthalten
Die prozentuale Annäherung ist definiert als 100% − mittlere absolute Abweichung in Prozentpunkten. Die mittlere Verteilungsüberlappung ist 1 − Gesamtvariationsabstand, gemittelt über die drei Fragen. Die Jensen-Shannon-Divergenz misst den Unterschied in der Verteilungsform in Bits, wobei Null identische Verteilungen anzeigt.
Berichtete Ergebnisse dieser Studie. Tabelle und Diskussion erläutern Geltungsbereich, Baselines und Unsicherheit.
Frühstückshäufigkeit2,98
Mittagessenshäufigkeit6,48
Abendessenshäufigkeit8,56
0Prozentpunkte · niedriger ist besser10
Frage
Annäherung an die reale Umfrage
Durchschnittliche Abweichung zur Realität
Frühstückshäufigkeit
97.02%
2.98 pp
Mittagessenshäufigkeit
93.52%
6.48 pp
Abendessenshäufigkeit
91.44%
8.56 pp
Alle 21 Antwortoptionszellen
93.99%
6.01 pp
Das Frühstück wies den geringsten Fehler auf Zellebene auf, während das Abendessen den höchsten aufwies. Das aggregierte Ergebnis wurde nicht von einer einzelnen Frage dominiert: Jede Frage erreichte eine Annäherung von mehr als 91% an ihre reale Umfrageverteilung.
Da die mittlere absolute Abweichung allein die Verteilungsform nicht vollständig beschreibt, umfasste die Analyse vier ergänzende Prüfungen.
78.98% mittlere Verteilungsüberlappung: Der Großteil der Antwortmasse lag bei den realen und synthetischen Ergebnissen an denselben Stellen.
0.0602 Jensen-Shannon-Divergenz: Die Gesamtformen lagen nah beieinander; Null würde identische Verteilungen bedeuten.
0.804 Pearson-Korrelation: Große und kleine Prozentsätze tendierten dazu, sich gleichläufig zu verhalten.
0.834 Spearman-Korrelation: Die Antwortoptionen wurden nach ihrer Häufigkeit ähnlich eingestuft.
Alle vier Metriken weisen in dieselbe Richtung: Innerhalb dieses Instruments lagen die Verteilungen der Minds sowohl im absoluten Niveau als auch in der relativen Form nahe an der menschlichen Referenz. Die Korrelation wird als begleitendes Maß ausgewiesen und ersetzt nicht die Metriken zur Niveauabweichung.
Jede der 903 akzeptierten Antworten wies eine Provenienz auf:
889 Antworten nutzten abgerufenes Mind-Wissen;
14 Antworten nutzten das intrinsische Profil des Minds;
0 Antworten wurden als ungestützt markiert; und
301 von 301 Minds schlossen jede Frage ab.
Diese Provenienzfelder belegen, dass der Durchlauf den persistenten Mind-Pfad und keine ungestützten Antworten nutzte. Sie beweisen für sich genommen nicht, dass jede abgerufene Erinnerung kausal notwendig für die endgültige Verteilung war.
Innerhalb des getesteten Rahmens stützt das Ergebnis die Verwendung eines fundierten synthetischen Panels für schnelle, iterative Forschung wie:
Testen von Kampagnenaussagen vor den Werbeausgaben;
Vergleichen von Produkt- oder Verpackungskonzepten;
Untersuchen, warum verschiedene Zielgruppensegmente unterschiedlich reagieren;
Verfeinern von Umfragefragen vor der Feldarbeit; und
Identifizieren der vielversprechendsten Richtungen für eine spätere menschliche Validierung.
Das Ergebnis stützt schnelle richtungsweisende und vergleichende Arbeiten. Risikoreiche Behauptungen, regulierte Entscheidungen, präzise Marktgrößenbestimmungen und Fragen außerhalb des validierten Rahmens erfordern möglicherweise weiterhin rekrutierte Befragte und ein entsprechendes menschliches Studiendesign.
Dies war eine unabhängige Minds-Validierung unter Verwendung öffentlicher Daten von Food and You 2. Die Food Standards Agency hat die Referenzumfrage erstellt, die Minds-Studie jedoch weder gesponsert, unterstützt noch überprüft.
Diese Studie stützt
Diese Studie belegt nicht
Enge aggregierte Übereinstimmung bei drei britischen Verteilungen zur Mahlzeitenhäufigkeit von Jugendlichen
Eine Vorhersagegenauigkeit von 93.99% auf individueller Ebene
Vollständige produktive Ausführung für 301 Minds und 903 Antworten
Universelle Leistung über Zielgruppen, Länder, Domänen oder Fragetypen hinweg
Übereinstimmung über MAE-, Überlappungs-, Divergenz- und Korrelationsmetriken hinweg
Kausalen Beweis dafür, dass die Fundierung allein die beobachtete Übereinstimmung hervorgerufen hat
Ergebnis-Isolierung zur Laufzeit
Vollständigen Ausschluss einer indirekten Exposition gegenüber einer öffentlichen Umfrage durch Vortraining oder den persistenten Wissenskorpus
Dies ist eine Replikation mit derselben Kohorte und demselben Instrument, die drei eng miteinander verwandte Fragen aus einer Umfrage abdeckt. Die menschlichen und synthetischen Befragten wurden nicht individuell abgeglichen, und die Analyse vergleicht aggregierte Verteilungen. Für dieses öffentliche Ergebnis wurde kein Stichprobenunsicherheitsintervall aus den menschlichen Mikrodaten geschätzt. Eine weitere Validierung an disjunkten Zielgruppen und Instrumenten ist erforderlich, bevor eine breitere Genauigkeitsbehauptung aufgestellt werden kann.
Wie genau stimmten die Minds mit der realen Food and You-Umfrage überein?
Über 21 Prozentwerte der Antwortoptionen hinweg erreichten die Minds eine aggregierte Annäherung von 93.99% an die reale Umfrage. Die durchschnittliche Abweichung betrug 6.01 Prozentpunkte und die mittlere Verteilungsüberlappung lag bei 78.98%.
Bedeutet eine Annäherung von 93.99%, dass Minds jede einzelne Person korrekt vorhersagt?
Nein. Die Annäherung von 93.99% berechnet sich aus 100% minus der durchschnittlichen prozentualen Abweichung über 21 aggregierte Umfragezellen hinweg. Sie misst, wie genau die Verteilung der Zielgruppe mit der realen Umfrage übereinstimmte, und nicht, ob jede einzelne Antwort korrekt vorhergesagt wurde.
Handelte es sich hierbei um reale Befragte?
Nein. Es handelte sich um 301 persistente synthetische Zielgruppenmitglieder im Alter von 16 bis 24 Jahren. Ihre aggregierten Antworten wurden mit den veröffentlichten Ergebnissen einer realen Umfrage der britischen Food Standards Agency verglichen.
Wurden den Minds die realen Umfrageergebnisse gezeigt?
Nein. Die Fragen und Antwortoptionen wurden reproduziert, aber der Benchmark-Datensatz und die realen Prozentsätze wurden von der Laufzeitumgebung ferngehalten. Da die Quelle öffentlich ist, kann eine indirekte Exposition durch das Vortraining des Modells oder den persistenten Wissenskorpus nicht vollständig ausgeschlossen werden.
Was unterscheidet dies davon, eine allgemeine KI 301-mal zu prompten?
Die Minds waren persistente Zielgruppenmitglieder, die auf 20,500 Wissenselementen und 14,671 Retrieval-Chunks basierten. In diesem Durchlauf nutzten 889 von 903 Antworten abgerufenes Mind-Wissen, 14 nutzten das intrinsische Profil und keine war ungestützt.
