GSS 2024: Unsicherheit bewahren verbessert den Survey-Fit
Ein zielseparierter GSS-Pilot vergleicht vier Antwortbedingungen über 360 Personen und 17 Fragen hinweg und trennt Wahrscheinlichkeitsabfragen vom Profilwert.
Der GSS-Pilot 2024 erreichte eine aggregierte Approximation von 92.47% mit Wahrscheinlichkeitsantworten strukturierter Profile. Sein mittlerer Verteilungsfehler lag bei 7.53 Prozentpunkten über 17 Fragen und 360 gematchte Befragte hinweg. Die entscheidende Erkenntnis war nicht bloß ein hoher Endwert: Die Erfassung von Wahrscheinlichkeiten verbesserte den Verteilungs-Fit gegenüber der Abfrage einer einzelnen erzwungenen Antwort erheblich.
Was verglichen wurde
Die Evaluation nutzte reale Einstellungs- und Verhaltensantworten der GSS als zurückgehaltene Zielwerte. Vier Bedingungen unterschieden das Antwortformat vom Kontext, der dem Modell bereitgestellt wurde: generische Forced Choice, generische Wahrscheinlichkeit, demografische Wahrscheinlichkeit und strukturierte Profil-Wahrscheinlichkeit. Die Kandidaten wurden versiegelt, bevor die Evaluationsziele geöffnet wurden.
Das Profil enthielt strukturierte Befragungsdaten, nicht die vollständige produktive Mind-Repräsentation. Das Experiment lief in einer isolierten Testumgebung. Sein Ergebnis stützt die getestete Antwortmethode, garantiert jedoch keine identische Genauigkeit für jede produktive Zielgruppe.
Ergebnisse über die vier Bedingungen hinweg
Mittlerer absoluter Item-Fehler
Berichtete Ergebnisse dieser Studie. Tabelle und Diskussion erläutern Geltungsbereich, Baselines und Unsicherheit.
- Generische Forced Choice25,74
- Generische Wahrscheinlichkeit8,44
- Demografische Wahrscheinlichkeit7,67
- Strukturierte Profil-Wahrscheinlichkeit7,53
| Bedingung | Mittlerer absoluter Item-Fehler |
|---|---|
| Generische Forced Choice | 25.74 pp |
| Generische Wahrscheinlichkeit | 8.44 pp |
| Demografische Wahrscheinlichkeit | 7.67 pp |
| Strukturierte Profil-Wahrscheinlichkeit | 7.53 pp |
Die Approximation entspricht 100 abzüglich des mittleren absoluten Prozentpunktfehlers. Die resultierenden 92.47% fassen die Passung der Antwortverteilung zusammen, nicht den Prozentsatz einzelner Befragter, deren Auswahl korrekt vorhergesagt wurde. Die Anzahl der Antwortoptionen und die Aggregationsmethode beeinflussen diese Kennzahl.
Die registrierte Resampling-Schätzung für generische Wahrscheinlichkeit gegenüber Forced Choice ergab eine Fehlerreduktion von 16.51 Punkten. Dies ist die ausgewiesene Bootstrap-Schätzung, keine Subtraktion der gerundeten deskriptiven Tabellenwerte. Sie isoliert den Vergleich der Antwortformate; sie darf nicht als Überlegenheit des Profils oder des Basismodells interpretiert werden.
Was der Profilvergleich beiträgt
Strukturierte Profile wiesen einen geringen deskriptiven Vorteil gegenüber der demografischen Wahrscheinlichkeit auf. Der registrierte Profil-Lift betrug 0.17 Punkte, mit einem 95%-Intervall von -1.00 bis +1.31. Das Intervall schloss die Null ein, und die Profilbedingung erfüllte ihr Hochstufungskriterium nicht. Die Studie liefert daher ein gemischtes Gesamtergebnis, auch wenn die Wahrscheinlichkeitsabfrage ein wertvolles positives Ergebnis lieferte.
Die praktische Unterscheidung ist wesentlich: Ein besserer Verteilungs-Fit durch Wahrscheinlichkeitsabfragen belegt für sich genommen noch nicht, dass zusätzliche biografische Details von Nutzen sind. Ein fairer Grounding-Vergleich hält das Antwortformat konstant.
Was Teams aus diesem Ergebnis mitnehmen können
Wenn das Ziel eine Verteilung von Umfrageantworten ist, kann das Bewahren von Unsicherheit aufschlussreicher sein, als jeden synthetischen Befragten auf eine einzelne kategoriale Antwort zu reduzieren. Evaluationen sollten sowohl eine gematchte generische Wahrscheinlichkeits-Baseline als auch eine demografische Baseline beibehalten, damit der inkrementelle Beitrag von reichhaltigerem Kontext sichtbar bleibt.
Diese Studie liefert weder eine repräsentative Schätzung für eine beliebige Kundenzielgruppe noch eine exakte individuelle Vorhersage oder eine Fehlergarantie bei neuen Fragebögen. Das Zurückhalten von Laufzeit-Zielen kann zudem nicht beweisen, dass öffentlich zugängliche Daten niemals im Pretraining des Modells vorkamen.
Die Evidenz-Übersicht stellt GSS neben vier weitere Umfragevergleiche. Das ANES-Follow-up testet spätere Antworten anhand früherer Angaben der Befragten. Der Gen-Z-Vergleich im Produkt evaluiert eine separate Kohorte persistenter Minds.
