CES 2024: Survey-Fit über mehrere Frageformate hinweg
Ein CES-Vergleich evaluiert 300 gematchte Befragte anhand von 27 binären, ordinalen und Multiselect-Fragen und trennt aggregierten Fit von individueller Vorhersage.
Der CES-2024-Test erreichte eine aggregierte Approximation von 95.28% bei Antworten auf Basis von Profilwahrscheinlichkeiten, was einem mittleren Verteilungsfehler von 4.72 Prozentpunkten entspricht. Über den Vergleich der Antwortformate hinweg reduzierte die Wahrscheinlichkeitserfassung den Fehler um eine registrierte Bootstrap-Schätzung von 19.72 Punkten gegenüber erzwungenen Antworten (Forced Choice).
Die Studie erweitert die Survey-Evidenz über ein einzelnes Frageformat hinaus. Sie zeigt zudem, warum ein finaler Approximationswert stets von gematchten Baselines begleitet werden muss.
Der evaluierte Fragebogen
Der Vergleich nutzte 300 gematchte CES-Befragte und 27 zurückgehaltene Fragen: 15 ordinale, 10 binäre und zwei Multiselect-Batterien. Frühere Angaben der Befragten lieferten den Kontext; die Evaluationsantworten blieben bei der Generierung zurückgehalten.
Die vier Bedingungen waren generische Forced Choice, generische Wahrscheinlichkeiten oder Marginalwerte, demografische Wahrscheinlichkeiten und Vollprofil-Wahrscheinlichkeiten. Multiselect-Optionen erfordern Marginalwahrscheinlichkeiten, da Befragte mehr als eine Option wählen können. Ihre Interpretation unterscheidet sich von einem Single-Choice-Wahrscheinlichkeitsvektor.
Die gemessenen Verteilungen
Mittlerer absoluter Item-Fehler
Berichtete Ergebnisse dieser Studie. Tabelle und Diskussion erläutern Geltungsbereich, Baselines und Unsicherheit.
- Generische Forced Choice26,927
- Generische Wahrscheinlichkeiten oder Marginalwerte7,036
- Demografische Wahrscheinlichkeit4,563
- Vollprofil-Wahrscheinlichkeit4,720
| Bedingung | Mittlerer absoluter Item-Fehler |
|---|---|
| Generische Forced Choice | 26.927 pp |
| Generische Wahrscheinlichkeiten oder Marginalwerte | 7.036 pp |
| Demografische Wahrscheinlichkeit | 4.563 pp |
| Vollprofil-Wahrscheinlichkeit | 4.720 pp |
Approximation ist 100 minus mittlerer absoluter Prozentpunktfehler. Der Wert von 95.28% beschreibt somit den durchschnittlichen Verteilungs-Fit auf diesen evaluierten Fragen. Es handelt sich nicht um einen Prozentsatz präzise simulierter Personen.
Der registrierte Bootstrap-Wahrscheinlichkeits-Lift betrug 19.719 Punkte, gerundet auf 19.72. Der ausgewiesene Punktekontrast lag bei 19.892 Punkten mit einem 95%-Intervall von 16.257 bis 23.401. Die Bootstrap-Zusammenfassung und die dargestellten Bedingungsmittelwerte nutzen unterschiedliche Aggregationen und Rundungen; sie sollten nicht stillschweigend durcheinander ersetzt werden.
Was reichhaltigere Profile verbesserten - und was nicht
Vollständige Profile schnitten besser ab als generisches Wahrscheinlichkeits-Prompting, übertrafen jedoch gematchte demografische Wahrscheinlichkeiten bei der primären aggregierten Metrik nicht. Der Lift von Profilen gegenüber Demografie lag bei -0.157 Punkten, und sein Intervall schloss die Null ein.
Die individuelle Genauigkeit verbesserte sich mit dem Profilkontext, während der aggregierte Fehler geringfügig schlechter ausfiel als bei reinen Demografiedaten. Das Ergebnis ist daher gemischt: Es liefert einen starken Befund zum Antwortformat, aber keinen bestätigten aggregierten Vorteil der Vollprofil-Bedingung gegenüber der rein demografischen Bedingung.
Es standen lediglich zwei Multiselect-Batterien zur Verfügung. Dies ist Evidenz aus einem gemischten Fragebogen, keine universelle Validierung der Multiselect-Kalibrierung über verschiedene Domänen und Instrumente hinweg.
Die Evidenz in der Praxis anwenden
Für Verteilungsschätzungen sollten Datenerhebung und Aggregation als explizite Bestandteile des Forschungsdesigns behandelt werden. Eine kategoriale Forced-Choice-Baseline kann den Wert von Profilen nicht isolieren, wenn der reichhaltigeren Zielgruppe die Rückgabe von Wahrscheinlichkeiten erlaubt ist.
Ein Vergleich sollte zudem klar benennen, ob das Ziel ein Populations-Fit auf Item-Ebene oder eine individuelle Vorhersage ist. Mehr Kontext ist nicht automatisch für beides besser. Die getestete Stichprobe, die Modellkonfiguration und der Fragebogen definieren die Grenze der Aussagekraft.
Dieser Test in einer isolierten Testumgebung garantiert weder das aktuelle Produktverhalten noch repräsentative Schätzungen für neue Kundenzielgruppen. Ein Pretraining-Exposure gegenüber öffentlichen Quellen bleibt selbst bei einer Zieltrennung zur Laufzeit möglich.
Die ANES-Längsschnittstudie untersucht dieselbe Unterscheidung zwischen aggregierter und individueller Ebene. Der PISA-Vergleich ergänzt ein Fünf-Länder-Setting. Die Evidenzübersicht verknüpft diese Ergebnisse, ohne sie zu einem einzigen Score zu verschmelzen.
