ANES 2024: Vergleich synthetischer und späterer menschlicher Antworten
Ein ANES-Vor-/Nachwahlvergleich testet 300 gematchte Personen anhand von 28 späteren Antworten, mit getrennten Ergebnissen für Antwortformat und Teilnehmer-Grounding.
Der ANES-2024-Vergleich erreichte unter Verwendung von Wahrscheinlichkeitsantworten mit abgerufenen Profilen eine aggregierte Annäherung von 91.67% bzw. einen mittleren Verteilungsfehler von 8.33 Prozentpunkten. Die deutlichste gemessene Verbesserung ergab sich aus der Wahrscheinlichkeitsabfrage: Generische Wahrscheinlichkeitsantworten reduzierten den Fehler im Vergleich zu generischen erzwungenen Antwortentscheidungen um 12.47 Punkte.
Anders als ein Vergleich, der bereits an ein Modell übermittelte Antworten rekonstruiert, nutzte dieses Design frühere Vorwahlbelege der Befragten und evaluierte spätere, zurückgehaltene Nachwahlantworten.
Der longitudinale Test
Die Stichprobe umfasste 300 gematchte Befragte und 28 spätere Items. Menschliche Zielwerte wurden von der Laufzeitgenerierung vorenthalten und Kandidaten vor der Auswertung versiegelt. Die Bedingungen unterteilten sich in eine generische erzwungene Antwort, generische Wahrscheinlichkeiten, demografische Wahrscheinlichkeiten sowie Wahrscheinlichkeiten, die auf abgerufenen Profilbelegen basierten.
Frühere Belege können Kontext über eine befragte Person liefern, doch das ist nicht dasselbe wie die Kenntnis ihrer späteren Antwort. Die zeitliche Trennung macht dies zu einem nützlichen Test dafür, ob vorherige Informationen auf einen nachfolgenden Fragebogen übertragbar sind.
Verteilungsergebnisse
Mittlerer absoluter Item-Fehler
Berichtete Ergebnisse dieser Studie. Tabelle und Diskussion erläutern Geltungsbereich, Baselines und Unsicherheit.
- Generische erzwungene Auswahl22,782
- Generische Wahrscheinlichkeit10,312
- Demografische Wahrscheinlichkeit8,263
- Wahrscheinlichkeit mit abgerufenem Profil8,330
| Bedingung | Mittlerer absoluter Item-Fehler |
|---|---|
| Generische erzwungene Auswahl | 22.782 pp |
| Generische Wahrscheinlichkeit | 10.312 pp |
| Demografische Wahrscheinlichkeit | 8.263 pp |
| Wahrscheinlichkeit mit abgerufenem Profil | 8.330 pp |
Die finale Annäherungstransformation lautet 100 minus 8.33, was 91.67% ergibt. Sie beschreibt den durchschnittlichen Verteilungsfehler auf Antwortzellenebene, keine individuelle Vorhersagegenauigkeit und keine Prognose von Wahlergebnissen.
Für den Vergleich zwischen generischer Wahrscheinlichkeit und generischer erzwungener Auswahl betrug die verzeichnete Verbesserung 12.47 Prozentpunkte. Kein evaluiertes Item verschlechterte sich bei diesem Kontrast um mehr als zwei Punkte. Das Ergebnis zum Antwortformat ging somit über ein isoliertes Item hinaus.
Grounding und Aggregation sind unterschiedliche Fragestellungen
Abgerufene Profile verbesserten den aggregierten mittleren absoluten Fehler gegenüber demografischen Wahrscheinlichkeits-Prompts nicht. Die verzeichnete Differenz lag bei +0.046 Fehlerpunkten, mit einem Intervall, das die Null einschließt. Die deskriptive Tabelle zeigt die demografische Wahrscheinlichkeit ebenfalls leicht im Vorteil.
Profile verbesserten den individuellen Brier-Score und die exakte Genauigkeit moderat, verschlechterten jedoch die Populationskalibrierung geringfügig. Diese Resultate können nebeneinander existieren: Die Vorhersage der Antwort einer Einzelperson und die Rekonstruktion der Verteilung einer Zielgruppe sind unterschiedliche Ziele. Nur die günstige Metrik auszuwählen, würde die Studie verfälschen.
Das Gesamtergebnis des Experiments ist gemischt. Es stützt die Wahrscheinlichkeitsabfrage, lässt jedoch den primären inkrementellen aggregierten Nutzen von Profilen unbestätigt.
Implikationen und Grenzen
Teams sollten ihr Evaluationsziel definieren, bevor sie synthetische Zielgruppen vergleichen. Eine Aufgabe auf Ebene individueller Antworten verlangt nach individuellen Metriken; eine Zielgruppenverteilung erfordert aggregierte Kalibrierung. Ein guter Wert bei der einen kann die andere nicht ersetzen.
Dies war eine isolierte Testumgebung mit strukturierten Vorwahlbelegen, nicht die vollständige trainierte Produktions-Mind-Pipeline. Die evaluierte Stichprobe und die späteren Fragen begründen keine allgemeine Gültigkeit für jede politische Zielgruppe oder jedes Erhebungsinstrument. Das Zurückhalten zur Laufzeit schließt ein vorheriges Vorkommen in öffentlichen Trainingsdaten des Modells nicht aus.
Das GSS-Pilotprojekt liefert einen weiteren Antwortformat-Vergleich. Die CES-Studie erweitert das Instrument auf mehrere Frageformen. Die Evidenzübersicht hält deren Werte und Geltungsbereiche getrennt.
