PISA 2022: Synthetische Survey-Passung über fünf Länder
Ein Fünf-Länder-PISA-Vergleich evaluiert 600 Schüler und zehn zurückgehaltene Fragen, mit gewichteten Verteilungsfehlern sowie expliziten Länder- und Sprachgrenzen.
Der PISA-2022-Vergleich erreichte eine aggregierte Annäherung von 93.80% unter Verwendung von Wahrscheinlichkeitsantworten kompakter Profile. Der gewichtete mittlere Verteilungsfehler lag bei 6.20 Prozentpunkten über zehn zurückgehaltene Items von 600 Schülern in fünf Ländern.
Die replizierbare positive Erkenntnis betraf das Antwortformat. Generische Wahrscheinlichkeiten reduzierten den gewichteten Fehler um 14.86 Punkte gegenüber generischen erzwungenen Entscheidungen, mit positiven Effekten über jedes untersuchte Land und jede Fragenfamilie hinweg.
Der internationale Vergleich
Die Stichprobe umfasste jeweils 120 Schüler aus dem Vereinigten Königreich, Deutschland, Japan, Mexiko und den Vereinigten Staaten. Zehn Fragen deckten fünf Fragenfamilien ab. Verglichen wurden generische erzwungene Auswahl, generische Wahrscheinlichkeit, länderspezifische plus demografische Wahrscheinlichkeit und Kompaktprofil-Wahrscheinlichkeit.
Der Test nutzte für alle Länder den englischen Master-Wortlaut. Er evaluierte den Länderkontext, nicht die Leistung von fünf Fragebögen in lokalisierter Sprache. Die Ergebnisse der menschlichen Evaluierung wurden von den Runtime-Inputs ausgeschlossen.
Gewichtete Verteilungsergebnisse
Gewichteter mittlerer absoluter Fehler
Berichtete Ergebnisse dieser Studie. Tabelle und Diskussion erläutern Geltungsbereich, Baselines und Unsicherheit.
- Generische erzwungene Auswahl22,29
- Generische Wahrscheinlichkeit7,42
- Länder- und demografische Wahrscheinlichkeit6,59
- Kompaktprofil-Wahrscheinlichkeit6,20
| Bedingung | Gewichteter mittlerer absoluter Fehler |
|---|---|
| Generische erzwungene Auswahl | 22.29 pp |
| Generische Wahrscheinlichkeit | 7.42 pp |
| Länder- und demografische Wahrscheinlichkeit | 6.59 pp |
| Kompaktprofil-Wahrscheinlichkeit | 6.20 pp |
Die Annäherung berechnet sich als 100 minus der gewichtete mittlere absolute Prozentpunktfehler. Das Ergebnis von 93.80% ist eine Transformation des Fehlers von 6.20 Punkten, keine Behauptung, dass 93.80% der Schüler individuell korrekt vorhergesagt wurden.
Der registrierte gewichtete Wahrscheinlichkeits-Lift betrug 14.8631 Punkte, gerundet 14.86, mit einem 95%-Intervall von 8.78 bis 18.96. Dieser Kontrast betrifft die Erfassung von Wahrscheinlichkeiten gegenüber erzwungenen Antworten innerhalb der generischen Modellbedingung. Er darf nicht so dargestellt werden, als hätten Minds-Profile ein anderes Basismodell um diesen Wert übertroffen.
Länderabdeckung bedeutet keinen universellen Profilnutzen
Das kompakte Profil zeigte einen geringen deskriptiven Vorteil gegenüber Land und Demografie. Der registrierte Lift lag bei 0.40 Punkten, mit einem Intervall von -0.53 bis +1.47, womit der inkrementelle Gesamteffekt uneinheitlich bleibt.
Die Profilbedingung verfehlte ihr Promotion-Gate bezüglich Ländern und Fragenfamilien und verschlechterte den individuellen Brier-Score sowie die exakte Genauigkeit im Vergleich zu rein demografischen Angaben. Die Studie weist daher trotz ihres positiven Befunds zur Wahrscheinlichkeitsabfrage ein gemischtes Ergebnis auf.
Diese Abgrenzung ist entscheidend bei der Interpretation internationaler Resultate. Ein vorteilhafter gewichteter Durchschnitt bedeutet nicht, dass ein reichhaltigeres Profil die Ergebnisse für jedes Land oder jede Fragenfamilie verbessert.
Wo diese Evidenz greift
Das Experiment stützt den Ansatz, Unsicherheit in synthetischen Antworten beizubehalten, wenn das Ziel eine Verteilung ist. Die länderspezifische Konsistenz stärkt den Befund zum Antwortformat über einen einzelnen nationalen Datensatz hinaus.
Es liefert keine offiziellen OECD-Populationsschätzungen, validiert nicht jedes Bildungsthema und belegt keine mehrsprachige Prompting-Genauigkeit. Das isolierte Testumfeld garantiert zudem keine identische Leistung auf jedem aktuellen Produktpfad. Das Zurückhalten von Runtime-Zielen kann eine Exposition gegenüber öffentlichen Daten während des Vortrainings der Modelle nicht ausschließen.
Für eine Kundenentscheidung bleibt die maßgebliche Frage, ob Erhebungsinstrument, Zielgruppe, Sprache und Scoring-Methode zum geplanten Einsatzbereich passen. Diese Unterschiede sollten geprüft werden, bevor ein Benchmark-Wert als garantiertes Ergebnis verstanden wird.
Der CES-Fragebogenvergleich behandelt verschiedene Antwortformen. Die Gen-Z-Produktionsstudie testet eine weitere Zielgruppe direkt im Produkt. Die Evidenzübersicht hält internationale, produktbezogene und qualitative Daten sauber getrennt.
