PISA 2022: Beş Ülkede Sentetik Anket Uyumu
Beş ülkeyi kapsayan bir PISA karşılaştırması; ağırlıklı dağılım hataları ve net ülke ve dil sınırlandırmaları eşliğinde 600 öğrenciyi ve ayrılmış on soruyu değerlendiriyor.
PISA 2022 karşılaştırması, kompakt profil olasılık yanıtları kullanarak %93.80 toplam yakınsama oranına ulaştı. Beş ülkeden 600 öğrenciye ait ayrılmış on madde genelinde ağırlıklı ortalama dağılım hatası 6.20 yüzde puan oldu.
Tekrarlanabilir olumlu bulgu, yanıt formatıyla ilgiliydi. Genel olasılıklar, genel zorunlu seçimlere kıyasla ağırlıklı hatayı 14.86 puan azalttı ve değerlendirilen her ülke ve soru ailesinde olumlu etkiler gösterdi.
Uluslararası karşılaştırma
Örneklem Birleşik Krallık, Almanya, Japonya, Meksika ve Amerika Birleşik Devletleri'nin her birinden 120 öğrenciyi içeriyordu. On soru beş soru ailesini kapsadı. Koşullar genel zorunlu seçim, genel olasılık, ülke artı demografik olasılık ve kompakt profil olasılığını karşılaştırdı.
Test, tüm ülkelerde İngilizce ana metin kullandı. Beş yerelleştirilmiş dildeki anketin performansını değil, ülke bağlamını değerlendirdi. İnsan değerlendirme sonuçları çalışma zamanı girdilerinden ayrı tutuldu.
Ağırlıklı dağılım sonuçları
Ağırlıklı ortalama mutlak hata
Bu çalışma için raporlanan sonuçlar. Tablo ve tartışma, kapsamı, temel karşılaştırmaları ve belirsizliği açıklar.
- Genel zorunlu seçim22,29
- Genel olasılık7,42
- Ülke ve demografi olasılığı6,59
- Kompakt profil olasılığı6,20
| Koşul | Ağırlıklı ortalama mutlak hata |
|---|---|
| Genel zorunlu seçim | 22.29 pp |
| Genel olasılık | 7.42 pp |
| Ülke ve demografi olasılığı | 6.59 pp |
| Kompakt profil olasılığı | 6.20 pp |
Yakınsama, 100'den ağırlıklı ortalama mutlak yüzde puanı hatasının çıkarılmasıyla elde edilir. %93.80 sonucu, 6.20 puanlık hatanın bir dönüşümüdür; öğrencilerin %93.80'inin bireysel olarak doğru tahmin edildiği yönünde bir iddia değildir.
Kayıt altına alınan ağırlıklı olasılık artışı, 8.78 ile 18.96 arasındaki %95 aralığıyla 14.8631 puan (yuvarlanmış haliyle 14.86) oldu. Bu karşıtlık, genel model koşulu dahilinde zorunlu yanıtlara karşı olasılık toplama ile ilgilidir. Minds profillerinin başka bir temel modelden bu oranda daha iyi performans gösterdiği şeklinde tanımlanmamalıdır.
Ülke kapsamı evrensel profil değeri anlamına gelmez
Kompakt profilin ülke ve demografiye kıyasla küçük bir tanımlayıcı avantajı vardı. Kayıt altına alınan artış, -0.53 ile +1.47 arasındaki bir aralıkla 0.40 puan oldu ve bu durum artımlı toplam etkiyi belirsiz kıldı.
Profil koşulu, ülke ve soru ailesi geçiş kriterini karşılayamadı ve demografiye kıyasla bireysel Brier skorunu ve kesin doğruluğu kötüleştirdi. Bu nedenle çalışma, olumlu olasılık elde etme bulgusuna rağmen karışık bir sonuca sahiptir.
Bu sınır, uluslararası bir sonucu yorumlarken önem taşır. Olumlu bir ağırlıklı ortalama, daha zengin bir profilin her ülkenin sonucunu veya her soru ailesini iyileştirdiği anlamına gelmez.
Bu kanıtların geçerli olduğu alanlar
Deney, hedef bir dağılım olduğunda sentetik yanıtlarda belirsizliğin korunmasını destekliyor. Ülke düzeyindeki tutarlılığı, yanıt formatı bulgusunu tek bir ulusal veri setinin ötesinde güçlendiriyor.
Resmi OECD nüfus tahminleri üretmez, her eğitim konusunu doğrulamaz veya çok dilli istem doğruluğunu kanıtlamaz. İzole test ortamı sonucu, mevcut her ürün yolunda aynı performansın sergileneceğini de garanti etmez. Çalışma zamanı hedeflerinin hariç tutulması, modelin ön eğitimi sırasında kamuya açık verilere maruz kalma ihtimalini ortadan kaldıramaz.
Bir müşteri kararı için geçerli soru; ölçüm aracının, hedef kitlenin, dilin ve puanlama yönteminin planlanan kullanımla eşleşip eşleşmediğidir. Bir karşılaştırma puanı beklenen bir sonuç olarak ele alınmadan önce bu farklılıklar kontrol edilmelidir.
CES anket karşılaştırması çeşitli yanıt biçimlerini kapsamaktadır. Z Kuşağı üretim çalışması ürün üzerinden başka bir hedef kitleyi test etmektedir. Kanıt genel bakışı ise uluslararası, ürün ve nitel kanıtları birbirinden ayrı tutmaktadır.
