PRISM Uyumu: Ayrılmış Yanıtlarda Katılımcı Uyumu Testi
299 kişi ve 869 maddelik bir karşılaştırma, temellendirilmiş Minds profillerinin katılımcıların değerlerini ve gerekçelerini daha iyi yansıtıp yansıtmadığını kör bir değerlendirici ve net görev sınırlarıyla ölçüyor.
Harici PRISM Alignment Veri Seti kullanılarak yapılan doğrulayıcı bir karşılaştırmada, tam Minds modelleri kör katılımcı uyumu değerlendirmelerinin %32.6'sını kazandı. Bu oran demografik istemlerde %25.7, genel istemlerde ise %20.5 oldu. En güçlü kazanımlar değerlerin ifadesi, özgüllük ve jenerikliğin azaltılması alanlarında görüldü.
Bu PRISM veri seti harici bir kıyaslama ölçütüdür. Tescilli Minds PRISM kaynak modelleme motorundan farklıdır.
Katılımcılar, hedefler ve koşullar
Çalışmada Birleşik Krallık'tan 299 katılımcı ve 869 katılımcı-alan maddesi değerlendirildi. Üç farklı koşulda puanlanan 2,607 çıktı üretildi: prodüksiyon hattı üzerinden tam Minds modelleri, yalnızca demografik istemler ve genel istemler.
Seçim sonuçtan bağımsız şekilde kör yapıldı ve gerçek katılımcı yanıtları üretim sürecinin dışında tutuldu (held-out). Tek bir kör LLM değerlendirici, koşulları gizlenmiş ve metin uzunlukları eşitlenmiş karşılaştırmaları inceledi. Bu bir otomatik katılımcı uyumu değerlendirmesidir, bağımsız insan hakem doğrulaması değildir.
Değerlendiricinin tercihleri
Değerlendirilen maddelerin payı
Bu çalışma için raporlanan sonuçlar. Tablo ve tartışma, kapsamı, temel karşılaştırmaları ve belirsizliği açıklar.
- Tam Minds kazandı%32,5662
- Demografik istem kazandı%25,6617
- Genel istem kazandı%20,4833
- Beraberlik%21,2888
| Sonuç | Değerlendirilen maddelerin payı |
|---|---|
| Tam Minds kazandı | 32.5662% |
| Demografik istem kazandı | 25.6617% |
| Genel istem kazandı | 20.4833% |
| Beraberlik | 21.2888% |
Kayıtlı genel karşılaştırma, Minds modellerinin genel istemlere göre 12.04 yüzde puanlık, demografik istemlere göre ise 6.69 puanlık bir avantaja sahip olduğunu bildirdi. Bunlar kayıtlı karşılaştırma tahminleridir; ayrı ayrı özetlenen gösterim oranlarının birbirinden çıkarılmasıyla karıştırılmamalıdır.
Kazanma oranı, anket yaklaşımı anlamına gelmez. Bu oran, değerlendiricinin katılımcı uyumu rubriği kapsamında ilgili adayı tercih ettiğini gösterir; katılımcı yanıtlarının aynı oranda birebir kopyalandığı anlamına gelmez. Ciddi bir beraberlik payı da sonucun bir parçası olmaya devam etmektedir.
Görev sınırları
Değer odaklı ve tartışma odaklı görevler en net avantajı sağladı. Bu sorular katılımcının gerekçelerine ve daha önce ifade ettiği bakış açısına bağlı olabildiğinden, daha zengin bir bağlamsal temellendirme doğrudan önem kazanmaktadır.
Bu avantaj her göreve yansımadı. Kısa günlük istemlerde Minds %13.8 kazanırken, genel istemler %30.5 ve demografik istemler %34.0 oranında kazandı. Yönlendirmesiz istemler de daha zayıf kaldı. Genel anlamsal benzerlik anlamlı ölçüde artmadı ve uzunluk eşleştirmeli sözcüksel benzerlik her iki referans noktasından da daha düşük çıktı.
Bu bulgular, genel sonucun evrensel bir yanıt doğruluğu zaferi değil, kısmi bir başarı olduğunu gösteriyor. Ayrıca katılımcı uyumu ile ifade biçimini kopyalama arasındaki farkı da netleştiriyor. Bir yanıt, bir kişinin gerekçelerini onun söz dizimini birebir yansıtmadan da yansıtabilir ve akıcı bir günlük yanıtın her zaman daha ayrıntılı profil detaylarına ihtiyacı olmayabilir.
Bu sonuçların desteklediği çıkarımlar
Desteklenen iddia daha dar kapsamlı ve pratiktir: Temellendirilmiş Minds modelleri, değerlendirilen grupta genel olarak -özellikle değerler ve özgüllük açısından- hakem tarafından değerlendirilen katılımcı uyumunu artırmıştır. Daha güçlü doğruluk iddiaları için bağımsız insan değerlendiriciler ve ilave alanlar önemini korumaktadır.
Ayrılmış mülakat doğrulaması, diğer iki derlemdeki önceki kanıtları ve sonraki yanıtları inceliyor. Temel model karşılaştırması, bu temellendirilmiş iş akışının genel model yanıtlarıyla nasıl karşılaştırıldığını ele alıyor. Kanıt genel bakışı ise bu nitel metrikleri anket yaklaşımından ayırıyor.
