·Validation·Minds Team

Yapay Zeka Gerçek Bir Gen Z Gıda Araştırmasını Yeniden Üretebilir mi? Minds %93.99 Yakınsamaya Ulaştı

Üç öğün sıklığı sorusu ve 21 yanıt seçeneği hücresi genelinde Minds, ortalama 6.01 yüzde puanlık bir hata payı kaydetti, %78.98 dağılım örtüşmesine ulaştı ve planlanan tüm yanıtları tamamladı.

Birleşik Krallık'ta gerçekleştirilen gerçek bir araştırmada gençlere kahvaltı, öğle yemeği ve akşam yemeği için ne sıklıkla dışarıda yemek yedikleri veya paket servis satın aldıkları sorulmuştur. Sonuçtan habersiz (outcome-blind) bu uygulamalı doğrulama çalışmasında, aynı sorular 301 Gen Z Minds profilinden oluşan kilitli bir hedef kitleye sorulmuş ve toplu yanıt dağılımları yayınlanan gerçek insan sonuçlarıyla karşılaştırılmıştır.

Birincil sonuç, gerçek araştırma dağılımlarına %93.99 oranında toplam yakınsama olmuştur. 21 yanıt seçeneği hücresi genelinde ortalama fark 6.01 yüzde puanı olarak gerçekleşmiştir. Planlanan 903 Mind-soru yanıtının tamamı başarıyla tamamlanmıştır.

Analiz, toplu dağılımsal uyumu değerlendirmektedir. Bu skoru, bireysel tahmin doğruluğu veya aynı performansın her hedef kitle ve soru türü için geçerli olacağının bir kanıtı olarak ele almaz.

Sonuçlara Genel Bakış

Doğrulama sonucuDeğerAnlamı
Gerçek araştırmaya yakınsama93.99%21 yanıt seçeneği hücresi genelindeki ortalama yüzde puanı farkının %100'den çıkarılmasıyla elde edilen değer
Gerçek araştırmaya olan ortalama fark6.01 ppMinds ile gerçek araştırma yüzdeleri arasındaki ortalama mutlak fark
Ortalama dağılım örtüşmesi78.98%Her bir tam yanıt dağılımının ne kadarının örtüştüğü
Tamamlanan yanıtlar903 / 903301 Minds profilinin tamamı üç sorunun hepsini yanıtladı
Pearson korelasyonu0.80421 gerçek ve sentetik yüzde arasında güçlü uyum
Spearman korelasyonu0.834Yanıt seçeneklerinin nasıl sıralandığı konusunda güçlü uyum

Araştırma Sorusu ve Referans Veriler

Öğün sıklığı; rutinlere, iş veya eğitim hayatına, bütçeye, kolaylığa, sosyal bağlama ve yerel bulunabilirliğe bağlıdır. Bu nedenle, sentetik bir hedef kitlenin yalnızca makul nitel yorumlar üretmek yerine, eksiksiz bir tüketici yanıtı dağılımını yeniden üretip üretemeyeceğine dair pratik bir test sunar.

Referans veriler, Birleşik Krallık Food Standards Agency bünyesindeki Food and You 2, Wave 10 çalışmasından elde edilmiştir. Saha çalışması 9 October 2024 to 7 February 2025 tarihleri arasında yürütülmüş ve kamuya açık veri kümesi 25 September 2025 tarihinde yayınlanmıştır. Analizde, değerlendirilen her bir öge için 257 kişilik bir insan soru tabanına sahip, 16 ila 24 yaş arasındaki bireylere ait yayınlanmış sonuçlar kullanılmıştır.

Kayıtlı üç soru şunlardı:

  • Kahvaltı için ne sıklıkla dışarıda yemek yersiniz veya paket servis satın alırsınız?
  • Öğle yemeği için ne sıklıkla dışarıda yemek yersiniz veya paket servis satın alırsınız?
  • Akşam yemeği için ne sıklıkla dışarıda yemek yersiniz veya paket servis satın alırsınız?

Her sorunun kayıtlı yedi yanıt seçeneği bulunmaktaydı. Bu doğrultuda, doğrulayıcı analiz kapsamında 21 sentetik ve insan yüzdesi karşılaştırılmıştır.

Hedef Kitle: 301 Kalıcı Gen Z Minds

Sentetik panel; İngiltere, Galler ve Kuzey İrlanda genelindeki 16 ila 24 yaş arası gençleri temsil etmektedir. Kilitli kohort; yaş, cinsiyet, ülke, gelir, rutinler ve sosyal bağlam açısından çeşitlilik barındırmaktaydı. 301 Minds profilinin tamamı, mevcut sonuçlar incelenmeden önce seçilmiştir.

Hedef kitle bileşimi

Yaş grubu
  • 1
    16–1829%
  • 2
    19–2137%
  • 3
    22–2434%
Cinsiyet
  • 1
    Kadın65%
  • 2
    Erkek35%
Ülke
  • 1
    İngiltere84%
  • 2
    Galler8%
  • 3
    Kuzey İrlanda8%
Food and You 2 Survey: Wave 10 dataset
Food and You 2: Wave 10 research report

Bunlar, tek bir soru için oluşturulmuş geçici karakterler yerine kalıcı hedef kitle üyeleriydi. Panel, 14,671 geri çağırma parçası ile temsil edilen 20,500 bilgi ögesine dayandırılmış olup, aynı sentetik kohortun farklı araştırma görevlerinde yeniden kullanılmasına olanak tanımaktadır.

Araştırma Tasarımı ve Tahmin Hedefleri (Estimands)

Çalışmada, önceden kaydedilmiş, aynı kohortlu bir replikasyon tasarımı kullanılmıştır:

  1. 301 kişilik sentetik hedef kitleyi kilitleyin.
  2. Orijinal araştırma sorularını orijinal yanıt seçenekleriyle sorun.
  3. Gerçek araştırma yüzdelerini Minds çalışma zamanının (runtime) dışında tutun.
  4. Tüm 903 Mind yanıtını üç eksiksiz dağılım halinde birleştirin.
  5. Her bir sentetik yanıt seçeneği yüzdesini yayınlanan insan sonucuyla karşılaştırın.

Minds, belirsizliği tek bir kesin seçime zorlamak yerine, her bir hedef kitle üyesinin mevcut her bir yanıtı seçme olasılığını temsil etmiştir. Bu olasılıklar daha sonra nihai panel dağılımında birleştirilmiştir.

Tasarım unsuruKayıtlı özellikler
Sentetik örneklem16–24 yaş arası 301 kalıcı Minds
İnsan referansıYayınlanan Food and You 2 gençlik dağılımları; soru başına taban n=257
Ölçüm aracı3 öğün sıklığı sorusu × 7 seçenek
Planlanan yanıtlar903 Mind-soru yanıtı
Birincil uç nokta21 hücre genelinde ağırlıklandırılmamış ortalama mutlak yüzde puanı hatası
İkincil uç noktalarDağılım örtüşmesi, Jensen–Shannon sapması, Pearson r ve Spearman rho
Sonuç izolasyonuİnsan yüzdeleri ve karşılaştırma dosyaları çalışma zamanından (runtime) uzak tutulmuştur

Yüzde yakınsaması, 100% − ortalama mutlak yüzde puanı hatası olarak tanımlanır. Ortalama dağılım örtüşmesi, üç soru genelinde ortalaması alınan 1 − toplam varyasyon mesafesi değeridir. Jensen–Shannon sapması, dağılım şekli farkını bit cinsinden ölçer ve sıfır değeri özdeş dağılımları gösterir.

Her Soru 91'in Üzerinde Skor Elde Etti

Gerçekliğe olan ortalama fark

Bu çalışma için raporlanan sonuçlar. Tablo ve tartışma, kapsamı, temel karşılaştırmaları ve belirsizliği açıklar.

  • Kahvaltı sıklığı2,98
  • Öğle yemeği sıklığı6,48
  • Akşam yemeği sıklığı8,56
0Yüzde puan · düşük değer daha iyi10
SoruGerçek araştırmaya yakınsamaGerçekliğe olan ortalama fark
Kahvaltı sıklığı97.02%2.98 pp
Öğle yemeği sıklığı93.52%6.48 pp
Akşam yemeği sıklığı91.44%8.56 pp
21 yanıt seçeneği hücresinin tamamı93.99%6.01 pp

Kahvaltı en düşük hücre düzeyinde hataya sahipken, akşam yemeği en yüksek hataya sahipti. Toplu sonuç yalnızca tek bir sorudan kaynaklanmamıştır: her bir soru, kendi gerçek araştırma dağılımına %91'in üzerinde bir yakınsama elde etmiştir.

İkincil Dağılımsal Kontroller

Ortalama mutlak hata tek başına dağılım şeklini tam olarak açıklamadığından, analize dört tamamlayıcı kontrol dahil edilmiştir.

  • %78.98 ortalama dağılım örtüşmesi: yanıt kütlesinin büyük kısmı gerçek ve sentetik sonuçlarda aynı yerlerde ortaya çıkmıştır.
  • 0.0602 Jensen–Shannon sapması: genel şekiller yakındı; sıfır değeri özdeş dağılımlar anlamına gelecektir.
  • 0.804 Pearson korelasyonu: büyük ve küçük yüzdeler birlikte hareket etme eğilimindeydi.
  • 0.834 Spearman korelasyonu: yanıt seçenekleri yaygınlığa göre benzer şekilde sıralanmıştır.

Her dört metrik de aynı yönü göstermektedir: bu ölçüm aracı dahilinde, Minds dağılımları hem mutlak düzey hem de göreceli şekil açısından insan referansına yakın olmuştur. Korelasyon, yardımcı bir ölçüt olarak raporlanmış olup düzey hatası metriklerinin yerini almaz.

Yanıt Eksiksizliği ve Temellendirme

Kabul edilen 903 yanıtın her biri kaynak (provenance) bilgisi taşımaktaydı:

  • 889 yanıt geri çağrılan Mind bilgisini kullandı;
  • 14 yanıt Mind'ın içsel profilini kullandı;
  • 0 yanıt desteksiz olarak işaretlendi; ve
  • 301 Minds profilinin 301'i de her soruyu tamamladı.

Bu kaynak alanları, çalışmanın desteksiz yanıtlar yerine kalıcı Mind yolunu kullandığını ortaya koymaktadır. Bunlar tek başlarına, geri çağrılan her bir belleğin nihai dağılım için nedensel olarak gerekli olduğunu kanıtlamaz.

Pratik Yorumlama

Test edilen kapsam dahilinde sonuç, aşağıdaki gibi hızlı ve yinelemeli araştırmalar için temellendirilmiş bir sentetik panelin kullanılmasını desteklemektedir:

  • medya harcaması öncesinde kampanya iddialarını test etmek;
  • ürün veya ambalaj konseptlerini karşılaştırmak;
  • farklı hedef kitle segmentlerinin neden farklı tepkiler verdiğini araştırmak;
  • saha çalışması öncesinde araştırma sorularını geliştirmek; ve
  • daha sonraki insan doğrulaması için en güçlü yönleri belirlemek.

Sonuç, hızlı yönsel ve karşılaştırmalı çalışmaları desteklemektedir. Yüksek riskli iddialar, düzenlemeye tabi kararlar, kesin pazar boyutlandırması ve doğrulanan kapsam dışındaki sorular, yine de katılımcıların toplanmasını ve uygun bir insan çalışması tasarımını gerektirebilir.

Kapsam ve Sınırlılıklar

Bu çalışma, kamuya açık Food and You 2 verileri kullanılarak gerçekleştirilen bağımsız bir Minds doğrulama çalışmasıdır. Referans araştırmayı Food Standards Agency hazırlamıştır ancak Minds çalışmasını desteklememiş, onaylamamış veya incelememiştir.

Bu çalışma şunları desteklemektedirBu çalışma şunları ortaya koymamaktadır
Birleşik Krallık'taki gençlerin üç öğün sıklığı dağılımı üzerinde yakın toplu uyum%93.99 bireysel düzeyde tahmin doğruluğu
301 Minds ve 903 yanıt için eksiksiz üretim yürütmesiHedef kitleler, ülkeler, alanlar veya soru türleri genelinde evrensel performans
MAE, örtüşme, sapma ve korelasyon metrikleri genelinde uyumGözlemlenen uyumu yalnızca temellendirmenin ürettiğine dair nedensel kanıt
Çalışma zamanında (runtime) sonuç izolasyonuÖn eğitim veya kalıcı bilgi külliyatı aracılığıyla kamuya açık bir araştırmaya dolaylı olarak maruz kalmanın tamamen dışlanması

Bu çalışma, tek bir araştırmadan elde edilen yakından ilişkili üç soruyu kapsayan aynı kohortlu, aynı ölçüm araçlı bir replikasyondur. İnsan ve sentetik katılımcılar bireysel olarak eşleştirilmemiştir ve analiz toplu dağılımları karşılaştırmaktadır. Bu kamuya açık sonuç için insan mikro verilerinden herhangi bir örnekleme belirsizliği aralığı tahmin edilmemiştir. Daha geniş bir doğruluk iddiasında bulunmadan önce, ayrık hedef kitleler ve ölçüm araçları üzerinde daha fazla doğrulama yapılması gerekmektedir.

Kaynaklar

Sıkça sorulan sorular

Minds, gerçek Food and You araştırmasıyla ne kadar yakın eşleşti?

21 yanıt seçeneği yüzdesi genelinde Minds, gerçek araştırmaya %93.99 oranında toplam yakınsama elde etti. Ortalama fark 6.01 yüzde puanı, ortalama dağılım örtüşmesi ise %78.98 oldu.

%93.99 yakınsama, Minds'ın her bir bireyi doğru tahmin ettiği anlamına mı gelir?

Hayır. %93.99 yakınsama, 21 toplam araştırma hücresi genelindeki ortalama yüzde puanı farkının %100'den çıkarılmasıyla hesaplanır. Bu değer, her bir bireysel yanıtın doğru tahmin edilip edilmediğini değil, hedef kitle dağılımının gerçek araştırmayla ne kadar yakın eşleştiğini ölçer.

Bunlar gerçek katılımcılar mıydı?

Hayır. Bunlar 16 ila 24 yaşları arasındaki 301 kalıcı sentetik hedef kitle üyesiydi. Bu üyelerin toplu yanıtları, Birleşik Krallık Food Standards Agency tarafından yayınlanan gerçek bir araştırmanın sonuçlarıyla karşılaştırıldı.

Gerçek araştırma sonuçları Minds paneline gösterildi mi?

Hayır. Sorular ve yanıt seçenekleri yeniden üretildi, ancak karşılaştırma veri kümesi ve gerçek yüzdeler çalışma zamanında (runtime) sistemden uzak tutuldu. Kaynak kamuya açık olduğundan, modelin ön eğitimi veya kalıcı bilgi külliyatı (knowledge corpus) aracılığıyla dolaylı olarak maruz kalma olasılığı tamamen dışlanamaz.

Bunun genel bir yapay zekaya 301 kez komut (prompt) vermekten farkı nedir?

Minds üyeleri, 20,500 bilgi ögesi ve 14,671 geri çağırma parçasına (retrieval chunk) dayandırılmış kalıcı hedef kitle üyeleridir. Bu çalışmada, 903 yanıttan 889'u geri çağrılan Mind bilgisini kullandı, 14'ü içsel profili kullandı ve hiçbir yanıt desteksiz kalmadı.