L'IA peut-elle recréer une véritable enquête alimentaire sur la Gen Z ? Minds a atteint une approximation de 93.99%
Sur trois questions relatives à la fréquence des repas et 21 cellules d'options de réponse, Minds a enregistré une erreur moyenne de 6.01 points de pourcentage, a atteint un chevauchement de distribution de 78.98% et a complété chaque réponse prévue.
Une véritable enquête britannique a demandé à des jeunes à quelle fréquence ils mangeaient à l'extérieur ou achetaient des plats à emporter pour le petit-déjeuner, le déjeuner et le dîner. Cette validation appliquée à l'aveugle a posé les mêmes questions à une audience verrouillée de 301 Minds de la Gen Z et a comparé les distributions de réponses agrégées aux résultats humains publiés.
Le résultat principal est une approximation globale de 93.99% par rapport aux distributions de l'enquête réelle. Sur 21 cellules d'options de réponse, l'écart moyen était de 6.01 points de pourcentage. Les 903 réponses prévues aux questions par les Minds ont toutes été générées avec succès.
L'analyse évalue la concordance distributionnelle globale. Elle ne traite pas ce score comme une exactitude de prédiction individuelle ni comme une preuve qu'une performance identique sera obtenue pour chaque audience et type de question.
La fréquence des repas dépend de la routine, du travail ou des études, du budget, de la commodité, du contexte social et de la disponibilité locale. Elle constitue donc un test pratique pour déterminer si une audience synthétique peut reproduire une distribution complète de réponses de consommateurs, plutôt que de simplement produire des commentaires qualitatifs plausibles.
La référence provient de l'étude Food and You 2, Wave 10 de la Food Standards Agency britannique. Le travail de terrain s'est déroulé du 9 octobre 2024 au 7 février 2025, et le jeu de données public a été publié le 25 septembre 2025. L'analyse a utilisé les résultats publiés pour les personnes âgées de 16 à 24 ans, avec une base de questions humaines de 257 pour chaque élément évalué.
Les trois questions enregistrées étaient :
À quelle fréquence mangez-vous à l'extérieur ou achetez-vous des plats à emporter pour le petit-déjeuner ?
À quelle fréquence mangez-vous à l'extérieur ou achetez-vous des plats à emporter pour le déjeuner ?
À quelle fréquence mangez-vous à l'extérieur ou achetez-vous des plats à emporter pour le dîner ?
Chaque question comportait sept options de réponse enregistrées. L'analyse confirmatoire a donc comparé 21 pourcentages synthétiques et humains.
Le panel synthétique représentait des jeunes âgés de 16 à 24 ans en Angleterre, au Pays de Galles et en Irlande du Nord. La cohorte verrouillée présentait des variations d'âge, de genre, de nation, de revenus, de routines et de contexte social. Les 301 Minds ont tous été sélectionnés avant l'examen des résultats actuels.
Composition de l'audience
Tranche d'âge
1
16–1829%
2
19–2137%
3
22–2434%
Genre
1
Femme65%
2
Homme35%
Nation
1
Angleterre84%
2
Pays de Galles8%
3
Irlande du Nord8%
Food and You 2 Survey: Wave 10 dataset
Food and You 2: Wave 10 research report
Il s'agissait de membres d'audience persistants plutôt que de personnages temporaires générés pour une seule question. Le panel était ancré dans 20,500 éléments de connaissance représentés par 14,671 fragments de récupération, permettant ainsi de réutiliser la même cohorte synthétique pour différentes tâches de recherche.
L'étude a utilisé un protocole de réplication pré-enregistré sur la même cohorte :
Verrouiller l'audience synthétique de 301 personnes.
Poser les questions de l'enquête originale avec les options de réponse originales.
Exclure les pourcentages réels de l'enquête de l'environnement d'exécution de Minds.
Agréger l'ensemble des 903 réponses de Minds en trois distributions complètes.
Comparer chaque pourcentage d'option de réponse synthétique au résultat humain publié.
Plutôt que de contraindre l'incertitude dans un vote unique et tranché, Minds a représenté la probabilité que chaque membre de l'audience choisisse chaque réponse disponible. Ces probabilités ont ensuite été combinées pour former la distribution finale du panel.
Élément du protocole
Spécification enregistrée
Échantillon synthétique
301 Minds persistants âgés de 16 à 24 ans
Référence humaine
Distributions publiées pour les jeunes de Food and You 2 ; base n=257 par question
Instrument
3 questions sur la fréquence des repas × 7 options
Réponses prévues
903 réponses de Minds aux questions
Critère d'évaluation principal
Erreur absolue moyenne non pondérée en points de pourcentage sur 21 cellules
Critères d'évaluation secondaires
Chevauchement de distribution, divergence de Jensen-Shannon, r de Pearson et rho de Spearman
Isolation des résultats
Pourcentages humains et fichiers de référence exclus de l'environnement d'exécution
L'approximation en pourcentage est définie comme 100% − erreur absolue moyenne en points de pourcentage. Le chevauchement moyen de distribution est 1 − distance en variation totale, moyenné sur les trois questions. La divergence de Jensen-Shannon mesure la différence de forme de distribution en bits, où zéro indique des distributions identiques.
Résultats rapportés pour cette étude. Le tableau et la discussion précisent le périmètre, les références et l’incertitude.
Fréquence du petit-déjeuner2,98
Fréquence du déjeuner6,48
Fréquence du dîner8,56
0Points de pourcentage · plus bas est mieux10
Question
Approximation de l'enquête réelle
Écart moyen par rapport à la réalité
Fréquence du petit-déjeuner
97.02%
2.98 pp
Fréquence du déjeuner
93.52%
6.48 pp
Fréquence du dîner
91.44%
8.56 pp
Ensemble des 21 cellules d'options de réponse
93.99%
6.01 pp
Le petit-déjeuner a enregistré l'erreur la plus faible au niveau des cellules, tandis que le dîner a enregistré la plus élevée. Le résultat global n'a pas été dicté par une seule question : chaque question a atteint plus de 91% d'approximation par rapport à sa distribution dans l'enquête réelle.
L'erreur absolue moyenne ne suffisant pas à décrire pleinement la forme d'une distribution, l'analyse a inclus quatre vérifications complémentaires.
78.98% de chevauchement moyen de distribution : la majeure partie de la masse des réponses est apparue aux mêmes endroits dans les résultats réels et synthétiques.
0.0602 de divergence de Jensen-Shannon : les formes générales étaient proches ; zéro signifierait des distributions identiques.
0.804 de corrélation de Pearson : les pourcentages élevés et faibles avaient tendance à évoluer de concert.
0.834 de corrélation de Spearman : les options de réponse ont été classées de manière similaire selon leur prévalence.
Ces quatre indicateurs convergent dans la même direction : au sein de cet instrument, les distributions de Minds étaient proches de la référence humaine, tant en niveau absolu qu'en forme relative. La corrélation est présentée comme une mesure d'accompagnement et ne remplace pas les indicateurs d'erreur de niveau.
Chacune des 903 réponses acceptées présentait une traçabilité de provenance :
889 réponses ont utilisé des connaissances récupérées de Minds ;
14 réponses ont utilisé le profil intrinsèque du Mind ;
0 réponse a été marquée comme non étayée ; et
301 Minds sur 301 ont répondu à chaque question.
Ces champs de provenance établissent que l'exécution a utilisé le parcours persistant de Minds plutôt que des réponses non étayées. Ils ne prouvent pas en soi que chaque mémoire récupérée était causalement nécessaire à la distribution finale.
Dans le cadre testé, ce résultat soutient l'utilisation d'un panel synthétique ancré pour des recherches rapides et itératives, telles que :
tester les affirmations d'une campagne avant les dépenses médias ;
comparer des concepts de produits ou d'emballages ;
explorer pourquoi différents segments d'audience réagissent différemment ;
affiner les questions d'enquête avant le travail de terrain ; et
identifier les orientations les plus solides pour une validation humaine ultérieure.
Le résultat se prête à des travaux d'orientation et de comparaison rapides. Les affirmations à enjeux élevés, les décisions réglementées, le dimensionnement précis du marché et les questions sortant du cadre validé peuvent toujours nécessiter le recrutement de répondants et un protocole d'étude humaine approprié.
Il s'agissait d'une validation indépendante de Minds utilisant les données publiques de Food and You 2. La Food Standards Agency a produit l'enquête de référence mais n'a pas parrainé, approuvé ou examiné l'étude de Minds.
Ce que cette étude soutient
Ce que cette étude n'établit pas
Une forte concordance globale sur trois distributions de fréquence de repas chez les jeunes au Royaume-Uni
Une exactitude de prédiction de 93.99% au niveau individuel
Une exécution complète en production pour 301 Minds et 903 réponses
Une performance universelle à travers les audiences, pays, domaines ou types de questions
Une concordance entre les indicateurs d'erreur absolue moyenne (MAE), de chevauchement, de divergence et de corrélation
La preuve causale que l'ancrage seul a produit la concordance observée
L'isolation des résultats lors de l'exécution
L'exclusion complète d'une exposition indirecte à une enquête publique via le pré-entraînement ou le corpus de connaissances persistant
Il s'agissait d'une réplication sur la même cohorte et le même instrument, couvrant trois questions étroitement liées issues d'une seule enquête. Les répondants humains et synthétiques n'ont pas fait l'objet d'un appariement individuel, et l'analyse compare des distributions agrégées. Aucun intervalle d'incertitude d'échantillonnage issu des microdonnées humaines n'a été estimé pour ce résultat public. Une validation supplémentaire sur des audiences et des instruments disjoints est requise avant de pouvoir formuler une affirmation d'exactitude plus large.
À quel point Minds correspond-il à la véritable enquête Food and You ?
Sur 21 pourcentages d'options de réponse, Minds a atteint une approximation globale de 93.99% par rapport à l'enquête réelle. L'écart moyen était de 6.01 points de pourcentage et le chevauchement moyen de distribution était de 78.98%.
Une approximation de 93.99% signifie-t-elle que Minds prédit correctement chaque individu ?
Non. L'approximation de 93.99% est calculée comme 100% moins l'écart moyen en points de pourcentage sur 21 cellules d'enquête agrégées. Elle mesure la proximité entre la distribution de l'audience et celle de l'enquête réelle, et non si chaque réponse individuelle a été prédite correctement.
S'agissait-il de vrais répondants ?
Non. Il s'agissait de 301 membres d'audience synthétiques persistants âgés de 16 à 24 ans. Leurs réponses agrégées ont été comparées aux résultats publiés d'une véritable enquête de la Food Standards Agency britannique.
Les résultats réels de l'enquête ont-ils été montrés aux Minds ?
Non. Les questions et les options de réponse ont été reproduites, mais le jeu de données de référence et les pourcentages réels ont été exclus de l'environnement d'exécution. La source étant publique, une exposition indirecte via le pré-entraînement du modèle ou le corpus de connaissances persistant ne peut être totalement exclue.
Qu'est-ce qui différencie cette approche de l'interrogation d'une IA générale 301 fois ?
Les Minds étaient des membres d'audience persistants ancrés dans 20,500 éléments de connaissance et 14,671 fragments de récupération. Lors de cette exécution, 889 des 903 réponses ont utilisé des connaissances récupérées de Minds, 14 ont utilisé le profil intrinsèque et aucune n'était non étayée.
