--- title: "Quand les audiences synthétiques surpassent les modèles de fondation génériques" description: "Une comparaison sur des entretiens exclus teste dans quelles conditions les profils de participants et la mémoire améliorent les réponses synthétiques par rapport à des prompts génériques sur GPT, Claude et Gemini." canonical_url: "https://getminds.ai/research/fr/synthetic-audiences-vs-foundation-models" last_updated: "2026-09-09T07:51:09.273Z" --- # Quand les audiences synthétiques surpassent les modèles de fondation génériques Un modèle de fondation peut générer une réponse plausible à une question d'entretien. Reproduire ce qu'une personne en particulier dirait relève d'une tâche bien plus spécifique. Ses expériences passées, ses valeurs et ses motivations comptent souvent davantage que l'aptitude du modèle à formuler une réponse générale fluide. Nous avons évalué cette distinction sur 66 réponses d'entretiens tenues à l'écart, issues de 22 personnes. Un répondant synthétique doté d'un profil compact et d'éléments contextuels récupérés a surpassé des réponses génériques de GPT-5.4 et de Claude Sonnet 5 sur un score composite d'adéquation au participant évalué en aveugle. L'avantage principal s'élève à 25.49 points par rapport à GPT et 30.05 points par rapport à Claude. Une seconde version de juge a reproduit ces résultats positifs. Cette comparaison appuie un cas d'usage précis des audiences synthétiques : injecter des éléments probants pertinents sur le participant dans des questions qui dépendent directement de cet historique. Les modèles génériques n'ont reçu aucun historique sur les participants. Il s'agit donc d'une comparaison entre un flux de travail ancré et un prompt générique, plutôt que d'un classement des capacités intrinsèques des modèles dans un contexte identique. ## Le protocole de test : données préalables, réponses ultérieures Le benchmark s'est appuyé sur deux corpus publics d'entretiens couvrant des praticiens en dentisterie laser et l'insécurité alimentaire chez les réfugiés. Les données d'entretien préalables ont été transformées en profils synthétiques et en souvenirs récupérables. Trois réponses ultérieures par personne ont été conservées hors échantillon pour l'évaluation, soit 66 réponses cibles provenant de 22 personnes. Chaque question cible comportait quatre réponses candidates anonymisées : profil enrichi par récupération, réponse générique issue de la même famille de modèles Gemini sous-jacente, GPT-5.4 générique et Claude Sonnet 5 générique. Les réponses candidates ont été scellées avant notation et les juges les ont évaluées sans étiquette de condition. La grille d'évaluation mesurait l'alignement avec la réponse réelle, le point de vue et les valeurs, les justifications, la spécificité, la cohérence du ton et de la longueur, tout en pénalisant le caractère générique et les faits personnels non étayés. Il s'agit de dimensions d'adéquation au participant. Elles ne constituent en rien des mesures de conversion publicitaire, d'intelligence générale ou du pourcentage d'humains fidèlement simulés. ## L'avantage mesuré
Comparaison avec profil et récupération Gain composite principal Intervalle bootstrap à 95 % par grappes de participants Gain selon le second juge
Réponse générique Gemini du même modèle +32.42 points +23.93 à +40.52 +32.83 points
GPT-5.4 générique +25.49 points +15.99 à +34.56 +26.13 points
Claude Sonnet 5 générique +30.05 points +21.86 à +38.12 +30.68 points
Selon le juge principal, la condition ancrée a obtenu un score composite de 67.66, contre 42.17 pour GPT générique, 37.61 pour Claude générique et 35.24 pour la réponse générique issue du même modèle. Les deux corpus ont affiché des gains moyens positifs par rapport aux conditions GPT et Claude sous les deux versions de juges. Les deux versions de juges se sont accordées sur le vainqueur pour 81.8 % des éléments. Les deux juges appartenant à la famille de modèles Gemini, ce constat vérifie la sensibilité entre versions au sein de cette même famille, et non la concordance entre évaluateurs humains indépendants ou entre familles de juges distinctes. ## Pourquoi l'ancrage contextuel fait la différence L'explication la plus directe réside dans l'accès à des données probantes pertinentes. Un modèle générique doit combler l'absence de contexte personnel en s'appuyant sur des schémas généraux. Un répondant ancré peut au contraire puiser dans des expériences et des préférences préalablement enregistrées. Face à une question portant sur une décision professionnelle, les données antérieures peuvent préciser les contraintes de la personne, son expérience préalable et ses motifs de choix entre deux options. La réponse peut dès lors refléter ces spécificités au lieu de formuler des conseils généraux raisonnables. Dans le benchmark, la condition ancrée a obtenu des scores plus élevés en matière de spécificité et de justifications, tout en étant jugée moins générique. La comparaison avec la version générique du même modèle s'avère ici particulièrement éclairante. Maintenir la famille de modèles sous-jacente fixe tout en modifiant la condition profil-et-récupération met en évidence l'avantage apporté par le flux de travail d'ancrage sur cette tâche. Cela n'isole toutefois pas la part exacte du gain attribuable à chaque composante. Les profils, la récupération d'informations, le contexte supplémentaire et les prompts associés ont varié simultanément. Ces résultats confirment la valeur d'une mémoire ciblée et pertinente. Ils n'établissent pas pour autant qu'ajouter davantage de contexte soit systématiquement bénéfique, ni que chaque fait enregistré doive obligatoirement figurer dans chaque réponse. ## Les scénarios où cet avantage est le plus plausible Ces constats s'appliquent directement lorsqu'une question d'étude dépend d'un historique individuel, d'une préférence déjà exprimée, d'une expérience concrète ou des motivations sous-jacentes à un arbitrage. Les entretiens de suivi et l'analyse des raisons pour lesquelles différents membres d'une audience interprètent une même proposition de manière divergente répondent parfaitement à ce schéma. Un test pratique utile consiste à se demander si la connaissance des réponses antérieures de cette personne spécifique modifierait sensiblement la réponse. Si oui, l'ancrage contextuel apporte une réelle valeur. Si la question n'exige que des connaissances factuelles générales, cette expérience n'établit aucun avantage d'une audience synthétique face à un modèle générique performant. Même au sein de ce benchmark d'entretiens, l'avantage n'a pas été absolu. Sur le sous-ensemble exploratoire de questions réflexives, GPT a obtenu un score supérieur de 10.75 points à la condition ancrée. Ce segment ne comportait que cinq éléments provenant de trois personnes, ce qui est trop restreint pour établir une hiérarchie statistique robuste. Cet écart interdit néanmoins d'interpréter un gain moyen comme une victoire systématique sur tous les types de questions. ## Les sondages quantitatifs exigent une analyse distincte La synthèse d'études [Against Reality](/research/synthetic-audiences-reality-benchmark-2026) a montré que la collecte de réponses probabilistes améliorait systématiquement les distributions agrégées par rapport aux réponses à choix forcé. Les profils détaillés n'ont pas amélioré ces distributions de manière constante au-delà de prompts probabilistes calés sur la démographie. Ce point est capital pour comparer équitablement les modèles de fondation. Mettre en concurrence une audience probabiliste et un modèle générique à choix forcé revient à confondre l'effet du contexte avec l'effet du format de réponse. Les deux approches doivent être soumises au même contrat de réponse si l'on souhaite isoler la valeur incrémentale de l'ancrage. Le [test d'enquête alimentaire auprès de la Gen Z](/research/synthetic-gen-z-food-survey-validation-2026) offre un exemple quantitatif plus ciblé. Sa série de production ultérieure affichait une erreur de 6.01 points contre 6.68 pour une référence probabiliste générique figée. Cette différence de 0.67 point demeure purement descriptive dans la mesure où la référence générique était historique. Elle ne permet pas d'affirmer de manière générale que les audiences synthétiques surpassent les modèles de fondation dans les sondages. ## Ce que cette comparaison laisse en suspens L'étude reste de taille modeste : deux corpus, 22 personnes et 66 réponses. Certains entretiens ont été traduits en anglais, ce qui influe sur l'interprétation du style et de la voix. Les versions de modèles et les paramètres d'échantillonnage variaient, et les modèles génériques testés ne disposaient d'aucune information sur les participants. Une comparaison à contexte rigoureusement égal exigerait de fournir à chaque modèle le même matériel source autorisé, de fixer le contrat de réponse et de documenter le coût autant que la qualité obtenue. L'évaluation a également réutilisé le jeu de données d'entretiens issu d'une confirmation antérieure. Cette comparaison passée et cette évaluation à quatre conditions ne constituent donc pas deux échantillons indépendants. Les réplications futures devront intégrer de nouveaux participants, des thématiques variées, des évaluations humaines indépendantes et un contrôle plus strict des informations accessibles à chaque système. La conclusion étayée par cette étude est précieuse sans être universelle : sur ces questions d'entretien tenues hors échantillon, une audience synthétique ancrée dans le profil des participants a généré des réponses bien plus fidèles aux personnes réelles que les réponses génériques des versions de modèles testées. L'accès à des données probantes pertinentes a joué un rôle déterminant dans cet avantage. Pour découvrir le flux de travail qui sous-tend l'ancrage des audiences, consultez [la méthodologie de construction des panels Minds](/research/methodology). La [checklist de validation](/research/synthetic-audiences-validation-checklist) détaille la démarche pour relier un résultat synthétique aux preuves nécessaires à la prise de décision. ## Données de référence [De-identified, English Transcripts of 36 interviews](https://figshare.com/articles/dataset/De-identified_English_Transcripts_of_36_interviews/29318549) [Transcription Data](https://figshare.com/articles/dataset/Transcription_Data/28456946) [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/)