Présentation de Minds Mosaic : à la pointe de la simulation d'audience

Minds Mosaic est notre modèle frontier pour la simulation d'audience. Donnez-lui une population définie et une question de sondage, et il prédit comment cette population va répondre : la distribution complète sur chaque option de réponse, avant même que le sondage soit lancé.

Une prévision de ce type n'a de valeur que si elle résiste à la confrontation avec les résultats réels. C'est pourquoi nous mesurons Mosaic en toute transparence. Chaque prévision est verrouillée et horodatée avant que l'éditeur publie ses résultats, et chaque score est consigné dans un registre public, erreurs comprises. Nous avons inscrit Mosaic dans une arène indépendante qui évalue les prévisions scellées à l'avance, et nous l'avons confronté directement au benchmark public d'un concurrent.

Chaque fournisseur de répondants synthétiques publie désormais un chiffre de précision, mais ces chiffres reposent sur des données, des métriques et des conditions différentes. Cet article commence par le chiffre global de chaque fournisseur, puis classe les résultats publiés selon les cas d'usage que les acheteurs font réellement tourner, et compare les chiffres en tête-à-tête uniquement lorsqu'ils ont été mesurés sur les mêmes données.

En bref

• Nous classons la simulation d'audience en 15 catégories, du sondage politique à la publicité et aux entretiens ouverts, et ne comparons les chiffres en tête-à-tête qu'au sein d'une même catégorie et sur les mêmes données.
• Sur les sondages politiques et d'opinion publique, les prévisions de Minds Mosaic, verrouillées avant la publication des résultats, affichent une erreur de distribution (TVD) de 0.023 sur 24 questions issues de 7 sondages. Sur les sondages de sentiment économique, elle est de 0.039 sur 53 questions issues de 6 enquêtes.
• Sur le benchmark public d'Artificial Societies, Mosaic présente l'erreur la plus faible sur les deux sources d'attitudes sociales, sur deux des trois sources de personnalité et sur les sous-groupes démographiques (0.053 contre 0.063). Au global, les deux systèmes sont à égalité selon leur convention : 0.083 contre 0.082.
• Aucun des fournisseurs couverts ici ne publie un registre continu de prévisions de sondages verrouillées avant le lancement du sondage. Le nôtre est public sur forecasts.getminds.ai : des fichiers Markdown et JSON simples, des preuves d'horodatage et un script qui les vérifie.

Précision globale par catégorie

Minds Mosaic et deux autres fournisseurs publient une erreur de distribution globale (TVD) qui agrège toutes les catégories testées. Plus le chiffre est bas, mieux c'est ; la section suivante explique la métrique.

Le tableau indique les données et la source derrière chaque chiffre, avec l'erreur absolue moyenne par option de réponse (MAE) et la corrélation agrégée lorsque le fournisseur la publie.

Quatre entreprises publient leur chiffre phare sur une échelle qui leur est propre, non convertible en TVD ou MAE :

• Simile : les agents reproduisent les réponses individuelles aux sondages à environ 85 % de la cohérence que les personnes montrent avec elles-mêmes deux semaines plus tard (82 % à 86 % selon la source de données dans la dernière version du preprint).
• Evidenza : « 88 % de précision », défini comme la correspondance moyenne entre la recherche synthétique et la recherche traditionnelle sur plus de 100 validations.
• Synthetic Users : « Synthetic Organic Parity » de 85 à 92 %, une grille d'évaluation pondérée pour le contenu des entretiens.
• Electric Twin : en plus des 96 % mentionnés ci-dessus, 92 % sur son propre score de distribution complète (NDAM).

Comment lire les chiffres

Deux métriques apparaissent le plus souvent, et elles ne sont pas interchangeables.

La distance de variation totale (TVD) va de 0 à 1. C'est la part de la distribution des réponses qui se trouve au mauvais endroit. Une TVD de 0.05 signifie que cinq points de la distribution devraient se déplacer pour correspondre au résultat réel.

L'erreur absolue moyenne (MAE) est l'erreur moyenne par option de réponse, en points de pourcentage. Pour la même prévision, la MAE est généralement bien inférieure à la TVD exprimée en points, car la TVD additionne les erreurs sur toutes les options tandis que la MAE les moyenne. Un MAE de 3.5 points et une TVD de 7.6 points peuvent décrire le même résultat.

Les corrélations nécessitent aussi une précision. Une corrélation agrégée sur chaque option de réponse de chaque question est élevée pour presque toute méthode raisonnable, car certaines options sont toujours grandes et d'autres toujours petites. Une corrélation calculée à l'intérieur de chaque question est bien plus stricte. Lorsque nous citons une corrélation agrégée ci-dessous, nous le précisons, pour nos chiffres comme pour ceux des autres.

Quinze catégories de simulation d'audience

Les acheteurs utilisent la simulation d'audience pour des besoins très différents, et un système qui prédit bien les intentions de vote n'a pas démontré sa capacité à prédire les réactions à une publicité vidéo. Nous regroupons les travaux en 15 catégories selon ce qui est prédit et quelle est la vérité terrain.

Les deux tableaux suivants indiquent qui publie un résultat scoré dans chaque catégorie, au 1er novembre 2026. « Oui » signifie qu'il existe au moins un résultat public et scoré dans cette catégorie ; les sections ci-dessous précisent les données derrière chacun. Art. Soc. désigne Artificial Societies, E. Twin désigne Electric Twin, Syn. Users désigne Synthetic Users.

Comment chaque affirmation de précision a été produite

La catégorie indique ce qui a été mesuré. Les conditions indiquent dans quelle mesure le chiffre est fiable.

Basé sur les documents publics de chaque entreprise au 1er novembre 2026. Une cellule vide signifie que l'affirmation publiée ne le démontre pas.

Un test rétrospectif consiste à faire tourner un système sur un sondage déjà publié ou détenu par le fournisseur. C'est utile pour le développement, et toutes les équipes de ce domaine, y compris la nôtre, y ont recours. Ses limites sont bien connues : le modèle a peut-être vu les résultats, les choix sur les questions à inclure sont faits avec les réponses disponibles, et c'est le fournisseur lui-même qui se note.

Une prévision pré-enregistrée élimine ces problèmes. La prévision est figée avant que les résultats n'existent, elle ne peut donc pas être ajustée en fonction de ceux-ci, et elle est scorée contre des chiffres que le prévisionniste ne pouvait pas avoir vus. Verrouiller avant le premier entretien est encore plus solide, car rien concernant le sondage n'a pu fuiter. C'est la norme utilisée pour les prévisions électorales et économiques, et c'est la norme que la simulation d'audience devrait atteindre.

Aucun des fournisseurs ci-dessus ne publie un registre continu de prévisions de sondages verrouillées avant le lancement du sondage et scorées ensuite. Aaru a publié une prévision de l'élection présidentielle américaine de 2024 la veille du scrutin. Electric Twin a financé une étude académique pré-enregistrée menée par son conseiller scientifique en chef à la LSE, comparant les réponses synthétiques avec sept services d'échantillonnage humain. Le livre blanc partenaire de Simile décrit des tests internes ayant anticipé de nouveaux résultats avant le terrain, sans publier les prévisions. Notre registre publie chaque prévision et chaque score.

Comment fonctionne le registre de prévisions de Minds Mosaic

Pour chaque sondage cible, nous consignons la formulation exacte des questions, les options de réponse et la population avant le verrouillage. Minds Mosaic prévoit ensuite la distribution complète des réponses à chaque question. Chaque prévision est hachée, ajoutée à un registre en ajout seul, regroupée et horodatée sur la blockchain Bitcoin via OpenTimestamps. Lorsque l'éditeur publie ses résultats, nous scorons chaque prévision verrouillée par rapport à la publication officielle, erreurs et prévisions qui s'avèrent non scorables comprises. Chaque sondage porte une classe de preuve : verrouillé avant le début du terrain, ou verrouillé après le terrain mais avant toute publication des résultats.

Le registre est délibérément simple. Sur forecasts.getminds.ai, chacun peut le télécharger sous forme de fichiers ordinaires : un README Markdown avec le tableau de bord actuel, un fichier JSON par prévision verrouillée, les preuves OpenTimestamps, et un script qui vérifie chaque hash et horodatage. Les fichiers JSON servent également de flux lisible par machine, de sorte que n'importe qui peut vérifier notre registre ou le re-scorer sans nous le demander.

Treize sondages ont publié leurs résultats à ce jour, couvrant 77 questions en Allemagne, Autriche, Espagne, États-Unis, France, Japon et Royaume-Uni, et chacune de ces prévisions est accompagnée d'un horodatage Bitcoin vérifié antérieur à la publication des résultats. Sur l'ensemble, l'erreur de distribution de Mosaic est de 0.034, et de 0.023 sur les 4 sondages verrouillés avant le début du terrain.

Sur l'ensemble des 77 questions, l'erreur moyenne par option de réponse est de 1.37 point de pourcentage, et la corrélation agrégée entre les parts de réponses prévues et réelles est de 0.993. Minds Mosaic prévoit avec toutes les informations publiques disponibles avant le verrouillage, y compris les résultats antérieurs publiés du même sondage. Les valeurs publiées par les éditeurs restent chez les éditeurs : le registre publie nos prévisions et nos scores. Les catégories ci-dessous décomposent ces résultats par cas d'usage.

Sondages politiques et d'opinion publique

Sept des sondages scorés sont des sondages politiques et d'opinion publique aux États-Unis et au Royaume-Uni : The Economist/YouGov, les trackers GB de YouGov, Emerson, NPR/PBS News/Marist, Reuters/Ipsos, Find Out Now et Opinium. Sur leurs 24 questions, les prévisions verrouillées de Mosaic affichent une TVD de 0.023 et une erreur moyenne par option de réponse de 1.10 point. Les quatre sondages verrouillés avant le début du terrain appartiennent tous à cette catégorie, avec 19 questions et une TVD de 0.023.

Nous avons également inscrit Minds Mosaic dans la Social Simulation Arena, un classement académique indépendant qui évalue les prévisions scellées à l'avance, avec des prévisions pour les élections de mi-mandat américaines de 2026.

Les autres résultats publiés dans cette catégorie reposent sur des données différentes, nous les listons donc plutôt que de les représenter graphiquement. Aaru rapporte une erreur moyenne par option de réponse de 2.21 points sur 573 questions de politique, politiques publiques et affaires publiques issues de son étude de réplication 2026, après ajustement d'échantillonnage, et a publié une prévision de l'élection présidentielle américaine de 2024. Nos propres études rétrospectives sur les sondages électoraux ANES 2024 et CES 2024 rapportent respectivement 8.33 et 4.72 points d'erreur de distribution moyenne au niveau des répondants individuels.

Sentiment économique

Six des sondages scorés mesurent le sentiment des consommateurs : les enquêtes harmonisées sur la confiance des consommateurs de la Commission européenne pour l'Autriche, la France, l'Allemagne et l'Espagne, l'enquête de confiance des consommateurs de l'ESRI japonais et l'indice américain du Conference Board. Sur leurs 53 questions, Mosaic affiche une TVD de 0.039 et une erreur moyenne par option de réponse de 1.50 point.

Les prévisions verrouillées pour l'enquête de l'Université du Michigan, l'enquête sur les anticipations des consommateurs de la NY Fed et les vagues de novembre des enquêtes consommateurs sont en attente. Aucun autre fournisseur couvert ici ne publie de résultat scoré dans cette catégorie.

Attitudes sociales et valeurs

Artificial Societies a publié un benchmark public avec sept sources de sondages et un contrat de scoring, décrit dans leur article arXiv 2609.30030. Nous avons fait tourner Minds Mosaic dessus selon un protocole haché avant tout appel au modèle, scellé les sorties brutes avant le scoring, et utilisé leurs données et leur code de scoring. Deux sources proviennent du General Social Survey 2024.

Les chiffres de Mosaic sont la moyenne de trois runs ; ceux d'Artificial Societies sont tels que publiés. Mosaic a reçu une question par requête, avec les vagues publiques antérieures du General Social Survey comme contexte étiqueté. Mosaic prévoit la distribution de l'ensemble de l'échantillon, tandis que leurs chiffres publiés proviennent de la simulation de chaque répondant.

Deux autres résultats dans cette catégorie utilisent leurs propres données. Les agents de Simile sur 1 052 Américains interrogés reproduisent les réponses individuelles au General Social Survey à environ 85 % de la cohérence que les personnes montrent avec elles-mêmes deux semaines plus tard. Notre étude GSS 2024 rapporte 7.53 points d'erreur de distribution moyenne sur 17 questions et 360 répondants appariés.

Personnalité et psychométrie

Trois sources du benchmark d'Artificial Societies mesurent la personnalité plutôt que les attitudes. Ce n'est pas l'une des 15 catégories, nous la rapportons donc séparément.

Mosaic, moyenne de trois runs, présente l'erreur la plus faible sur les facettes et sur le retest jumeau, et est à égalité sur les traits.

Effets de formulation et de conception de sondage

Deux sources du même benchmark sont des expériences de formulation à questionnaire scindé : la même question posée en deux versions, pour mesurer dans quelle mesure la réponse varie.

Mosaic est à égalité sur l'expérience Jordan, et Artificial Societies présente l'erreur la plus faible sur Albertson. Mosaic prédit la direction des deux variations et en surestime l'ampleur. Les effets de formulation constituent une tâche différente de la prévision d'une distribution, c'est pourquoi nous les scorons comme une catégorie à part.

Sous-groupes et segments

Les sous-groupes sont là où la recherche synthétique est le plus souvent utilisée et là où elle échoue le plus souvent. Sur les 145 cellules de sous-groupes démographiques des items de confiance du General Social Survey dans le benchmark d'Artificial Societies, Mosaic affiche une TVD de 0.053 contre 0.063 pour Artificial Societies.

Notre registre score également les sous-groupes. Les tableaux croisés de The Economist/YouGov et YouGov GB fournissent 69 cellules de sous-groupes verrouillées, comme les réponses par tranche d'âge, parti ou vote de 2024, où Mosaic affiche une TVD de 0.046.

Publicité, vidéo et créatif

Aucun fournisseur n'a publié de résultats sur les mêmes données créatives, cette catégorie ne comporte donc pas encore de comparaison directe. Electric Twin rapporte des corrélations de 0.909 pour les images et 0.861 pour la vidéo entre les scores Likert moyens prédits et réels sur son propre benchmark. Dans notre étude Super Bowl, 100 répondants simulés et ancrés ont évalué les 54 publicités du USA TODAY Ad Meter 2026 et les ont classées en accord étroit avec le panel humain, avec une corrélation de Spearman de 0.85.

Concepts, tarification et marque

Les résultats publiés ici reposent également sur les données propres à chaque fournisseur.

Réponses ouvertes et comportement

Synthetic Users score le contenu des entretiens avec une grille d'évaluation pondérée qu'il appelle « Synthetic Organic Parity », de 85 à 92 %. Notre étude d'entretiens en données retenues a testé si des répondants simulés et ancrés reflètent ce que 22 participants réels ont dit ensuite dans 66 réponses d'entretien, et a constaté un gain clair apporté par les données des participants par rapport à un prompting générique.

Pour le comportement versus l'intention déclarée, Aaru a comparé ses classements de marques avec des données d'achat par carte de crédit et rapporte un accord sur 92.4 % des paires de marques, contre 77.8 % pour la considération issue des sondages publiés, dans la même étude de réplication.

Le benchmark d'Artificial Societies dans son ensemble

Sur l'ensemble des sept sources, Mosaic et Artificial Societies sont à égalité. Selon la convention d'Artificial Societies, le premier run avec chaque source pondérée à parts égales, Mosaic obtient 0.083 contre 0.082 ; moyenné sur les trois runs, Mosaic obtient 0.085. Mosaic présente l'erreur la plus faible sur cinq des sept sources. Sans les deux expériences de formulation, Mosaic est en avance : 0.084 contre 0.091 sur la moyenne des trois runs.

À quoi devrait ressembler un benchmark équitable

Nos expériences des deux derniers mois, les chiffres publiés dans le domaine et notre participation à une arène publique convergent vers les quatre mêmes règles.

1. Verrouiller avant le terrain. Une prévision figée avant le premier entretien ne peut pas être ajustée en fonction de la réponse. Verrouiller seulement avant la publication est plus faible, car les résultats fuient parfois une fois le terrain terminé. Consignez les dates réelles du terrain et la classe de preuve de chaque résultat.
2. Publier le plancher de bruit. Même un prévisionniste parfait porte une erreur d'échantillonnage : environ 0.024 TVD pour une question à trois options sur un échantillon d'environ 1 200 personnes. Des différences inférieures à ce seuil ne sont pas significatives sans intervalles.
3. Rapporter par catégorie d'usage et par stimulus. Les sondages, le sentiment des consommateurs, les publicités, les concepts et les sites web sont des tâches différentes, et les questions textuelles, les images, la vidéo, l'audio et les parcours interactifs sont des stimuli différents. Un chiffre global agrégé ne dit pas grand-chose sur l'un d'entre eux en particulier.
4. Distinguer par type de réponse. Le choix unique, les échelles de Likert et ordinales, le choix multiple, les réponses numériques, les classements et les designs à choix forcé comme le MaxDiff, ainsi que le texte libre nécessitent chacun leur propre métrique. Les options à choix multiple doivent être scorées comme des parts oui/non séparées, les échelles ordinales avec un score tenant compte de l'ordre, et les réponses ouvertes avec des parts de thèmes ou des distances d'embedding plutôt qu'un seul juge.

Nous ajouterions deux règles pratiques : rapporter chaque run et l'écart entre les runs, et préciser quelle corrélation est rapportée, agrégée ou intra-question.

Autres benchmarks publics à suivre

Aucun benchmark unique ne couvre encore l'ensemble du domaine. Voici les benchmarks publics que nous suivons, regroupés selon le type de preuve qu'ils produisent.

Seul le premier score des prévisions faites avant que le résultat n'existe. Les autres sont précieux pour le développement des méthodes, et la plupart sont publics, de sorte que n'importe quelle équipe peut les reproduire. Leurs items sont également publics, ce qui signifie qu'un modèle a pu les voir pendant l'entraînement. C'est pourquoi les résultats prospectifs ont le plus de poids.

La suite

Plusieurs catégories n'ont encore aucun résultat scoré publié par qui que ce soit : les messages et textes, le comportement sur site web et application, et la demande médias et divertissement. D'autres reposent sur une seule étude. Ce sont des terrains ouverts, et le registre de prévisions pré-enregistrées est la façon dont nous les couvrirons : verrouiller la prévision, attendre le résultat réel, publier le score.

Minds Mosaic est inscrit dans la Social Simulation Arena sous le nom minds-mosaic, avec des prévisions scellées à l'avance pour les élections de mi-mandat américaines de 2026 et pour des rounds de sondages hebdomadaires qui se résolvent à partir de novembre. Nous continuerons d'ajouter des sondages à notre registre de prévisions, publierons chaque résultat dès qu'il se résout, et le rapporterons par catégorie et au regard du plancher de bruit. Nous faisons également tourner le protocole publié d'Aaru sur de nouvelles études 2026.

Minds Mosaic est notre modèle frontier pour la simulation d'audience : donnez-lui une population et une question, et il prévoit la distribution complète des réponses avant que la vraie n'existe. Les sondages publiés constituent le premier test. Ensuite, Mosaic sera mesuré sur le comportement : des prévisions d'achats et de visionnage, scorées contre ce que les gens ont réellement acheté et regardé. Il sera également mesuré sur les catégories ouvertes ci-dessus et dans les rounds de l'arène qui se résolvent au cours des prochains mois, chacun verrouillé avant le résultat et scoré en public.

Si vous publiez des chiffres de précision pour un modèle de simulation d'audience, nous serions heureux de mener un test partagé, verrouillé à l'avance, dans l'une de ces catégories. C'est le moyen le plus rapide pour cette catégorie de gagner la confiance des acheteurs de recherche.