Presentamos Minds Mosaic: marcando el ritmo en simulación de audiencias

Minds Mosaic es nuestro modelo de vanguardia para la simulación de audiencias. Proporciónale una población definida y una pregunta de encuesta, y predecirá cómo responderá esa población: la distribución completa entre todas las opciones de respuesta, antes de que la encuesta se realice.

Una predicción así solo vale algo si se sostiene frente a resultados reales. Por eso medimos Mosaic de forma abierta. Cada pronóstico se fija y se marca con una marca de tiempo antes de que el editor publique sus resultados, y cada puntuación entra en un registro público, incluidos los errores. Hemos inscrito a Mosaic en una arena independiente que puntúa pronósticos sellados de antemano, y lo hemos enfrentado directamente al benchmark público de un competidor.

Cada proveedor de encuestados sintéticos publica ahora una cifra de precisión, pero esas cifras provienen de datos distintos, métricas distintas y condiciones distintas. Esta entrada comienza con la cifra global de cada proveedor, luego clasifica los resultados publicados en los casos de uso que los compradores realmente ejecutan y compara cifras directamente cuando se midieron sobre los mismos datos.

La versión corta

• Clasificamos la simulación de audiencias en 15 categorías de casos de uso, desde encuestas políticas hasta publicidad y entrevistas abiertas, y comparamos cifras directamente solo dentro de una categoría y sobre los mismos datos.
• En encuestas políticas y de opinión pública, los pronósticos de Minds Mosaic, fijados antes de que se publicaran los resultados, muestran un error de distribución (TVD) de 0.023 en 24 preguntas de 7 encuestas. En encuestas de sentimiento económico es de 0.039 en 53 preguntas de 6 encuestas.
• En el benchmark público propio de Artificial Societies, Mosaic tiene el error más bajo en ambas fuentes de actitudes sociales, en dos de las tres fuentes de personalidad y en subgrupos demográficos (0.053 frente a 0.063). En términos generales, ambos están al mismo nivel según la convención de ese benchmark: 0.083 frente a 0.082.
• Ninguno de los proveedores aquí mencionados publica un registro continuo de pronósticos de encuestas fijados antes de que la encuesta se realice. El nuestro es público en forecasts.getminds.ai: archivos Markdown y JSON simples, pruebas de marca de tiempo y un script que los verifica.

Precisión global por categorías

Minds Mosaic y otros dos proveedores publican un error de distribución global (TVD) que agrupa todas las categorías evaluadas. Cuanto más bajo, mejor; la siguiente sección explica la métrica.

La tabla indica los datos y la fuente detrás de cada cifra, con el error medio absoluto por opción de respuesta (MAE) y la correlación agrupada donde el proveedor la publica.

Cuatro empresas publican su cifra principal en una escala propia que no puede convertirse a TVD ni a MAE:

• Simile: los agentes reproducen las respuestas individuales de encuesta con aproximadamente el 85% de la consistencia que las personas muestran consigo mismas dos semanas después (entre el 82% y el 86% según la fuente de datos en la versión más reciente del preprint).
• Evidenza: "88% de precisión", descrita como la coincidencia media entre investigación sintética y tradicional en más de 100 validaciones.
• Synthetic Users: "Paridad Orgánica Sintética" del 85 al 92%, un criterio ponderado para el contenido de entrevistas.
• Electric Twin: además del 96% anterior, 92% en su propia puntuación de distribución completa (NDAM).

Cómo interpretar las cifras

Dos métricas aparecen con más frecuencia, y no son intercambiables.

La distancia de variación total (TVD) va de 0 a 1. Es la proporción de la distribución de respuestas que se encuentra en el lugar equivocado. Un TVD de 0.05 significa que cinco puntos de la distribución tendrían que desplazarse para coincidir con el resultado real.

El error medio absoluto (MAE) es el error medio por opción de respuesta, en puntos porcentuales. Para el mismo pronóstico, el MAE suele ser mucho menor que el TVD expresado en puntos, porque el TVD suma los errores entre opciones y el MAE los promedia. Un MAE de 3.5 puntos y un TVD de 7.6 puntos pueden describir el mismo resultado.

Las correlaciones también necesitan una etiqueta. Una correlación agrupada en todas las opciones de respuesta de todas las preguntas es alta para casi cualquier método razonable, porque algunas opciones son siempre grandes y otras siempre pequeñas. Una correlación dentro de cada pregunta es mucho más exigente. Cuando citamos una correlación agrupada a continuación, lo indicamos, tanto para la nuestra como para las de otros.

Quince categorías de simulación de audiencias

Los compradores utilizan la simulación de audiencias para trabajos muy distintos, y un sistema que pronostica bien la intención de voto no ha demostrado que pueda predecir cómo reacciona la gente ante un anuncio de vídeo. Agrupamos el trabajo en 15 categorías según lo que se predice y cuál es el resultado real.

Las dos tablas siguientes muestran quién publica un resultado puntuado en cada categoría, a 1 de noviembre de 2026. "Sí" significa que existe al menos un resultado público y puntuado en esa categoría; las secciones a continuación indican los datos detrás de cada uno. Art. Soc. es Artificial Societies, E. Twin es Electric Twin, Syn. Users es Synthetic Users.

Cómo se produjo cada afirmación de precisión

La categoría indica qué se midió. Las condiciones indican cuánto puede confiarse en la cifra.

Basado en los materiales públicos de cada empresa a 1 de noviembre de 2026. Una celda vacía significa que la afirmación publicada no lo demuestra.

Una prueba retrospectiva ejecuta el sistema sobre una encuesta que ya ha sido publicada o que está en poder del proveedor. Es útil para el desarrollo, y todos los equipos de este campo, incluido el nuestro, la utilizan. Sus limitaciones son bien conocidas: el modelo puede haber visto los resultados, las decisiones sobre qué preguntas incluir se toman con las respuestas disponibles, y el proveedor se puntúa a sí mismo.

Un pronóstico registrado de antemano elimina esos problemas. El pronóstico se fija antes de que existan los resultados, por lo que no puede ajustarse a ellos, y se puntúa frente a cifras que el pronosticador no podía haber visto. Fijarlo antes de la primera entrevista es aún más sólido, porque nada sobre la encuesta puede haberse filtrado. Este es el estándar utilizado para los pronósticos electorales y económicos, y es el estándar que la simulación de audiencias debería cumplir.

Ninguno de los proveedores anteriores publica un registro continuo de pronósticos de encuestas fijados antes de que la encuesta se realice y puntuados posteriormente. Aaru publicó un pronóstico de las elecciones presidenciales de EE. UU. de 2024 el día antes de la votación. Electric Twin financió un estudio académico registrado de antemano liderado por su asesor científico jefe en la LSE, comparando respuestas sintéticas con siete servicios de muestreo humano. El documento de trabajo de un socio de Simile describe pruebas internas que anticiparon nuevos resultados antes del trabajo de campo, sin publicar los pronósticos. Nuestro registro publica cada pronóstico y cada puntuación.

Cómo funciona el registro de pronósticos de Minds Mosaic

Para cada encuesta objetivo, anotamos la redacción exacta de la pregunta, las opciones de respuesta y la población antes del registro. Minds Mosaic pronostica entonces la distribución completa de respuestas de cada pregunta. Cada pronóstico se convierte en un hash, se añade a un registro de solo adición, se agrupa y se marca con una marca de tiempo en la cadena de bloques de Bitcoin a través de OpenTimestamps. Cuando el editor publica sus resultados, puntuamos cada pronóstico registrado frente a la publicación oficial, incluidos los errores y los pronósticos que resultan no ser puntuables. Cada encuesta lleva una clase de evidencia: fijada antes del inicio del trabajo de campo, o fijada después del trabajo de campo pero antes de que ningún resultado fuera público.

El registro es deliberadamente sencillo. En forecasts.getminds.ai cualquiera puede descargarlo como archivos ordinarios: un README en Markdown con el marcador actual, un archivo JSON por pronóstico registrado, las pruebas de OpenTimestamps y un script que verifica cada hash y marca de tiempo. Los archivos JSON funcionan también como fuente legible por máquina, de modo que cualquiera puede verificar nuestro registro o volver a puntuarlo sin necesidad de consultarnos.

Trece encuestas han publicado resultados hasta ahora, con 77 preguntas en Austria, Francia, Alemania, Japón, España, el Reino Unido y los Estados Unidos, y cada uno de esos pronósticos lleva una marca de tiempo verificada en Bitcoin anterior a la publicación de los resultados. En conjunto, el error de distribución de Mosaic es de 0.034, y de 0.023 en las 4 encuestas fijadas antes del inicio del trabajo de campo.

En las 77 preguntas, el error medio por opción de respuesta es de 1.37 puntos porcentuales, y la correlación agrupada entre el pronóstico y las proporciones de respuesta reales es de 0.993. Minds Mosaic pronostica con toda la información pública disponible antes del registro, incluidos resultados anteriores publicados de la misma encuesta. Los valores publicados por los editores permanecen con los editores: el registro publica nuestros pronósticos y nuestras puntuaciones. Las categorías a continuación dividen estos resultados por caso de uso.

Política y opinión pública

Siete de las encuestas puntuadas son encuestas políticas y de opinión pública en los Estados Unidos y el Reino Unido: The Economist/YouGov, los paneles GB de YouGov, Emerson, NPR/PBS News/Marist, Reuters/Ipsos, Find Out Now y Opinium. En sus 24 preguntas, los pronósticos registrados de Mosaic tienen un TVD de 0.023 y un error medio por opción de respuesta de 1.10 puntos porcentuales. Las cuatro encuestas fijadas antes del inicio del trabajo de campo pertenecen todas a esta categoría, con 19 preguntas y un TVD de 0.023.

También hemos inscrito a Minds Mosaic en la Social Simulation Arena, un marcador académico independiente que puntúa pronósticos sellados de antemano, con pronósticos para las rondas de las elecciones de mitad de mandato de EE. UU. de 2026.

Otros resultados publicados en esta categoría se basan en datos distintos, por lo que los enumeramos en lugar de representarlos gráficamente. Aaru reporta un error medio por opción de respuesta de 2.21 puntos en 573 preguntas de política, políticas públicas y asuntos públicos de su estudio de replicación de 2026, tras su ajuste de muestreo, y publicó un pronóstico de las elecciones presidenciales de EE. UU. de 2024. Nuestros propios estudios retrospectivos del ANES 2024 y del CES 2024 reportan 8.33 y 4.72 puntos de error medio de distribución a nivel de encuestados individuales.

Sentimiento económico

Seis de las encuestas puntuadas miden el sentimiento del consumidor: las encuestas armonizadas de consumidores de la Comisión Europea para Austria, Francia, Alemania y España, la encuesta de confianza del consumidor del ESRI de Japón y el índice del Conference Board de EE. UU. En sus 53 preguntas, Mosaic tiene un TVD de 0.039 y un error medio por opción de respuesta de 1.50 puntos.

Los pronósticos registrados para la encuesta de la Universidad de Michigan, la Encuesta de Expectativas del Consumidor del New York Fed y las oleadas de noviembre de las encuestas de consumidores están pendientes. Ningún otro proveedor aquí mencionado publica un resultado puntuado en esta categoría.

Actitudes sociales y valores

Artificial Societies publicó un benchmark público con siete fuentes de encuestas y un contrato de puntuación, descrito en su artículo arXiv 2609.30030. Ejecutamos Minds Mosaic sobre él bajo un protocolo convertido en hash antes de cualquier llamada al modelo, sellamos los resultados brutos antes de la puntuación y utilizamos sus datos y código de puntuación. Dos fuentes provienen de la Encuesta Social General de 2024.

Las cifras de Mosaic son la media de tres ejecuciones; las de Artificial Societies son las publicadas. Mosaic recibió una pregunta por solicitud, con oleadas públicas anteriores de la Encuesta Social General como contexto etiquetado. Mosaic pronostica la distribución de toda la muestra, mientras que sus cifras publicadas provienen de simular a cada encuestado individualmente.

Otros dos resultados en esta categoría utilizan sus propios datos. Los agentes de Simile de 1.052 estadounidenses entrevistados reproducen las respuestas individuales de la Encuesta Social General con aproximadamente el 85% de la consistencia que las personas muestran consigo mismas dos semanas después. Nuestro estudio GSS 2024 reporta 7.53 puntos de error medio de distribución en 17 preguntas y 360 encuestados emparejados.

Personalidad y psicometría

Tres fuentes del benchmark de Artificial Societies miden personalidad en lugar de actitudes. Esta no es una de las 15 categorías, por lo que la reportamos por separado.

Mosaic, con la media de tres ejecuciones, tiene el error más bajo en facetas y en el retest de gemelos, y está al nivel en rasgos.

Efectos de redacción y diseño de encuestas

Dos fuentes del mismo benchmark son experimentos de redacción con cuestionario dividido: la misma pregunta formulada en dos versiones, para medir cuánto cambia la respuesta.

Mosaic está al nivel en el experimento Jordan, y Artificial Societies tiene el error más bajo en Albertson. Mosaic predice la dirección de ambos cambios y sobreestima su magnitud. Los efectos de redacción son una tarea distinta a pronosticar una distribución, razón por la cual los puntuamos como su propia categoría.

Subgrupos y segmentos

Los subgrupos son donde la investigación sintética se utiliza con más frecuencia y donde falla con más frecuencia. En las 145 celdas de subgrupos demográficos de los ítems de confianza de la Encuesta Social General del benchmark de Artificial Societies, Mosaic tiene un TVD de 0.053 frente a su 0.063.

Nuestro registro también puntúa subgrupos. Las tabulaciones cruzadas de The Economist/YouGov y YouGov GB proporcionan 69 celdas de subgrupos registradas, como respuestas por grupo de edad, partido o voto de 2024, donde Mosaic tiene un TVD de 0.046.

Publicidad, vídeo y creatividad

Ningún par de proveedores ha publicado resultados sobre los mismos datos creativos, por lo que esta categoría aún no tiene una comparación directa. Electric Twin reporta correlaciones de 0.909 para imágenes y 0.861 para vídeo entre las puntuaciones medias Likert predichas y las reales en su propio benchmark. En nuestro estudio del Super Bowl, 100 encuestados simulados con base real valoraron los 54 anuncios del USA TODAY Ad Meter 2026 y los clasificaron en estrecho acuerdo con el panel humano, con una correlación de Spearman de 0.85.

Conceptos, precios y marca

Los resultados publicados aquí también se basan en los datos propios de cada proveedor.

Respuestas abiertas y comportamiento

Synthetic Users puntúa el contenido de entrevistas con un criterio ponderado que denomina "Paridad Orgánica Sintética", con un resultado del 85 al 92%. Nuestro estudio de validación de respuestas de entrevista reservadas comprobó si los encuestados simulados con base real reflejan lo que 22 participantes reales dijeron posteriormente en 66 respuestas de entrevista, y encontró una ganancia clara al usar evidencia de participantes frente a instrucciones genéricas.

En cuanto al comportamiento frente a la intención declarada, Aaru comparó sus rankings de marca con datos de compras con tarjeta de crédito y reporta acuerdo en el 92.4% de los pares de marcas, frente al 77.8% para la consideración en encuestas publicadas, en el mismo estudio de replicación.

El benchmark de Artificial Societies en conjunto

En las siete fuentes, Mosaic y Artificial Societies están al mismo nivel. Según la convención de Artificial Societies, con la primera ejecución y cada fuente ponderada por igual, Mosaic obtiene 0.083 frente a su 0.082; promediado sobre las tres ejecuciones, Mosaic obtiene 0.085. Mosaic tiene el error más bajo en cinco de las siete fuentes. Sin los dos experimentos de redacción, Mosaic lidera con 0.084 frente a 0.091 en la media de tres ejecuciones.

Cómo debería ser un benchmark justo

Nuestros experimentos de los últimos dos meses, las cifras publicadas en el campo y nuestra participación en una arena pública apuntan a las mismas cuatro reglas.

1. Fijar antes del trabajo de campo. Un pronóstico fijado antes de la primera entrevista no puede ajustarse a la respuesta. Fijarlo solo antes de la publicación es más débil, porque los resultados a veces se filtran una vez que el trabajo de campo ha concluido. Hay que registrar las fechas reales del trabajo de campo y la clase de evidencia de cada resultado.
2. Publicar el nivel de ruido. Incluso un pronosticador perfecto lleva error de muestreo: aproximadamente 0.024 TVD para una pregunta de tres opciones con una muestra de alrededor de 1.200. Las diferencias menores a eso no son significativas sin intervalos.
3. Reportar por categoría de caso de uso y estímulo. Las encuestas, el sentimiento del consumidor, los anuncios, los conceptos y los sitios web son tareas distintas, y las preguntas de texto, las imágenes, el vídeo, el audio y los flujos interactivos son estímulos distintos. Un titular agrupado sobre todos ellos dice poco sobre cualquiera de ellos en particular.
4. Dividir por tipo de respuesta. La elección única, las escalas Likert y ordinales, la selección múltiple, las respuestas numéricas, los rankings y los diseños de elección forzada como MaxDiff, y el texto abierto necesitan cada uno su propia métrica. Las opciones de selección múltiple deben puntuarse como proporciones sí/no separadas, las escalas ordinales con una puntuación que tenga en cuenta el orden, y las respuestas abiertas con proporciones de temas o distancias de embedding en lugar de un único juez.

Añadiríamos dos reglas prácticas: reportar cada ejecución y la dispersión entre ejecuciones, e indicar qué correlación se reporta, si agrupada o dentro de cada pregunta.

Otros benchmarks públicos que vale la pena seguir

Ningún benchmark único cubre el campo todavía. Estos son los públicos que seguimos, agrupados por el tipo de evidencia que producen.

Solo el primero puntúa pronósticos realizados antes de que existiera el resultado. Los demás son valiosos para el desarrollo de métodos, y la mayoría son públicos, por lo que cualquier equipo puede volver a ejecutarlos. Sus ítems también son públicos, lo que significa que un modelo puede haberlos visto durante el entrenamiento. Por eso los resultados prospectivos tienen más peso.

Qué viene a continuación

Varias categorías aún no tienen ningún resultado puntuado público de nadie: mensajes y textos, comportamiento en web y aplicaciones, y demanda de medios y entretenimiento. Otras se basan en un único estudio. Este es terreno abierto, y el registro de pronósticos registrados de antemano es cómo lo cubriremos: fijar el pronóstico, esperar el resultado real, publicar la puntuación.

Minds Mosaic está inscrito en la Social Simulation Arena como minds-mosaic, con pronósticos sellados de antemano para las rondas de las elecciones de mitad de mandato de EE. UU. de 2026 y para rondas semanales de encuestas que se resolverán a partir de noviembre. Seguiremos añadiendo encuestas a nuestro registro de pronósticos, publicaremos cada resultado a medida que se resuelva y lo reportaremos por categoría y en relación con el nivel de ruido. También estamos ejecutando el protocolo publicado de Aaru sobre estudios frescos de 2026.

Minds Mosaic es nuestro modelo de vanguardia para la simulación de audiencias: proporciónale una población y una pregunta, y pronosticará la distribución completa de respuestas antes de que exista la real. Las encuestas publicadas son la primera prueba. A continuación, Mosaic se medirá sobre comportamiento: pronósticos de compras y visionado, puntuados frente a lo que la gente realmente compró y vio. También se medirá sobre las categorías abiertas anteriores y en las rondas de la arena que se resuelvan en los próximos meses, cada una fijada antes del resultado y puntuada en público.

Si publica cifras de precisión para un modelo de simulación de audiencias, nos encantaría realizar una prueba compartida con pronósticos fijados de antemano en cualquiera de estas categorías. Es la forma más rápida de que esta categoría se gane la confianza de quienes compran investigación.