·Validation·Minds Team

¿Puede la IA recrear una encuesta alimentaria real de la Generación Z? Minds alcanzó una aproximación del 93.99%

En tres preguntas sobre frecuencia de comidas y 21 celdas de opciones de respuesta, Minds promedió 6.01 puntos porcentuales de error, alcanzó un 78.98% de solapamiento de distribución y completó cada respuesta planificada.

Una encuesta real del Reino Unido preguntó a los jóvenes con qué frecuencia comen fuera o compran comida para llevar para el desayuno, el almuerzo y la cena. Esta validación aplicada a ciegas planteó las mismas preguntas a una audiencia cerrada de 301 Minds de la Generación Z y comparó las distribuciones de respuestas agregadas con los resultados humanos publicados.

El resultado principal fue una aproximación agregada del 93.99% a las distribuciones de la encuesta real. En las 21 celdas de opciones de respuesta, la brecha promedio fue de 6.01 puntos porcentuales. Las 903 respuestas planificadas de las preguntas de los Minds se completaron con éxito.

El análisis evalúa la concordancia de la distribución agregada. No trata la puntuación como precisión de predicción individual ni como evidencia de que se mantendrá el mismo rendimiento para cada audiencia y tipo de pregunta.

El resultado de un vistazo

Resultado de la validaciónValorQué significa
Aproximación a la encuesta real93.99%100% menos la brecha promedio en puntos porcentuales en las 21 celdas de opciones de respuesta
Brecha promedio con la encuesta real6.01 ppLa diferencia absoluta promedio entre los porcentajes de Minds y de la encuesta real
Solapamiento medio de la distribución78.98%Qué proporción de cada distribución completa de respuestas se solapó
Respuestas completadas903 / 903Los 301 Minds respondieron a las tres preguntas
Correlación de Pearson0.804Fuerte alineación entre los 21 porcentajes reales y sintéticos
Correlación de Spearman0.834Fuerte concordancia en la clasificación de las opciones de respuesta

Pregunta de investigación y datos de referencia

La frecuencia de las comidas depende de la rutina, el trabajo o los estudios, el presupuesto, la conveniencia, el contexto social y la disponibilidad local. Por lo tanto, proporciona una prueba práctica de si una audiencia sintética puede reproducir una distribución completa de respuestas de los consumidores en lugar de limitarse a producir comentarios cualitativos plausibles.

La referencia provino del estudio Food and You 2, Wave 10 de la Food Standards Agency del Reino Unido. El trabajo de campo se llevó a cabo del 9 de octubre de 2024 al 7 de febrero de 2025, y el conjunto de datos público se publicó el 25 de septiembre de 2025. El análisis utilizó los resultados publicados para personas de 16 a 24 años, con una base de preguntas humanas de 257 para cada elemento evaluado.

Las tres preguntas registradas fueron:

  • ¿Con qué frecuencia come fuera o compra comida para llevar para el desayuno?
  • ¿Con qué frecuencia come fuera o compra comida para llevar para el almuerzo?
  • ¿Con qué frecuencia come fuera o compra comida para llevar para la cena?

Cada pregunta tenía siete opciones de respuesta registradas. Por lo tanto, el análisis confirmatorio comparó 21 porcentajes sintéticos y humanos.

La audiencia: 301 Minds persistentes de la Generación Z

El panel sintético representó a jóvenes de entre 16 y 24 años de Inglaterra, Gales e Irlanda del Norte. La cohorte cerrada contenía variaciones en edad, género, nación, ingresos, rutinas y contexto social. Los 301 Minds se seleccionaron antes de inspeccionar los resultados actuales.

Composición de la audiencia

Rango de edad
  • 1
    16–1829%
  • 2
    19–2137%
  • 3
    22–2434%
Género
  • 1
    Femenino65%
  • 2
    Masculino35%
Nación
  • 1
    Inglaterra84%
  • 2
    Gales8%
  • 3
    Irlanda del Norte8%
Food and You 2 Survey: Wave 10 dataset
Food and You 2: Wave 10 research report

Se trataba de miembros persistentes de la audiencia en lugar de personajes temporales generados para una sola pregunta. El panel se basó en 20,500 elementos de conocimiento representados por 14,671 fragmentos de recuperación, lo que permite reutilizar la misma cohorte sintética en diversas tareas de investigación.

Diseño del estudio y estimandos

El estudio utilizó un diseño de replicación preregistrado con la misma cohorte:

  1. Cerrar la audiencia sintética de 301 personas.
  2. Plantear las preguntas originales de la encuesta con las opciones de respuesta originales.
  3. Mantener los porcentajes de la encuesta real fuera del entorno de ejecución de Minds.
  4. Agregar las 903 respuestas de los Minds en tres distribuciones completas.
  5. Comparar cada porcentaje sintético de opción de respuesta con el resultado humano publicado.

En lugar de forzar la incertidumbre en un único voto definitivo, Minds representó la probabilidad de que cada miembro de la audiencia eligiera cada respuesta disponible. Luego, estas probabilidades se combinaron en la distribución final del panel.

Elemento de diseñoEspecificación registrada
Muestra sintética301 Minds persistentes de 16 a 24 años
Referencia humanaDistribuciones juveniles publicadas de Food and You 2; base n=257 por pregunta
Instrumento3 preguntas sobre frecuencia de comidas × 7 opciones
Respuestas planificadas903 respuestas de preguntas de Minds
Criterio de valoración principalError absoluto medio no ponderado en puntos porcentuales en las 21 celdas
Criterios de valoración secundariosSolapamiento de distribución, divergencia de Jensen-Shannon, r de Pearson y rho de Spearman
Aislamiento de resultadosPorcentajes humanos y archivos de referencia excluidos del entorno de ejecución

La aproximación porcentual se define como 100% − error absoluto medio en puntos porcentuales. El solapamiento medio de la distribución es 1 − distancia de variación total, promediado en las tres preguntas. La divergencia de Jensen-Shannon mide la diferencia en la forma de la distribución en bits, donde cero indica distribuciones idénticas.

Cada pregunta obtuvo una puntuación superior a 91

Brecha promedio con la realidad

Resultados comunicados para este estudio. La tabla y el análisis conservan el alcance, las referencias y la incertidumbre.

  • Frecuencia de desayuno2,98
  • Frecuencia de almuerzo6,48
  • Frecuencia de cena8,56
0Puntos porcentuales · menor es mejor10
PreguntaAproximación a la encuesta realBrecha promedio con la realidad
Frecuencia de desayuno97.02%2.98 pp
Frecuencia de almuerzo93.52%6.48 pp
Frecuencia de cena91.44%8.56 pp
Las 21 celdas de opciones de respuesta93.99%6.01 pp

El desayuno tuvo el menor error a nivel de celda, mientras que la cena tuvo el mayor. El resultado agregado no fue impulsado por una sola pregunta: cada pregunta logró una aproximación de más del 91% a la distribución de su encuesta real.

Comprobaciones de distribución secundarias

Dado que el error absoluto medio por sí solo no describe completamente la forma de la distribución, el análisis incluyó cuatro comprobaciones complementarias.

  • 78.98% de solapamiento medio de la distribución: la mayor parte de la masa de respuestas apareció en los mismos lugares en los resultados reales y sintéticos.
  • 0.0602 de divergencia de Jensen-Shannon: las formas generales eran cercanas; cero significaría distribuciones idénticas.
  • 0.804 de correlación de Pearson: los porcentajes grandes y pequeños tendieron a moverse juntos.
  • 0.834 de correlación de Spearman: las opciones de respuesta se clasificaron de manera similar por prevalencia.

Las cuatro métricas apuntan en la misma dirección: dentro de este instrumento, las distribuciones de Minds estuvieron cerca de la referencia humana tanto en nivel absoluto como en forma relativa. La correlación se reporta como una medida complementaria y no reemplaza a las métricas de error de nivel.

Integridad y fundamentación de las respuestas

Cada una de las 903 respuestas aceptadas contaba con procedencia:

  • 889 respuestas utilizaron conocimiento recuperado de los Minds;
  • 14 respuestas utilizaron el perfil intrínseco de los Minds;
  • 0 respuestas se marcaron como no respaldadas; y
  • 301 de 301 Minds completaron cada pregunta.

Estos campos de procedencia establecen que la ejecución utilizó la vía de Minds persistentes en lugar de respuestas sin respaldo. No demuestran por sí mismos que cada memoria recuperada fuera causalmente necesaria para la distribución final.

Interpretación práctica

Dentro del alcance probado, el resultado respalda el uso de un panel sintético fundamentado para investigaciones rápidas e iterativas, tales como:

  • probar afirmaciones de campaña antes del gasto en medios;
  • comparar conceptos de productos o empaques;
  • explorar por qué diferentes segmento de audiencia reaccionan de manera diferente;
  • perfeccionar las preguntas de la encuesta antes del trabajo de campo; y
  • identificar las direcciones más sólidas para una posterior validación humana.

El resultado respalda el trabajo direccional y comparativo rápido. Las afirmaciones de alto riesgo, las decisiones reguladas, el dimensionamiento preciso del mercado y las preguntas fuera del alcance validado aún pueden requerir encuestados reclutados y un diseño de estudio humano adecuado.

Alcance y limitaciones

Esta fue una validación independiente de Minds que utilizó datos públicos de Food and You 2. La Food Standards Agency produjo la encuesta de referencia, pero no patrocinó, respaldó ni revisó el estudio de Minds.

Este estudio respaldaEste estudio no establece
Una estrecha concordancia agregada en tres distribuciones de frecuencia de comidas de jóvenes del Reino UnidoUna precisión de predicción a nivel individual del 93.99%
Ejecución completa en producción para 301 Minds y 903 respuestasUn rendimiento universal en diferentes audiencias, países, dominios o tipos de preguntas
Concordancia en las métricas de MAE, solapamiento, divergencia y correlaciónPrueba causal de que la fundamentación por sí sola produjo la concordancia observada
Aislamiento de resultados en el entorno de ejecuciónLa exclusión completa de la exposición indirecta a una encuesta pública a través del preentrenamiento o del corpus de conocimiento persistente

Esta es una replicación con la misma cohorte y el mismo instrumento que cubre tres preguntas estrechamente relacionadas de una encuesta. Los encuestados humanos y sintéticos no se emparejaron individualmente, y el análisis compara distribuciones agregadas. No se estimó ningún intervalo de incertidumbre de muestreo a partir de los microdatos humanos para este resultado público. Se requiere una validación adicional en audiencias e instrumentos disjuntos antes de realizar una afirmación de precisión más amplia.

Fuentes

Preguntas frecuentes

¿Qué tan cerca estuvo Minds de coincidir con la encuesta real Food and You?

En los porcentajes de las 21 opciones de respuesta, Minds logró una aproximación agregada del 93.99% a la encuesta real. La brecha promedio fue de 6.01 puntos porcentuales y el solapamiento medio de la distribución fue del 78.98%.

¿Significa una aproximación del 93.99% que Minds predice correctamente a cada individuo?

No. La aproximación del 93.99% se calcula como el 100% menos la brecha promedio en puntos porcentuales en las 21 celdas agregadas de la encuesta. Mide qué tan cerca estuvo la distribución de la audiencia de coincidir con la encuesta real, no si cada respuesta individual se predijo correctamente.

¿Eran estos encuestados reales?

No. Eran 301 miembros persistentes de una audiencia sintética de entre 16 y 24 años. Sus respuestas agregadas se compararon con los resultados publicados de una encuesta real de la Food Standards Agency del Reino Unido.

¿Se les mostraron los resultados de la encuesta real a los Minds?

No. Se reprodujeron las preguntas y las opciones de respuesta, pero el conjunto de datos de referencia y los porcentajes reales se mantuvieron excluidos del entorno de ejecución. Debido a que la fuente es pública, no se puede excluir por completo la exposición indirecta a través del preentrenamiento del modelo o del corpus de conocimiento persistente.

¿Qué diferencia a esto de realizar prompts a una IA general 301 veces?

Los Minds eran miembros persistentes de la audiencia basados en 20,500 elementos de conocimiento y 14,671 fragmentos de recuperación. En esta ejecución, 889 de las 903 respuestas utilizaron conocimiento recuperado de los Minds, 14 utilizaron el perfil intrínseco y ninguna careció de respaldo.