·Validation·Minds Team

Entrevistas reservadas: cuándo ayuda la memoria del participante

Dos corpus públicos de entrevistas evalúan si los perfiles compactos y la evidencia previa recuperada mejoran la fidelidad respecto a 66 respuestas posteriores de 22 participantes reales.

Un perfil compacto combinado con evidencia relevante recuperada mejoró las puntuaciones de ajuste al participante frente al prompting genérico en una validación con 22 personas y 66 respuestas de entrevista reservadas. La mejora registrada, agrupada por participante, fue de 24.37 puntos compuestos, con ventajas promedio positivas en ambos corpus evaluados.

La pregunta era concreta: ¿puede un entrevistado sintético fundamentado reflejar con mayor fidelidad lo que una persona específica dijo más adelante, en lugar de limitarse a generar una respuesta verosímil a una pregunta de entrevista?

Evidencia previa, respuestas posteriores

El estudio utilizó dos corpus públicos de entrevistas sobre profesionales de la odontología láser e inseguridad alimentaria en personas refugiadas. El material inicial de las entrevistas aportó perfiles compactos de los participantes y evidencia recuperable. Tres respuestas posteriores por persona se mantuvieron reservadas para la evaluación.

Las condiciones evaluadas con el mismo modelo diferenciaron entre prompting genérico, contexto de rol, contexto de perfil y perfil más recuperación. Estas comparaciones permiten distinguir el valor de una descripción general del rol frente al valor de la evidencia específica de cada participante.

Había 66 respuestas objetivo, pero solo 22 personas. Las múltiples respuestas de una misma persona constituyen observaciones correlacionadas; por lo tanto, la incertidumbre debe tratar al participante como un clúster.

La ventaja de fidelidad observada

Resultado compuesto

Resultados comunicados para este estudio. La tabla y el análisis conservan el alcance, las referencias y la incertidumbre.

  • Perfil compacto más recuperación, media60,33
  • Prompting genérico, media35,98
0Puntuación / 100100
Condición o contrasteResultado compuesto
Perfil compacto más recuperación, media60.33
Prompting genérico, media35.98
Mejora registrada sobre el prompting genérico+24.37 puntos
Mejora registrada sobre el contexto de rol+18.58 puntos
Mejora registrada sobre el contexto solo con perfil+6.10 puntos

El contraste registrado agrupado por participante no equivale a restar las medias descriptivas redondeadas. Los puntos compuestos resumen la fidelidad de las respuestas evaluada por jueces; no representan un porcentaje de aproximación, precisión en la distribución de encuestas ni un porcentaje de individuos simulados correctamente.

La ventaja frente a la condición genérica se observó en ambos corpus y bajo una segunda versión del juez evaluador. Esto respalda la utilidad de la evidencia previa relevante para estas respuestas posteriores, aunque deja abierta la magnitud del efecto en nuevos dominios.

Por qué la recuperación resulta clave aquí

Un perfil compacto recoge el contexto permanente, pero una pregunta posterior puede exigir una experiencia o motivo previo específico. La recuperación permite incorporar esa evidencia a la respuesta sin exigir que cada detalle registrado influya en todas las respuestas.

El resultado concuerda con esa explicación. No demuestra que contar con más memoria ayude en todos los casos, ni aísla un efecto universal de una técnica de recuperación concreta. La afirmación queda delimitada por el flujo de trabajo evaluado, el contexto permitido y las preguntas reservadas.

Limitaciones y el seguimiento con modelos específicos

El conjunto de evidencia es reducido y abarca solo dos corpus. Algunas entrevistas originales se tradujeron al inglés, lo que dificulta evaluar el tono de voz y la formulación exacta de las palabras. La puntuación empleó jueces automatizados, no evaluadores humanos independientes, y no debe interpretarse como fidelidad certificada por humanos.

La comparativa de modelos fundacionales específicos reutilizó a estas mismas 22 personas y 66 respuestas con un conjunto diferente de candidatos y otra comparación de puntuación. Se trata de una evaluación de seguimiento sobre la misma evidencia, no de una replicación poblacional independiente. Sus puntuaciones compuestas no deben combinarse con las de este estudio.

La comparativa de alineación PRISM ofrece un conjunto de datos independiente de ajuste al participante y diferentes límites de tarea. El resumen de evidencia muestra cómo estos resultados cualitativos complementan, en lugar de reemplazar, la evidencia sobre distribución de encuestas.

El perfil compacto aproximaba el flujo de entrenamiento y recuperación de producción; no lo reproducía de forma exacta.

Datos de referencia

De-identified, English Transcripts of 36 interviews

Transcription Data

CC BY 4.0