Alignement PRISM : tester l'adéquation aux participants sur des réponses exclues
Une comparaison sur 299 personnes et 869 items mesure si les Minds ancrés reflètent mieux les valeurs et raisonnements des participants, avec un juge en aveugle et des limites de tâches claires.
Dans une comparaison confirmatoire utilisant le jeu de données externe PRISM Alignment Dataset, les Minds complets ont remporté 32.6% des évaluations d'adéquation aux participants menées en aveugle, contre 25.7% pour les prompts démographiques et 20.5% pour les prompts génériques. Les gains les plus marqués concernent l'expression des valeurs, la spécificité et une moindre généricité.
Ce jeu de données PRISM est un benchmark externe. Il est distinct du moteur propriétaire de modélisation des sources PRISM de Minds.
Participants, cibles et conditions
L'étude a évalué 299 participants du Royaume-Uni et 869 items participant-domaine. Trois conditions ont généré 2,607 sorties notées : les Minds complets via le flux de production, des prompts purement démographiques, et des prompts génériques.
La sélection a été réalisée en aveugle par rapport aux résultats et les réponses réelles des participants ont été exclues de la génération. Un juge LLM unique en aveugle a évalué des comparaisons anonymisées selon la condition et égalisées en longueur. Il s'agit d'une évaluation automatisée de l'adéquation au participant, et non d'une validation par des évaluateurs humains indépendants.
Les préférences du juge
Part des items évalués
Résultats rapportés pour cette étude. Le tableau et la discussion précisent le périmètre, les références et l’incertitude.
- Minds complet vainqueur32,5662 %
- Prompt démographique vainqueur25,6617 %
- Prompt générique vainqueur20,4833 %
- Égalité21,2888 %
| Résultat | Part des items évalués |
|---|---|
| Minds complet vainqueur | 32.5662% |
| Prompt démographique vainqueur | 25.6617% |
| Prompt générique vainqueur | 20.4833% |
| Égalité | 21.2888% |
La comparaison globale enregistrée a fait ressortir un avantage de 12.04 points de pourcentage pour Minds par rapport au prompt générique et de 6.69 points par rapport au prompt démographique. Il s'agit des estimations de comparaison enregistrées ; elles ne doivent pas être remplacées par la soustraction des taux affichés résumés séparément.
Le taux de victoire ne constitue pas une approximation de sondage. Il signifie que le juge a préféré ce candidat selon la grille d'adéquation au participant, et non que la même proportion de réponses réelles a été reproduite à l'identique. Une part substantielle d'égalités fait également partie intégrante du résultat.
Les limites selon le type de tâche
Les tâches guidées par les valeurs et par les controverses ont offert l'avantage le plus net. Ces questions peuvent dépendre des motivations d'un participant et d'un point de vue exprimé antérieurement, ce qui rend un ancrage plus riche directement pertinent.
L'avantage ne s'est pas étendu à toutes les tâches. Sur des prompts quotidiens courts, Minds l'a emporté dans 13.8% des cas, contre 30.5% pour les prompts génériques et 34.0% pour les prompts démographiques. Les prompts non guidés ont également été plus faibles. La similarité sémantique globale ne s'est pas améliorée de manière significative, et la similarité lexicale à longueur égale s'est révélée inférieure à celle des deux bases de référence.
Ces observations font du résultat global une avancée partielle, et non une victoire universelle en matière de fidélité des réponses. Elles distinguent également l'adéquation au participant de la simple copie du phrasé. Une réponse peut refléter les motivations d'une personne sans pour autant reproduire fidèlement sa formulation, et une réponse fluide du quotidien ne gagne pas nécessairement à intégrer davantage de détails de profil.
Ce que cela confirme
L'affirmation étayée est plus restreinte et utile : les Minds ancrés ont amélioré l'adéquation jugée au participant dans l'ensemble de la cohorte évaluée, en particulier pour les valeurs et la spécificité. Des juges humains indépendants et des domaines supplémentaires restent indispensables pour formuler des affirmations plus fortes en matière de fidélité.
La confirmation par entretiens exclus examine les éléments antérieurs et les réponses ultérieures dans deux autres corpus. La comparaison avec les modèles fondationnels analyse la manière dont ce flux de travail ancré se positionne face aux réponses génériques de modèles. La vue d'ensemble des données probantes sépare ces métriques qualitatives de l'approximation de sondage.
