---
title: "Held-Out-Interviews: Wann ein Teilnehmer-Gedächtnis hilft"
description: "Zwei öffentliche Interview-Korpora testen, ob kompakte Profile und abgerufene frühere Belege die Übereinstimmung mit 66 späteren Antworten von 22 realen Teilnehmern verbessern."
canonical_url: "https://getminds.ai/research/de/held-out-interview-response-validation"
last_updated: "2026-09-08T08:36:02.912Z"
---

# Held-Out-Interviews: Wann ein Teilnehmer-Gedächtnis hilft

Ein kompaktes Profil mit relevanten abgerufenen Belegen verbesserte die Werte für den Teilnehmer-Fit gegenüber generischem Prompting in einer Validierung mit 22 Personen und 66 zurückgehaltenen Interview-Antworten. Der registrierte, nach Teilnehmern geclusterte Lift betrug 24.37 Composite-Punkte, mit positiven durchschnittlichen Vorteilen in beiden ausgewerteten Korpora.

Die Fragestellung war konkret: Kann ein fundierter synthetischer Befragter besser widerspiegeln, was eine bestimmte Person später geäußert hat, anstatt lediglich eine plausible Antwort auf eine Interviewfrage zu generieren?

## Frühere Belege, spätere Antworten

Die Studie nutzte zwei öffentliche Interview-Korpora zu Anwendern in der Laserzahnheilkunde sowie zur Ernährungsunsicherheit von Geflüchteten. Früheres Interviewmaterial lieferte kompakte Teilnehmerprofile und abrufbare Belege. Drei spätere Antworten pro Person blieben für die Bewertung zurückgehalten.

Die Bedingungen innerhalb desselben Modells unterschieden zwischen generischem Prompting, Rollenkontext, Profilkontext sowie Profil plus Retrieval. Diese Vergleiche helfen dabei, den Wert einer allgemeinen Rollenbeschreibung vom Wert teilnehmerspezifischer Belege zu trennen.

Es gab 66 Zielantworten, aber nur 22 Personen. Mehrere Antworten einer Person sind zusammenhängende Beobachtungen; die Unsicherheit muss daher den Teilnehmer als Cluster berücksichtigen.

## Der beobachtete Vorteil bei der Antworttreue

<research-figure :labels="["Kompaktes Profil plus Retrieval, Mittelwert","Generisches Prompting, Mittelwert"]" figure="held-out-interview-response-validation" note="Berichtete Ergebnisse dieser Studie. Tabelle und Diskussion erläutern Geltungsbereich, Baselines und Unsicherheit." title="Composite-Ergebnis" unitLabel="Punktwert / 100">



</research-figure>

<table>
<thead>
  <tr>
    <th>
      Bedingung oder Kontrast
    </th>
    
    <th align="right">
      Composite-Ergebnis
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      Kompaktes Profil plus Retrieval, Mittelwert
    </td>
    
    <td align="right">
      60.33
    </td>
  </tr>
  
  <tr>
    <td>
      Generisches Prompting, Mittelwert
    </td>
    
    <td align="right">
      35.98
    </td>
  </tr>
  
  <tr>
    <td>
      Registrierter Lift gegenüber generischem Prompting
    </td>
    
    <td align="right">
      +24.37 Punkte
    </td>
  </tr>
  
  <tr>
    <td>
      Registrierter Lift gegenüber Rollenkontext
    </td>
    
    <td align="right">
      +18.58 Punkte
    </td>
  </tr>
  
  <tr>
    <td>
      Registrierter Lift gegenüber reinem Profilkontext
    </td>
    
    <td align="right">
      +6.10 Punkte
    </td>
  </tr>
</tbody>
</table>

Der registrierte, nach Teilnehmern geclusterte Kontrast ergibt sich nicht aus der einfachen Subtraktion gerundeter deskriptiver Mittelwerte. Composite-Punkte fassen die durch automatisierte Judges bewertete Antworttreue zusammen; sie sind kein Näherungsprozentsatz, keine Genauigkeit der Umfrageverteilung und kein Prozentsatz korrekt simulierter Individuen.

Der positive Vergleich gegenüber generischem Prompting zeigte sich in beiden Korpora und unter einer zweiten Judge-Version. Dies stützt den Nutzen relevanter früherer Belege für diese späteren Interviewfragen, lässt die Stärke des Effekts in neuen Bereichen jedoch offen.

## Warum Retrieval hier eine Rolle spielt

Ein kompaktes Profil erfasst dauerhaften Kontext, doch eine spätere Frage erfordert möglicherweise eine ganz bestimmte frühere Erfahrung oder Begründung. Retrieval kann diesen Beleg in die Antwort einbringen, ohne dass jedes aufgezeichnete Detail jede einzelne Antwort beeinflussen muss.

Das Ergebnis steht im Einklang mit dieser Erklärung. Es belegt nicht, dass mehr Gedächtnis immer hilft, noch isoliert es einen universellen Effekt einer bestimmten Retrieval-Technik. Der untersuchte Workflow, der zulässige Kontext und die zurückgehaltenen Fragen definieren den Gültigkeitsbereich dieser Aussage.

## Grenzen und das Follow-up mit namentlich genannten Modellen

Die Datenbasis ist klein und umfasst lediglich zwei Korpora. Einige Quellinterviews wurden ins Englische übersetzt, was Urteile über Tonalität und den genauen Wortlaut erschwert. Das Scoring nutzte automatisierte Judges statt unabhängiger menschlicher Rater und sollte nicht als von Menschen verifizierte Treue dargestellt werden.

Der [Vergleich namentlich genannter Basismodelle](/research/synthetic-audiences-vs-foundation-models) nutzte dieselben 22 Personen und 66 Antworten mit einem anderen Kandidatenset und Bewertungsvergleich erneut. Es handelt sich um eine Folgeauswertung auf derselben Datenbasis, nicht um eine unabhängige Populationsreplikation. Seine Composite-Werte sollten nicht mit den Werten dieser Studie zusammengeführt werden.

Der [PRISM-Alignment-Vergleich](/research/prism-alignment-participant-fit-validation) liefert einen separaten Datensatz zum Teilnehmer-Fit und andere Aufgabenrahmen. Die [Evidenzübersicht](/research/synthetic-audiences-reality-benchmark-2026) zeigt, wie diese qualitativen Ergebnisse Evidenz aus Umfrageverteilungen ergänzen, statt sie zu ersetzen.

Das kompakte Profil näherte den Trainings- und Retrieval-Workflow des Produkts an; es bildete ihn nicht exakt nach.

## Referenzdaten

[De-identified, English Transcripts of 36 interviews](https://figshare.com/articles/dataset/De-identified_English_Transcripts_of_36_interviews/29318549)

[Transcription Data](https://figshare.com/articles/dataset/Transcription_Data/28456946)

[CC BY 4.0](https://creativecommons.org/licenses/by/4.0/)