ホールドアウト面接調査: 参加者の記憶保持がもたらす効果

22名の実在被験者と66件のホールドアウトされた面接回答を用いた検証において、関連する証拠を検索・付与した簡潔なプロファイルは、一般的なプロンプティングと比較して参加者適合スコアを向上させました。参加者ごとにクラスタリングされた事前登録リフトは24.37コンポジットポイントであり、評価対象となった両方のコーパスにおいて正の平均優位性が確認されました。

問いは明確でした。グラウンディングされた合成回答者は、面接の質問に対して単にもっともらしい回答を生成するだけでなく、特定の人物がその後に実際に語った内容をより忠実に再現できるのか、という点です。

前半の発言証拠と、後半の回答

本調査では、レーザー歯科医療従事者および難民の食料不安に関する2つの公開面接コーパスを使用しました。面接の前半部分の素材から、簡潔な参加者プロファイルと検索可能な証拠を構築しました。そして、スコアリングのために各参加者につき後半の3つの回答をホールドアウト（評価用として隔離保持）しました。

同一モデル条件下において、一般的なプロンプティング、ロールコンテキスト、プロファイルコンテキスト、およびプロファイル＋検索の各条件を比較しました。これらの比較により、大まかな役割記述の価値と、参加者固有の具体的な証拠が持つ価値を明確に分離して検証できます。

対象となった回答は66件ですが、参加者は22名です。1人の人物から得られた複数の回答は互いに関連した観測値となるため、不確実性の算出にあたっては参加者を単位とするクラスタリングを考慮する必要があります。

確認された再現性の優位性

登録された参加者クラスタ対比は、四捨五入された記述統計平均の単なる引き算ではありません。コンポジットポイントは評価モデルによって判定された回答の再現性を要約した指標であり、近似割合、調査分布の精度、または正しくシミュレートされた個人の割合を示すものではありません。

一般的なプロンプティングに対する優位性は、両方のコーパスにおいて、また別のジャッジモデルのバージョンにおいても一貫して確認されました。これは、これらの面接後半の質問に対して関連する過去の証拠を提供することの有用性を裏付けるものですが、新たなドメインにおける効果の大きさについては検証の余地を残しています。

ここで検索機能が重要となる理由

簡潔なプロファイルは持続的なコンテキストを捉えますが、後半の質問には過去の特定の経験や理由を必要とする場合があります。検索機能を活用することで、記録されたすべての詳細がすべての回答に無差別に影響を与えることなく、必要な証拠だけをピンポイントで回答に反映させることが可能になります。

今回の結果はこの説明と整合しています。ただし、これは記憶量が多ければ常に効果的であると証明するものではなく、特定の単一検索技術による普遍的な効果を切り出して証明するものでもありません。今回の主張の適用範囲は、評価対象となったワークフロー、許容されたコンテキスト、およびホールドアウトされた質問の範囲内に限定されます。

制約事項と主要基幹モデルによる追試

本検証のデータセットは小規模であり、対象は2つのコーパスに留まります。元の面接の一部は英語に翻訳されているため、発言のニュアンスや正確な言い回しの判定には複雑さが伴います。また、スコアリングには独立した人間の評価者ではなく自動化された評価モデルを使用しているため、人間が保証した再現性として提示されるべきではありません。

主要基幹モデルの比較検証では、異なる候補モデル群とスコアリング比較を用いて、これらと同一の22名および66件の回答を再利用しました。これは同一の証拠データに基づく追試評価であり、独立した母集団による再現検証ではありません。そのため、そのコンポジットスコアを本調査のスコアと合算して解釈すべきではありません。

PRISMアライメント比較では、別個の参加者適合データセットと異なるタスク境界を提供しています。エビデンス概要では、これらの定性的な結果が、調査分布のエビデンスを代替するのではなく、いかに補完するものであるかを示しています。

コンパクトなプロファイルは本番環境の学習・検索ワークフローを近似したものであり、厳密に再現したものではありません。

参照データ

De-identified, English Transcripts of 36 interviews

Transcription Data

CC BY 4.0