シンセティックパネルとAIレスポンデントの仕組み

シンセティックレスポンデントとは、言語モデルによってシミュレートされた調査対象者です。調査したい人物像のプロファイル（年齢、地域、職業、行動習慣、価値観、そして理想的には類似する実在の人物に関するアンケートやインタビューのデータ）に基づいてモデルに条件付けを行い、その役割としてアンケートの質問に答えたり、コンセプトに反応したり、インタビューに参加させたりします。

シンセティックパネルとは、単一のオーディエンスを代表するように構築されたシンセティックレスポンデントの集団です。構成メンバー全員に同じ質問を投げかけることができるため、リクルートされた人間のパネル調査と同様に、回答を分布として集計したり、セグメント間で比較したりすることが可能です。

どちらも、迅速に方向性を把握するためのリサーチツールです。実査を行う前にアイデアや調査票をスクリーニングする用途に適していますが、その回答はモデルによって生成された推計値であり、生身の人間の実測値ではありません。取り消しに多額のコストがかかる意思決定の根拠とする前には、実データとの照合が不可欠です。

関連用語との比較

この市場における用語には重複が見られます。ツールを比較する際や調査手法のセクションを読む際には、以下の違いを念頭に置くことが重要です。

これらの回答者を活用した広範なリサーチ手法については、シンセティック市場調査とは何か をご覧ください。

シンセティックレスポンデントの構築手法

実用的なシンセティックレスポンデントは、3つの層で構成されています。

1. ベース言語モデル。流暢さと一般的な知識を提供しますが、同調傾向、冗長性、学習データの意見の偏りといった固有の癖も持ち合わせます。
2. プロファイルとそれを支える根拠データ。プロファイルは人口統計学的、行動的、態度的な属性を定義します。優れたシステムでは、公的統計、公開調査、チーム自身が保有するアンケート結果、インタビューの文字起こし、顧客ファイルなどの情報源に基づいて各プロファイルを条件付けします。人口統計の属性ラベルだけで構築された回答者は、ステレオタイプな回答に終始する傾向があります。
3. 回答プロトコル。回答の比較と集計を可能にするため、定義された調査設計（単一選択、複数選択、尺度、順位付け、MaxDiffのような強制選択タスク、自由記述など）の枠組みの中で回答させます。

選択式設問の回収方法は結果を大きく左右します。Mindsが公開した追試実験では、シンセティックレスポンデントに対して単一の選択肢を強制するのではなく、選択肢全体の確率分布を求めたところ、4つの公開データセット全体で分布誤差が12.47〜19.72パーセンテージポイント減少しました（Mindsの調査）。

シンセティックパネルとは何か、従来型パネルとどう違うのか

シンセティックパネルはその集団版であり、「植物性ミルクを毎週購入する25〜40歳の英国の食料品買い物客」など、単一のオーディエンス定義の中で多様性を持つ数十から数千のシンセティックレスポンデントで構成されます。パネルは調査に回答し、その結果は分布、順位付け、テーマとして読み取られます。

両者は代替関係にあるわけではありません。シンセティックパネルは、実在のパネルに何を問うべきかを判断し、本調査の規模を絞り込み精度を高めるための手段です。詳細な比較については、シンセティックパネルと従来型パネルの比較 を参照してください。

精度に関する実証データが示すもの

シンセティックレスポンデントに当てはまる単一の精度指標は存在しません。結果はオーディエンス、設問内容、回答の収集方法に左右され、公表されている学術研究の結果も肯定的なものと否定的なものの双方が存在します。

• Argyleらの研究では、米国の実査回答者の社会人口統計学的バックストーリーに基づいてGPT-3を条件付けしたところ、多くのサブグループの回答分布を再現できることが確認され、著者らはこれを「アルゴリズム忠実度（algorithmic fidelity）」と呼びました（Political Analysis, 2023）。
• スタンフォード大学を中心とするチームは、2時間のインタビュー、アンケート、またはその両方に基づいて、1,052人の米国人を対象としたエージェントを構築しました。General Social Survey（米国総合社会調査）のホールドアウト項目において、これらのエージェントは参加者自身の2週間後のテスト-再テスト一貫性に対してそれぞれ83%、82%、86%の一致率を達成したのに対し、人口統計属性のみを与えられたエージェントの一致率は74%にとどまりました（arXiv, 2024）。実在する自己申告データによるグラウンディングが、単なる人口統計ラベルよりも優れていることが実証されています。
• Bisbeeらの研究では、ペルソナプロンプトを与えられたChatGPTがAmerican National Election Study（米国全国選挙調査）の感情温度計（feeling-thermometer）の平均スコアと一致したものの、実在の回答者よりもばらつきが少なく、回帰関係が異なり、表現のわずかな変更に敏感であり、時間の経過とともにドリフトが生じることが判明しました（Political Analysis, 2024）。
• Santurkarらの研究では、言語モデルが表明する意見と米国の60の人口統計グループの意見との間に大幅な不一致が見られ、65歳以上の高齢者など一部の層では、モデルをその方向に誘導した場合でも十分に反映されないことが示されました（ICML 2023）。

合成データと人間の回答がどこで一致し、どこで乖離するかについての詳細は、シンセティック回答者 vs 実在の回答者：精度の真実 をご覧ください。

注意すべき失敗パターン

シンセティックレスポンデントは、人間のパネルとは異なる形で失敗します。

• ばらつきの不足: 回答が最も典型的な意見の周囲に集中するため、分布が実際よりも均一に見え、少数意見が消失します。
• 相関誤差: すべての回答者が同一の基盤モデルを共有しているため、1つの死角が全員に一斉に影響を及ぼします。回答者の独立性を前提とする従来の許容誤差の概念は適用できません。
• プロンプトおよびモデルへの依存: ワーディング、提示順序、モデルバージョンのわずかな変化が結果を変動させることがあります。
• 同調傾向: 設問でトレードオフを強制しない限り、提示されたあらゆる要素を肯定的に評価してしまう傾向があります。
• データの薄いオーディエンス: 出現率の低いグループ、専門職、利用可能なデータが乏しい新規カテゴリーでは精度が低下します。

Mindsにおけるシンセティックパネルの構築と検証

Mindsでは、個々のシンセティックレスポンデントをMind、シンセティックパネルをAudienceと呼びます。Mindは各種の情報源や、ユーザーが追加したファイル（調査結果、インタビューの書き起こし、顧客リサーチなど）に基づいて条件付けされます。そしてStudyを通じて、Audienceに対して選択式・自由記述の設問、MaxDiffなどの手法を実施したり、コンセプト、画像、ウェブサイト、広告コピーなどの刺激を提示したりします。

Audience Validation（オーディエンス検証）は、一般的な精度の主張に頼るのではなく、実在の調査データとAudienceを突き合わせて検証を行います。Mindsは、Audienceと属性が一致する公開調査を探索するか、ユーザーがアップロードした調査ファイルを使用し、公開された回答がそのAudienceにとって妥当な比較対象となる質問のみを抽出します。また、除外されたすべての質問とその理由を一覧で明示します。各調査には100点満点のスコアが付与されます。これは公開された回答シェアとの絶対平均誤差（パーセンテージポイント）を100から差し引いた値として定義され、95%区間とともに提示されます。詳細については、Audience Validationの仕組み をご覧ください。

Mindsが5つの公開データセットに対して実施した再現実験では、平均分布誤差は4.72〜8.33パーセンテージポイントでした（検証結果の詳細）。これらの調査はそれぞれ異なる設計を用いており、単一の精度スコアに統合すべきではありません。また、ある調査で良好な結果が得られたからといって、異なるオーディエンスや別の設問にその精度が自動的に引き継がれるわけではありません。

シンセティックレスポンデントを使用すべき場合、すべきでない場合

有効な用途:

• 実査を行う前に、多数のコンセプト、訴求、メッセージを短縮リストへと絞り込むスクリーニング。
• 調査票のプレテスト。分かりにくい表現、選択肢の不足、誘導的な質問の検出。
• ターゲットを絞ったインタビューの前に、リクルートが困難または高コストな層の初期的な傾向を把握する。
• 仮説の構築、および実査でどのセグメントをサンプリングすべきかの意思決定。

実在の人物のリクルートや実際の行動観察を用いるべき場合:

• 市場規模、シェア、購入意向率など、母集団代表性を要する推計が必要な場合。
• 特定の価格帯における支払意欲（WTP）や価格弾力性を測定する場合。
• 広告の裏付けデータや健康強調表示など、調査結果が公開、規制、または監査の対象となる場合。
• 製品を実際に手で触れる、味わう、物理的に使用する必要がある場合。
• オーディエンスや製品カテゴリーが新しく、信頼できるデータがほとんど存在しない場合。

シンセティックレスポンデントのベンダーを評価する方法

検証可能な根拠を求めてください。

1. どの公開調査を再現した実績があるか、その際の誤差はどれくらいか、またどのようなベースラインと比較したか？
2. 自社のパネルを実査データと突き合わせて検証し、どの質問がどのような理由で除外されたかを確認できるか？
3. 各回答者はどのようにグラウンディングされているか。単なる人口統計ラベルか、それとも信頼できる情報源や自社のリサーチファイルに基づいているか？
4. 選択式の回答はどのように収集されているか。回答者が反論したり、コンセプトを拒絶したりすることは可能か？
5. そのツールを使用すべきでないユースケースとして、ベンダー側は何を挙げているか？

ベンダー各社の比較については、シンセティックレスポンデント プラットフォーム比較 ガイドを参照してください。

Sources

• Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C. and Wingate, D. (2023). Out of One, Many: Using Language Models to Simulate Human Samples. Political Analysis, 31(3), 337-351.
• Bisbee, J., Clinton, J. D., Dorff, C., Kenkel, B. and Larson, J. M. (2024). Synthetic Replacements for Human Survey Data? The Perils of Large Language Models. Political Analysis, 32(4), 401-416.
• Santurkar, S., Durmus, E., Ladhak, F., Lee, C., Liang, P. and Hashimoto, T. (2023). Whose Opinions Do Language Models Reflect? Proceedings of the 40th International Conference on Machine Learning.
• Park, J. S. and colleagues (2024). LLM Agents Grounded in Self-Reports Enable General-Purpose Simulation of Individuals. arXiv 2411.10109.
• Minds (2026). We Tested Synthetic Audiences Against Reality.