--- title: "実際の調査ベンチマーク：Mindsが人口調査結果をいかに正確に再現するか" description: "GSS、ANES、CES、PISA、PIAAC、Food and You、および完全にホールドアウトされた社会科学研究に対するMindsのマルチベンチマーク検証。" canonical_url: "https://getminds.ai/research/ja/survey-approximation-benchmarks-2026" last_updated: "2026-08-13T13:05:34.393Z" --- # 実際の調査ベンチマーク：Mindsが人口調査結果をいかに正確に再現するか 合成調査の最高のテスト方法はシンプルです。その人口分布を、実際の人間からすでに収集された回答と比較することです。 Minds Research Labは、政治、信頼度、教育、成人のスキル、日常生活行動、食品消費をカバーする独立した公的調査プログラム全体でその比較を実施しました。コアベンチマーク全体において、Mindsの研究アプローチは、従来の強制選択シミュレーションと比較して、人口レベルの誤差を約**7〜20パーセンテージポイント**削減しました。 ## 独立した調査プログラムにおける結果
ベンチマーク 人間との比較 回答形式 改善
GSS 2024 米国総合社会調査の公式データ 2値選択、名義、順序、複数選択 +16.51 pp
ANES 2024 300人のマッチングされた事前/事後回答者、28のホールドアウト項目 2値選択、順序、名義 +12.47 pp
CES 2024 300人のマッチングされた事前/事後回答者、27の質問 2値選択、順序、複数選択 +19.72 pp
PISA 2022 5か国の学生600人、10の質問 国際的な順序尺度 +14.86 pp
完全に未見の社会科学研究 ホールドアウトされた4つの研究全体で1,468人 4〜8選択肢の順序尺度 +15.43 pp（汎用モデル比）
Food and You 2 完全な301-Mindプロダクト複製 英国の若者の食行動 +7.27 pp
数値の改善（プラス値）は、平均絶対パーセンテージポイント誤差が低いことを意味します。GSS、ANES、CES、およびPISAの推定値には、ゼロを含まないクラスター化された95%の不確実性区間が含まれています。 ## 質問形式を超えた汎化性能 この結果は、馴染みのある5段階の意見尺度にとどまりませんでした。 [CES 2024](https://cces.gov.harvard.edu/)において、Mindsは2値選択の質問を**22.44ポイント**、順序質問を**18.23ポイント**、そして2つの真の複数選択バッテリーを**19.66ポイント**改善しました。チェックボックス形式の質問は通常の単一選択質問とは異なり、各選択肢が独自の人口普及率（割合）を持つため、複数選択の結果は重要です。 [OECD PISA 2022](https://www.oecd.org/en/data/datasets/pisa-2022-database.html)のテストでは、結果がイギリス、ドイツ、日本、メキシコ、アメリカ合衆国へと拡張されました。テストされたすべての国およびすべての質問群で精度が向上し、加重解析と非加重解析の結果が一致しました。 [OECD成人のスキル国際調査（PIAAC）2023](https://www.oecd.org/en/data/datasets/piaac-2nd-cycle-database.html)には、チリ、ポーランド、シンガポール、日本、アメリカ合衆国が加わり、正確な0〜10の数値評価質問が含まれました。この国際ベンチマークにおいて、人口および人口統計的コンテキストにより、汎用的な確率ベースラインと比較して誤差が**1.59ポイント**削減されました。 ## 301のMindsによるプロダクト複製 その後、この手法は、英国のZ世代の食品消費者301人のマッチングされたグループと、[Food and You 2, Wave 10](https://www.food.gov.uk/research/food-and-you-2/food-and-you-2-wave-10)からの正確な質問を使用して、実際のMindsパネルエンジンで実行されました。 最終的なプロダクト実行では、平均誤差が**14.60パーセンテージポイントから7.33**に減少し、**7.27ポイント**の改善となりました。3つの質問すべてで精度が向上し、パネル全体を通じて有効な構造化された回答が得られました。 個別のベンチマークはアイデアが機能することを示すことができますが、プロダクトによる複製は、実際のグループ、パネルの実行、回答の取り決め、およびデータ集計が一体となって改善を維持できることを証明するため、これが重要となります。 ## なぜ分布誤差が主要な指標なのか 相関関係だけでは、一般的な回答を珍しい回答より上位にランク付けしたモデルを評価できますが、パーセンテージを大幅に外す可能性があります。そのため、Minds Research Labは主要な人口指標として平均絶対パーセンテージポイント誤差を報告しています。 たとえば、人々がある選択肢を40%の確率で選択し、合成パネルが34%と推定した場合、誤差は6パーセンテージポイントになります。これをすべての回答選択肢で計算し、質問レベルまたは研究レベルで平均化します。値が低いほど優れており、単位も解釈しやすいままです。 本研究では、2つの異なる目的も区別しています。 - **集団再現性（Population fidelity）：** 集計された分布が調査とどれほど密接に一致するか。 - **個人再現性（Individual fidelity）：** モデリングされた個人が、その人物自身の回答とどれほど密接に一致するか。 Mindsは両方をサポートしていますが、単一のマーケティング的「精度」数値に折りたたむのではなく、別々に評価されます。 ## 一発限りのデモではない、継続的なベンチマークプログラム 検証プログラムは、開発データセットから、分離された研究、完全に未見の研究ホールドアウト、独立した国内調査、国際調査、さまざまな回答形式、そして最終的には展開されたプロダクト環境へと意図的に移行しました。 重要な比較は、ホールドアウトされた人間の回答結果が開示される前に生成されました。質問、選択肢、回答者のサブセット、および評価指標はあらかじめ固定されていました。これにより、報告された改善は、たまたま見た目が良かったために選ばれたデモンストレーションではなく、実際の結果との厳密な比較となっています。 ## リサーチチームがここから活用できること Mindsを使用することで、リサーチプロセスの初期段階で予想される人口パターンを推計し、フィールドワークの前にコンセプトを比較し、質問票をテストし、人間のリクルーティングがどこで最も多くの追加情報を生み出すかを決定できます。 検証されたアプローチは、対象となる構造化研究向けのMindsパネルスタックに組み込まれています。チームはこれを、再利用可能なオーディエンスグループ、透明性のある情報源グランド（Grounding）、定性的なフォローアップ、およびエクスポート可能な研究出力と組み合わせることができます。 プログラム全体の詳細については、[Minds Research Benchmark 2026](/research/real-world-validation-benchmarks-2026)をご覧ください。個別のインタビュー再現性については、[Minds versus foundation models](/research/minds-vs-foundation-models-qualitative-2026)をご覧ください。 ## 公開ベンチマークソース - [General Social Survey](https://gss.norc.org/) - [ANES 2024 Time Series](https://electionstudies.org/data-center/2024-time-series-study/) - [Cooperative Election Study 2024](https://doi.org/10.7910/DVN/X11EP6) - [PISA 2022 Database](https://www.oecd.org/en/data/datasets/pisa-2022-database.html) - [PIAAC 2023 Database](https://www.oecd.org/en/data/datasets/piaac-2nd-cycle-database.html) - [Food and You 2, Wave 10](https://www.food.gov.uk/research/food-and-you-2/food-and-you-2-wave-10) ## 引用の推奨 Minds Research Lab. “Real Survey Benchmarks: How Closely Minds Reproduces Population Results.” August 11, 2026. [https://getminds.ai/research/survey-approximation-benchmarks-2026](https://getminds.ai/research/survey-approximation-benchmarks-2026)