CES 2024：複数の設問形式における調査適合度

CES 2024の検証テストでは、プロファイル確率回答を用いて95.28%の集計近似率を達成しました。これは平均分布誤差4.72パーセントポイントに相当します。回答形式の比較全体において、確率抽出は強制選択回答と比較して、登録されたブートストラップ推定値で誤差を19.72ポイント削減しました。

本研究は、調査に関するエビデンスを単一の設問形式の枠を超えて拡張するものです。また、最終的な近似スコアには、マッチングされたベースラインの提示が不可欠である理由も示しています。

評価対象となった調査票

この比較では、マッチングされたCES回答者300名と、生成時には除外された27の設問（順序尺度15問、二値選択10問、複数選択バッテリー2問）を使用しました。回答者の過去情報はコンテキストとして提供され、評価対象の回答は生成対象から除外された状態を維持しました。

設定された4つの条件は、汎用強制選択、汎用確率または周辺確率、人口統計確率、完全プロファイル確率です。複数選択の選択肢では、回答者が複数の選択肢を選ぶ可能性があるため周辺確率が必要となります。その解釈は単一選択の確率ベクトルとは異なります。

測定された分布

近似率は、100からパーセントポイント単位の平均絶対誤差を引いた値です。したがって、95.28%という数値は、これらの評価対象設問における平均的な分布適合度を表しています。正確にシミュレーションされた人物の割合ではありません。

登録されたブートストラップ確率リフトは19.719ポイントで、四捨五入して19.72となります。報告されたポイント差は19.892ポイントで、95%区間は16.257から23.401でした。ブートストラップの要約と表示されている条件平均は、異なる要約手法および端数処理を用いているため、互いに無断で置き換えて扱うべきではありません。

詳細なプロファイルが改善した点と改善しなかった点

完全プロファイルは、汎用的な確率プロンプトと比較して改善を示したものの、主要な集計指標においてマッチングされた人口統計確率を上回ることはありませんでした。プロファイル対人口統計のリフトは-0.157ポイントであり、その区間はゼロを跨いでいました。

プロファイルのコンテキストによって個人レベルの精度は向上した一方で、集計誤差は人口統計条件よりもわずかに悪化しました。したがって、結果は一様ではなく、回答形式に関する明確な知見が得られた反面、集計レベルにおいて完全プロファイル条件が人口統計条件を上回る確実な優位性は確認されませんでした。

利用可能な複数選択バッテリーは2つのみでした。これは複合的な調査票から得られたエビデンスであり、あらゆるドメインや調査項目における複数選択キャリブレーションの普遍的な検証を示すものではありません。

エビデンスの適用

分布推定においては、回答の収集と集計をリサーチデザインの明示的な構成要素として扱う必要があります。より詳細なオーディエンスに確率の出力を許可している場合、強制的なカテゴリ選択のベースラインではプロファイルの真の価値を切り分けることはできません。

また、比較検証を行う際には、その目的が設問レベルでの母集団適合度なのか、個人レベルの予測なのかを明確にする必要があります。コンテキストを増やせば双方において自動的に改善するとは限りません。検証されたサンプル、モデル構成、調査票によって、主張の適用限界が定義されます。

この隔離環境でのテスト結果は、現行製品の動作や、新規の顧客オーディエンスに対する代表的な推定値を保証するものではありません。実行時のターゲット分離を行っていても、公開ソースによる事前学習時のデータ露出の可能性は残ります。

ANES縦断研究では、同様の集計対個人という切り分けを検証しています。PISAの比較検証では5か国の環境が追加されています。エビデンスの概要では、これらの結果を単一のスコアに合算することなく相互に関連付けています。

参照データ

CES 2024