·Validation·Minds Team

AIは本物のZ世代向け食習慣調査を再現できるか?Mindsが93.99%の近似度を達成

食事の頻度に関する3つの質問と21の回答選択肢セルにわたり、Mindsの平均誤差は6.01パーセンテージポイント、平均分布重複度は78.98%に達し、計画されたすべての回答を完了しました。

実際の英国の調査では、若年層を対象に、朝食、昼食、夕食において外食やテイクアウトの食品を購入する頻度を尋ねました。このアウトカムブラインド(結果非開示)の応用検証では、固定された301名のZ世代のMindsからなるオーディエンスに対して同じ質問を行い、集計された回答分布を公表されている人間の調査結果と比較しました。

主要な結果として、実際の調査分布に対して93.99%の総合近似度を達成しました。21の回答選択肢セルにわたり、平均ギャップは6.01パーセンテージポイントでした。計画された903件のMindへの質問回答はすべて正常に完了しました。

本分析は、集計された分布の一致度を評価するものです。このスコアを個人の予測精度として扱ったり、すべてのオーディエンスや質問タイプにおいて同様のパフォーマンスが維持される証拠として扱ったりすることはありません。

結果の概要

検証結果数値その意味
実際の調査に対する近似度93.99%21の回答選択肢セルにおける平均パーセンテージポイントギャップを100%から差し引いた値
実際の調査との平均ギャップ6.01 ppMindsと実際の調査の割合における平均絶対誤差
平均分布重複度78.98%それぞれの完全な回答分布がどれだけ重複しているか
完了した回答903 / 903301名のMinds全員が3つの質問すべてに回答
ピアソン相関係数0.80421の実際の割合と合成された割合における強い整合性
スピアマン相関係数0.834回答選択肢の順位付けにおける強い一致

研究課題と参照データ

食事の頻度は、日課、仕事や学業、予算、利便性、社会的背景、および地域での入手可能性に依存します。したがって、これは合成オーディエンスが、単にそれらしい定性的なコメントを生成するだけでなく、消費者の回答分布全体を再現できるかどうかを検証する実用的なテストとなります。

参照データは、英国Food Standards AgencyのFood and You 2, Wave 10調査から取得しました。実地調査は9 October 2024 to 7 February 2025に実施され、公開データセットは25 September 2025に発行されました。分析では、評価された各項目について、人間の回答者数(ベースn=257)を対象とした、16歳から24歳の人々の公表結果を使用しました。

登録された3つの質問は以下の通りです。

  • 朝食に外食をしたり、テイクアウトの食品を購入したりする頻度はどのくらいですか?
  • 昼食に外食をしたり、テイクアウトの食品を購入したりする頻度はどのくらいですか?
  • 夕食に外食をしたり、テイクアウトの食品を購入したりする頻度はどのくらいですか?

各質問には7つの登録された回答選択肢がありました。したがって、確証的分析では21の合成割合と人間の割合を比較しました。

オーディエンス:301名の固定されたZ世代のMinds

合成パネルは、イングランド、ウェールズ、および北アイルランドの16歳から24歳までの若年層を代表しています。固定されたコホートには、年齢、性別、国・地域、所得、日課、および社会的背景の多様性が含まれています。301名のMindsはすべて、今回の結果が検証される前に選定されました。

パネル構成

年齢層
  • 1
    16–1829%
  • 2
    19–2137%
  • 3
    22–2434%
性別
  • 1
    女性65%
  • 2
    男性35%
国・地域
  • 1
    イングランド84%
  • 2
    ウェールズ8%
  • 3
    北アイルランド8%
Food and You 2 Survey: Wave 10 dataset
Food and You 2: Wave 10 research report

これらは、単一の質問のために生成された一時的なキャラクターではなく、固定されたオーディエンスメンバーです。このパネルは、14,671件の検索チャンクに表現された20,500件の知識項目にグラウンディングされており、同じ合成コホートを複数のリサーチタスクにわたって再利用することができます。

調査設計と推定量

本調査では、事前登録された同一コホートの再現設計を採用しました。

  1. 301名の合成オーディエンスを固定する。
  2. 実際の調査と同じ質問と回答選択肢を提示する。
  3. 実際の調査の割合をMindsの実行環境から除外する。
  4. 903件のMindの回答すべてを3つの完全な分布に集計する。
  5. 合成されたすべての回答選択肢の割合を、公表されている人間の結果と比較する。

不確実性を単一の決定的な投票に強制するのではなく、Mindsは各オーディエンスメンバーが利用可能な各回答を選択する確率を表現しました。その後、これらの確率が最終的なパネル分布へと統合されました。

設計要素登録された仕様
合成サンプル16〜24歳の301名の固定されたMinds
人間の参照データ公表されているFood and You 2の若年層分布(質問ごとのベース n=257)
調査票(インストルメント)食事の頻度に関する3つの質問 × 7つの選択肢
計画された回答903件のMindへの質問回答
主要評価項目21セルにおける重み付けなしの平均絶対パーセンテージポイント誤差
副次評価項目分布重複度、ジェンセン・シャノン情報量(JSD)、ピアソン相関係数(r)、およびスピアマン順位相関係数(rho)
アウトカムの隔離人間の割合およびベンチマークファイルを実行環境から除外

近似度(パーセンテージ)は、100% − 平均絶対パーセンテージポイント誤差として定義されます。平均分布重複度は、3つの質問にわたる平均の1 − 全変動距離です。ジェンセン・シャノン情報量は、分布形状の差異をビット単位で測定するもので、ゼロは同一の分布を示します。

すべての質問で91%以上を記録

実際の調査との平均ギャップ

本研究で報告された結果です。表と考察では、研究範囲、比較基準、不確実性を明示しています。

  • 朝食の頻度2.98
  • 昼食の頻度6.48
  • 夕食の頻度8.56
0パーセントポイント · 低いほど良い10
質問実際の調査に対する近似度実際の調査との平均ギャップ
朝食の頻度97.02%2.98 pp
昼食の頻度93.52%6.48 pp
夕食の頻度91.44%8.56 pp
全 21 の回答選択肢セル93.99%6.01 pp

朝食はセルレベルの誤差が最も低く、夕食が最も高くなりました。総合結果は単一の質問のみに起因するものではなく、それぞれの質問が実際の調査分布に対して91%以上の近似度を達成しました。

副次的な分布検証

平均絶対誤差だけでは分布の形状を完全に説明できないため、本分析では4つの補完的な検証を行いました。

  • 78.98%の平均分布重複度: 回答の大部分が、実際の調査結果と合成結果の同じ位置に現れました。
  • 0.0602のジェンセン・シャノン情報量: 全体的な形状が近似していました(ゼロは同一の分布を意味します)。
  • 0.804のピアソン相関係数: 高い割合と低い割合が連動して推移する傾向が見られました。
  • 0.834のスピアマン相関係数: 回答選択肢の出現頻度による順位付けが類似していました。

これらは4つの指標はすべて同じ方向性を示しています。今回の調査票において、Mindsの分布は絶対的な水準と相対的な形状の両方で人間の参照データに近似していました。なお、相関係数は補完的な尺度として報告されており、水準誤差の指標に代わるものではありません。

回答の完了率とグラウンディング

受理された903件の回答すべてにプロベナンス(情報の出所)が記録されています。

  • 889件の回答で、検索されたMindの知識が使用されました。
  • 14件の回答で、Mindの固有のプロファイルが使用されました。
  • 0件の回答が「根拠なし」と判定されました。
  • 301名中301名のMindsがすべての質問を完了しました。

これらのプロベナンスフィールドは、今回の実行が根拠のない回答ではなく、固定されたMindの経路を使用したことを証明するものです。ただし、これら自体が、検索されたすべての記憶が最終的な分布に因果関係として必要であったことを証明するものではありません。

実用的な解釈

検証された範囲内において、この結果は、以下のような迅速かつ反復的なリサーチにグラウンディングされた合成パネルを使用することを支持しています。

  • メディア費用を投入する前にキャンペーンの訴求内容をテストする
  • 製品やパッケージのコンセプトを比較する
  • 異なるオーディエンスセグメントが異なる反応を示す理由を探る
  • 実地調査の前に調査質問を洗練させる
  • その後の人間による検証に向けた最も強力な方向性を特定する

この結果は、迅速な方向性の決定や比較作業を支援します。重大な意思決定、規制上の判断、正確な市場規模の測定、および検証範囲外の質問については、依然として実際の回答者の募集と適切な人間を対象とした調査設計が必要となる場合があります。

範囲と限界(リミテーション)

本調査は、公開されているFood and You 2のデータを使用した、Mindsによる独立した検証です。Food Standards Agencyは参照調査を作成しましたが、Mindsの調査を後援、支持、またはレビューしたわけではありません。

本調査が支持すること本調査が立証しないこと
英国の若年層の食事頻度に関する3つの分布における、集計レベルでの緊密な一致個人レベルでの93.99%の予測精度
301名のMindsと903件の回答における完全な本番実行オーディエンス、国、ドメイン、または質問タイプを問わない普遍的なパフォーマンス
MAE(平均絶対誤差)、重複度、情報量、および相関指標にわたる一致グラウンディングのみが観察された一致をもたらしたという因果関係の証明
実行時におけるアウトカムの隔離事前学習や固定された知識コーパスを通じた、公開調査への間接的な接触の完全な排除

本調査は、1つの調査から得られた密接に関連する3つの質問を対象とした、同一コホート・同一調査票による再現検証です。人間と合成 of the 回答者は個別にマッチングされておらず、分析では集計された分布を比較しています。この公開結果については、人間のマイクロデータからのサンプリング不確実性区間は推定されていません。より広範な精度を主張する前に、重複しないオーディエンスや調査票を用いたさらなる検証が必要です。

情報源

よくある質問

Mindsは実際のFood and You調査にどれだけ近似しましたか?

21 of the answer-option percentagesにおいて、Mindsは実際の調査に対して93.99%の総合近似度を達成しました。平均ギャップは6.01パーセンテージポイント、平均分布重複度は78.98%でした。

93.99%の近似度とは、Mindsがすべての個人の回答を正確に予測したことを意味しますか?

いいえ。93.99%の近似度は、集計された21の調査セルの平均パーセンテージポイントギャップを100%から差し引いて算出されたものです。これは、対象読者の分布が実際の調査にどれだけ近似したかを測定するものであり、個々の回答がすべて正しく予測されたかどうかを示すものではありません。

これらは実在する回答者ですか?

いいえ。これらは16歳から24歳までの301名の固定された合成オーディエンスメンバーです。彼らの集計回答が、公表されている実際の英国Food Standards Agencyの調査結果と比較されました。

実際の調査結果はMindsに提示されましたか?

いいえ。質問と回答選択肢は再現されましたが、ベンチマークデータセットと実際の割合は実行時には除外されていました。ただし、情報源が公開されているため、モデルの事前学習や固定された知識コーパスを通じた間接的な接触の可能性を完全に排除することはできません。

一般的なAIに301回プロンプトを入力することと、何が違うのですか?

Mindsは、20,500件の知識項目と14,671件の検索チャンクにグラウンディング(根拠付け)された固定のオーディエンスメンバーです。今回の実行では、903件の回答のうち889件で検索されたMindの知識が使用され、14件で固有のプロファイルが使用されました。根拠のない回答は0件でした。