AI가 실제 Z세대 식습관 조사를 재현할 수 있을까? Minds, 93.99%의 근사치 달성

실제 영국의 한 조사에서는 청년층을 대상으로 아침, 점심, 저녁 식사로 외식을 하거나 테이크아웃 음식을 얼마나 자주 구매하는지 질문했습니다. 본 결과 비공개(outcome-blind) 적용 검증에서는 고정된 301명의 Z세대 Minds 오디언스에게 동일한 질문을 던지고, 종합적인 응답 분포를 발표된 실제 인간의 결과와 비교했습니다.

주요 결과는 실제 조사 분포에 대한 93.99%의 종합 근사치였습니다. 21개의 답변 옵션 셀에 걸쳐 평균 격차는 6.01 퍼센트포인트였습니다. 계획된 903개의 모든 Mind 질문 응답이 성공적으로 완료되었습니다.

본 분석은 종합적인 분포 일치도를 평가합니다. 이 점수를 개별 예측 정확도로 취급하거나, 모든 오디언스 및 질문 유형에 대해 동일한 성능이 유지될 것이라는 증거로 해석하지 않습니다.

한눈에 보는 결과

연구 질문 및 참조 데이터

식사 빈도는 일과, 업무 또는 학업, 예산, 편의성, 사회적 맥락, 지역적 접근성에 따라 달라집니다. 따라서 이는 가상 오디언스가 그럴듯한 정성적 의견을 생성하는 데 그치지 않고, 전체 소비자 응답 분포를 재현할 수 있는지 여부를 검증하는 실질적인 테스트를 제공합니다.

참조 데이터는 영국 Food Standards Agency의 Food and You 2, Wave 10 연구에서 가져왔습니다. 현장 조사는 2024년 10월 9일부터 2025년 2월 7일까지 진행되었으며, 공개 데이터셋은 2025년 9월 25일에 발행되었습니다. 본 분석은 평가된 각 항목에 대해 인간 응답자 수(base n) 257명을 기준으로 한 16세에서 24세 사이의 발표 결과를 사용했습니다.

등록된 세 가지 질문은 다음과 같았습니다:

• 아침 식사로 외식을 하거나 테이크아웃 음식을 얼마나 자주 구매하십니까?
• 점심 식사로 외식을 하거나 테이크아웃 음식을 얼마나 자주 구매하십니까?
• 저녁 식사로 외식을 하거나 테이크아웃 음식을 얼마나 자주 구매하십니까?

각 질문에는 7개의 등록된 답변 옵션이 있었습니다. 따라서 확증적 분석을 통해 21개의 가상 비율과 실제 인간 비율을 비교했습니다.

오디언스: 고정된 301명의 Z세대 Minds

가상 패널은 잉글랜드, 웨일스, 북아일랜드 전역의 16세에서 24세 사이의 청년을 대변했습니다. 고정된 코호트에는 연령, 성별, 국가, 소득, 일과 및 사회적 맥락의 다양성이 포함되었습니다. 301명의 모든 Minds는 현재 결과가 검토되기 전에 선택되었습니다.

이들은 단일 질문을 위해 생성된 일시적인 캐릭터가 아니라 고정된 오디언스 패널이었습니다. 이 패널은 14,671개의 검색 청크로 표현되는 20,500개의 지식 항목에 기반하고 있어, 동일한 가상 코호트를 여러 연구 과제에 걸쳐 재사용할 수 있습니다.

연구 설계 및 추정 대상(Estimands)

본 연구는 사전 등록된 동일 코호트 복제 설계를 사용했습니다:

1. 301명의 가상 오디언스를 고정합니다.
2. 원래의 답변 옵션과 함께 원래의 설문 질문을 제시합니다.
3. 실제 설문 조사 비율을 Minds 런타임에서 제외합니다.
4. 903개의 모든 Mind 답변을 세 개의 완전한 분포로 종합합니다.
5. 모든 가상 답변 옵션 비율을 발표된 실제 인간 결과와 비교합니다.

불확실성을 단일한 강제 선택(hard vote)으로 제한하는 대신, Minds는 각 오디언스 패널이 사용 가능한 각 답변을 선택할 가능성이 얼마나 되는지를 표현했습니다. 이후 이러한 확률들을 결합하여 최종 패널 분포를 도출했습니다.

백분율 근사치는 100% − 평균 절대 퍼센트포인트 오차로 정의됩니다. 평균 분포 중복도는 세 가지 질문에 대해 평균을 낸 1 − 총 변동 거리(total-variation distance)입니다. 젠슨-샤논 발산은 분포 모양의 차이를 비트 단위로 측정하며, 0은 동일한 분포를 나타냅니다.

모든 질문에서 91% 이상의 점수 기록

아침 식사가 셀 수준에서 가장 낮은 오차를 기록한 반면, 저녁 식사는 가장 높은 오차를 기록했습니다. 종합 결과는 단 하나의 질문에 의해 좌우되지 않았으며, 각 질문은 실제 조사 분포에 대해 91% 이상의 근사치를 달성했습니다.

2차 분포 검증

평균 절대 오차만으로는 분포의 모양을 완전히 설명할 수 없기 때문에, 분석에는 네 가지 보완적인 검증이 포함되었습니다.

• 78.98% 평균 분포 중복도: 응답 질량의 대부분이 실제 결과와 가상 결과에서 동일한 위치에 나타났습니다.
• 0.0602 젠슨-샤논 발산: 전반적인 형태가 유사했습니다. 0은 동일한 분포를 의미합니다.
• 0.804 피어슨 상관계수: 큰 비율과 작은 비율이 함께 움직이는 경향을 보였습니다.
• 0.834 스피어먼 상관계수: 답변 옵션들이 보급률에 따라 유사하게 순위가 매겨졌습니다.

네 가지 지표 모두 동일한 방향을 가리키고 있습니다. 이 도구 내에서 Minds 분포는 절대적 수준과 상대적 형태 모두에서 실제 인간 참조 데이터와 유사했습니다. 상관관계는 보조 지표로 보고되며 수준 오차 지표를 대체하지 않습니다.

응답 완료도 및 근거(Grounding)

수락된 903개의 모든 답변은 출처(provenance)를 가지고 있었습니다:

• 889개의 답변이 검색된 Mind 지식을 사용했습니다.
• 14개의 답변이 Mind의 고유 프로필을 사용했습니다.
• 0개의 답변이 근거 없음으로 표시되었습니다.
• 301명 중 301명의 Minds가 모든 질문을 완료했습니다.

이러한 출처 필드는 이번 실행이 근거 없는 답변 대신 고정된 Mind 경로를 사용했음을 입증합니다. 이것이 그 자체로 검색된 모든 기억이 최종 분포에 인과적으로 필요했다는 점을 증명하는 것은 아닙니다.

실무적 해석

테스트된 범위 내에서, 본 결과는 다음과 같은 신속하고 반복적인 연구를 위해 근거 기반 가상 패널을 사용하는 것을 지지합니다:

• 미디어 집행 전에 캠페인 메시지를 테스트합니다.
• 제품 또는 패키징 콘셉트를 비교합니다.
• 서로 다른 오디언스 세그먼트가 왜 다르게 반응하는지 탐색합니다.
• 실제 현장 조사 전에 설문 질문을 정교화합니다.
• 추후 인간 대상 검증을 위한 가장 강력한 방향성을 식별합니다.

본 결과는 신속한 방향성 설정 및 비교 작업을 지원합니다. 중대한 주장, 규제 관련 결정, 정밀한 시장 규모 측정, 검증된 범위를 벗어나는 질문 등은 여전히 실제 모집된 응답자와 적절한 인간 대상 연구 설계가 필요할 수 있습니다.

범위 및 한계

본 연구는 공개된 Food and You 2 데이터를 사용한 독립적인 Minds 검증입니다. Food Standards Agency는 참조 조사를 제작했으나, Minds 연구를 후원, 보증 또는 검토하지 않았습니다.

본 연구는 단일 조사에서 밀접하게 관련된 세 가지 질문을 다루는 동일 코호트, 동일 도구 복제 연구입니다. 인간 응답자와 가상 응답자는 개별적으로 매칭되지 않았으며, 분석은 종합적인 분포를 비교합니다. 이 공개 결과에 대해 인간 마이크로데이터로부터의 표본 추출 불확실성 구간은 추정되지 않았습니다. 더 광범위한 정확도 주장을 하기 전에, 서로 다른 오디언스 및 도구에 대한 추가적인 검증이 필요합니다.

출처

• Food and You 2 Survey: Wave 10 dataset, Food Standards Agency, 2025.
• Food and You 2: Wave 10 research report, Food Standards Agency, 2025.