합성 시장조사란 무엇인가? 정의와 한계

합성 시장조사(Synthetic market research)는 실제 사람을 모집하는 대신 AI로 생성된 응답자가 질문에 답하는 시장조사 방식입니다. 연구하려는 대상 오디언스의 프로필(연령, 지역, 직무, 습관, 태도, 때로는 실제 설문이나 인터뷰 데이터)을 언어 모델에 조건으로 부여하고, 조건화된 각 인스턴스가 설문 문항에 응답하거나 콘셉트에 반응하고 인터뷰를 진행합니다. 수집된 답변은 설문조사 결과처럼 집계되거나 정성 인터뷰 녹취록처럼 분석됩니다.

이 방식은 본격적인 필드워크를 시작하기 전에 많은 수의 콘셉트, 메시지, 설문지 초안을 단 하루 만에 스크리닝할 수 있을 만큼 빠르고 비용이 저렴하다는 장점이 있습니다. 반면 응답자가 시뮬레이션 결과물이라는 명확한 한계도 존재합니다. 이들의 응답은 모델과 제공된 데이터에 의해 형성된 특정 집단의 예상 반응치일 뿐이므로, 되돌리기 어려운 중대한 결정을 내리기 전에는 실제 사람을 대상으로 검증해야 합니다.

본 문서는 합성 리서치 기법의 시장조사 활용을 다룹니다. UX 리서치와 정책 연구를 포함한 광범위한 실무에 대해서는 합성 리서치를 참고하시기 바랍니다.

정의: 무엇을 합성 시장조사로 볼 수 있는가

단순히 AI 툴과 대화를 나누는 것과 합성 시장조사를 구분 짓는 기준은 다음 세 가지 요소입니다.

1. 명확하게 정의된 오디언스: 예를 들어 "최소 주 1회 이상 식물성 대체유를 구매하는 25-40세 영국 식료품 쇼퍼"처럼 시뮬레이션 대상을 구체적으로 명시하며, 각 합성 응답자는 이 정의를 바탕으로 생성됩니다.
2. 표준화된 조사 도구: 응답자가 동일한 구조화된 질문에 답하거나, 동일한 자극물을 평가하거나, 동일한 인터뷰 가이드를 거침으로써 응답을 비교하고 집계할 수 있어야 합니다.
3. 분석 및 검증 단계: 결과를 분포, 순위, 주요 테마로 요약하고, 동일한 오디언스에 대한 실제 설문 데이터와 대조하여 결과의 신뢰도를 점검하는 과정이 포함됩니다.

여러 벤더가 동일한 개념을 두고 합성 응답자, 합성 패널, AI 페르소나, 고객 디지털 트윈, 실리콘 샘플 등 다양한 명칭을 사용합니다. 학술 용어인 "silicon sampling"은 실제 설문 참가자의 배경 서사를 언어 모델에 조건화한 정치학 연구에서 유래했습니다. 명칭은 혼용될 수 있지만, 핵심은 위에서 언급한 세 가지 요소의 충족 여부입니다. 응답자 단위 자체에 대한 자세한 내용은 합성 응답자와 합성 패널에서 확인할 수 있습니다.

"합성 데이터 시장조사": 흔히 일어나는 혼동

"합성 데이터 시장조사"라는 키워드로 검색하는 경우가 많지만, 이 표현은 서로 다른 두 가지 개념을 혼동한 것입니다.

합성 데이터는 인위적으로 생성된 모든 데이터셋을 의미합니다. 데이터 분석 분야에서는 분석가가 개인정보를 노출하지 않고 작업할 수 있도록 트랜잭션이나 고객 기록 같은 실제 테이블을 통계적으로 복제한 데이터를 주로 뜻합니다. 즉, 이미 보유하고 있는 기존 데이터의 패턴을 보존하는 것이 목적입니다.

반면 합성 시장조사는 아직 누구에게도 물어보지 않은 질문에 대한 새로운 응답을 생성합니다. 가격 변동에 이 오디언스가 어떻게 반응할지, 세 가지 소구점 중 어느 것이 가장 신뢰를 얻을지, 브랜드 전환을 가로막는 장애물은 무엇인지와 같이, 아직 확보하지 못한 의견과 반응을 추정하는 작업입니다.

합성 조사가 도출해 내는 답변 역시 일종의 합성 데이터이지만, 이 방법론의 핵심 난제는 데이터 행을 생성하는 기술이 아닙니다. 오디언스를 정교하게 정의하고, 편향 없는 질문을 설계하며, 그 답변을 어디까지 신뢰할 수 있는지 판단하는 역량에 달려 있습니다.

합성 시장조사의 작동 원리

일반적인 조사는 다음 5단계로 진행됩니다.

1. 의사결정 프레임 설정: 결과에 따라 무엇을 변경할지(예: "소구점 A를 출시할 것인가, B를 출시할 것인가"), 그리고 어느 수준의 신뢰도가 필요한지 정의합니다.
2. 오디언스 구축: 타깃 세그먼트를 정의한 다음, 그 집단 내에서 다양성을 가진 응답자들을 생성합니다. 완성도 높은 시스템일수록 공표된 통계, 공개 출처 데이터, 자체 고객 연구나 설문 파일 등 객관적 근거를 바탕으로 각 응답자를 구성합니다. 인구통계학적 라벨로만 만들어진 응답자는 정형화된 편견(스테레오타입)에 의존한 답변을 내놓기 쉽습니다.
3. 조사 도구 실행: 객관식 단일 선택, 복수 선택, 척도형, 순위형, MaxDiff 같은 강제 선택 설계 및 주관식 서술형 질문을 제시하거나 콘셉트, 광고, 패키지 이미지, 랜딩 페이지, 프로토타입 등의 자극물을 보여줍니다.
4. 분석: 객관식 답변을 분포로 집계하고 세그먼트 간 차이를 비교합니다. 서술형 응답은 핵심 테마별로 코딩하며 모순되는 응답이나 지나치게 원론적인 답변이 없는지 확인합니다.
5. 검증 및 의사결정: 실제 데이터가 존재하는 영역에서 결과 샘플을 대조하고, 조사 결과를 방향성 참고용으로 분류한 뒤, 어떤 인사이트를 인간 대상 후속 연구로 발전시킬지 결정합니다.

답변을 수집하는 인터페이스 방식은 생각보다 큰 차이를 만듭니다. Minds가 발표한 설문 복제 연구에 따르면, 합성 응답자에게 단일 선택을 강제하는 대신 보기별 선택 확률을 부여하도록 요청했을 때 4개의 공개 데이터셋 전반에서 분포 오차가 12.47에서 19.72퍼센트포인트 감소했습니다(Minds 연구). 응답자 한 명당 하나의 선택만 강요하면 실제 인간 집단이 지닌 고유한 불확실성이 소실되기 때문입니다.

실제 사례: 실제 설문과 비교해 합성 리서치 검증하기

합성 시장조사 결과에는 대상 집단, 문항, 실제 응답 기준과 오차가 드러나야 합니다. 다음은 설명용 데이터가 아니라 이미 공개된 제품 검증 사례입니다.

2026년 8월 18일 Food and You 2 재현에서 16–24세의 지속형 Minds 301명이 영국 Food Standards Agency의 공개 설문과 동일한 식사 빈도 3문항에 답했습니다. 합성 집단은 잉글랜드, 웨일스, 북아일랜드를 대상으로 했습니다. 실제 응답 기준 표본은 문항당 257명이었습니다. 각 문항에 7개 선택지가 있었으며 예정된 Mind-문항 응답 903건이 모두 완료되었습니다.

원문 문항 하나를 번역하면 “저녁 식사를 위해 외식하거나 포장 음식을 구매하는 빈도는 어느 정도인가요?”입니다. 비교 대상은 특정 개인의 정답 여부가 아니라 선택지별 응답 비율이었습니다. 실제 비율은 실행 시 제공되지 않았지만, 공개 자료이므로 사전 학습이나 저장된 지식을 통한 이전 노출까지 배제할 수는 없습니다.

전체 평균 오차는 6.01%포인트이며 낮을수록 좋습니다. 공개된 “93.99% 근사도”는 100에서 이 오차를 뺀 값이지 개인별 예측 정확도 93.99%가 아닙니다. 저녁 문항의 평균 차이가 가장 컸으므로 종합 점수가 문항별 차이를 가려서는 안 됩니다.

참고로 고정된 과거 범용 프롬프트 기준은 오차 6.68포인트, 균등 확률 기준은 7.00포인트였습니다. 이 기준들은 동시기에 재실행되지 않았습니다. 기존 집단과 서로 관련된 3문항을 반복한 결과이며 새 독립 모집단 연구나 다음 설문의 오차 보장이 아닙니다. 실제 표본의 표집 불확실성 구간은 추정하지 않았습니다. Food Standards Agency는 Minds 연구를 후원·보증·검토하지 않았습니다.

공개된 설문지·대상·문항별 결과, 기준 비교와 연구 배경, Food and You 2, Wave 10 원본 데이터를 확인하세요. 자신의 의사결정에 사용하기 전에 관련 대상과 설문지로 같은 검증을 반복해야 합니다.

정확도에 관한 실증적 근거

합성 시장조사의 정확도를 나타내는 단일 지표는 존재하지 않습니다. 구체적인 데이터셋, 질문 항목, 비교 방법론을 명시하지 않은 채 정확도 수치를 제시하는 벤더가 있다면 실질적인 정보를 제공하지 않는 것입니다. 발표된 학술 근거는 긍정적인 측면과 부정적인 측면을 동시에 보여줍니다.

유효성을 뒷받침하는 연구 결과:

• Argyle 연구진은 실제 미국 설문 참여자 수천 명의 사회인구학적 배경 서사를 GPT-3에 조건화한 결과, 다양한 하위 집단의 응답 분포를 정확하게 모사할 수 있음을 확인했습니다. 연구진은 이러한 특성을 "알고리즘 충실도(algorithmic fidelity)"라 정의하고, 이를 통해 도출된 표본을 "silicon samples"라고 명명했습니다(Political Analysis, 2023).
• 스탠퍼드 대학교 주도 연구진은 미국인 1,052명을 대상으로 2시간 분량의 인터뷰, 설문조사 또는 두 방식을 결합해 AI 에이전트를 구축했습니다. 미국 일반사회조사(GSS)의 보류(held-out) 문항 평가에서, 인구통계 라벨만 부여된 에이전트의 일치율이 74%에 그친 반면 심층 에이전트는 실제 참가자 본인의 2주 간격 검사-재검사 일관성의 각각 83%, 82%, 86% 수준에 도달했습니다(arXiv, 2024). 실제 자기보고 데이터에 기반한 조건화가 단순 인구통계 라벨보다 우수함을 입증한 셈입니다.

한계를 보여주는 연구 결과:

• Bisbee 연구진은 페르소나 프롬프트를 적용한 ChatGPT에 호감도 온도계 점수를 매기도록 한 뒤 미국 전국선거연구(ANES) 데이터와 비교했습니다. 평균값은 매우 근접했으나, 합성 응답은 실제 인간 응답에 비해 분산이 현저히 적었고 회귀계수에서 빈번한 차이를 보였습니다. 또한 미세한 프롬프트 문구 변경에도 결과가 흔들렸으며 3개월 간격을 두고 동일한 프롬프트를 실행했을 때 서로 다른 결과가 나타났습니다(Political Analysis, 2024).
• Santurkar 연구진은 언어 모델이 표현하는 의견과 미국 내 60개 인구통계 그룹의 실제 의견 사이에 상당한 불일치가 존재하며, 모델을 특정 집단에 맞춰 유도하더라도 이 간극이 지속된다는 점을 밝혀냈습니다. 특히 65세 이상 고령층과 같은 일부 집단은 모델 내에 제대로 반영되지 않았습니다(ICML 2023).
• 소비자 연구 영역에서 Brand, Israeli, Ngwe의 연구에 따르면, 언어 모델 응답을 통한 지불 의향 추정치는 인간 대상 연구와 유사하게 나타나는 경우도 있었으나 부정확한 경우가 빈번했고 부호가 정반대로 나타나는 사례도 있었습니다. 동일 카테고리의 기존 설문 데이터로 파인튜닝하면 해당 카테고리 내 새로운 기능에 대한 정합성은 개선되었지만, 완전히 새로운 제품 카테고리에서는 이러한 개선 효과가 나타나지 않았습니다(HBS working paper, SSRN).

이러한 연구들이 보여주는 일관된 패턴이 있습니다. 합성 응답은 데이터상에서 충분히 다뤄진 모집단과 정형화된 태도를 측정할 때, 그리고 실제 인간에 대한 객관적 증거를 기반으로 응답자를 구축했을 때 가장 신뢰할 수 있습니다. 반면 분산 측정, 하위 집단 간의 미세한 차이, 완전히 새로운 카테고리, 가격 민감도, 물리적 감각 경험에 의존하는 항목에 대해서는 신뢰도가 가장 떨어집니다.

Minds의 검증 접근 방식

Minds는 검증을 웹사이트 홍보 문구가 아닌 제품의 핵심 기능으로 다룹니다. 두 가지 요소가 핵심입니다.

오디언스 검증(Audience Validation): Minds의 오디언스는 이미 공표된 실제 설문 데이터, 사용자가 업로드한 설문 파일(PDF, Excel, CSV, Word), 혹은 둘 모두와 대조하여 검증할 수 있습니다. Minds는 발표된 결과가 해당 오디언스에 객관적 기준점이 될 수 있는 문항만 선별하여 전체 질문을 한 번에 실행하며, 제외된 모든 문항과 그 사유를 투명하게 목록화합니다. 각 서베이는 95% 신뢰 구간이 포함된 100점 만점 기준 점수, 출처, 조사 대상을 함께 표시합니다. 신규 오디언스는 학습 완료 즉시 자동으로 검증되며 언제든지 재검증할 수 있습니다. 이는 막연한 일반적 정확도 수치보다 실제 사용하려는 타깃 오디언스에 맞춘 유의미한 사전 검증을 제공합니다.

공개 복제 연구: Minds는 GSS 2024, ANES 2024, 2024년 캐나다 선거 연구, PISA 2022, 영국 식품기준청(FSA)의 Food and You 2 서베이 등 5개 공개 데이터셋을 대상으로 복제 연구를 공개했습니다. 평균 분포 오차는 4.72에서 8.33퍼센트포인트 수준이었습니다(전체 결과 확인). 각 연구는 서로 다른 조사 도구를 사용했고 일부는 가중치가 적용되었으므로 하나의 단일 정확도 점수로 단순 합산해서는 안 됩니다. 해당 보고서는 Food and You 문항의 경우 균등 확률 기준선(baseline)만으로도 이미 7.00포인트의 오차 수준에 도달했다는 점을 함께 지적합니다. 즉, 낮은 오차 수치 자체가 독보적인 우수성을 보장하는 절대적 증거는 아닙니다. 상세 방법론은 Minds 리서치 패널 구축 방식을 참고하시기 바랍니다.

주의할 점: 설문의 공표된 백분율과 일치한다고 해서 개별 응답자의 반응까지 정확하게 시뮬레이션했다는 의미는 아니며, 특정 설문에서 우수한 결과가 나왔다고 해서 다른 오디언스나 다른 성격의 질문으로 그 정확도가 자동 전이되지는 않습니다. 그렇기 때문에 실제 던지고자 하는 질문과 유사한 조건에서 오디언스 검증을 직접 수행해야 합니다.

다른 방법론과의 비교

이러한 방법론들은 단계적으로 연계할 때 가장 큰 효과를 발휘합니다. 합성 리서치로 수많은 옵션을 압축하고, 서베이나 정성 조사로 유력 후보군을 검증한 뒤, 라이브 테스트를 통해 실제 행동 데이터를 최종 확인하는 방식입니다.

합성 시장조사가 적합한 경우

정밀도보다 속도나 탐색 범위가 더 중요할 때 유용하게 쓰입니다.

• 초기 콘셉트 및 메시지 스크리닝: 예산 한도를 초과할 정도로 검증해야 할 선택지가 많은 경우.
• 설문지 개발: 실제 필드워크 비용을 집행하기 전 혼란스러운 질문, 누락된 보기, 유도성 문구를 사전 점검할 때.
• 모병이 어렵거나 비용이 큰 오디언스 탐색: 전문 B2B 구매자 등을 대상으로 타깃 인터뷰를 진행하기 전 사전 탐색용.
• 포지셔닝, 패키지 문구, 온보딩 텍스트 반복 개선: 일반적인 조사 방식으로는 라운드당 수 주가 걸리는 작업을 빠르게 반복할 때.
• 인간 대상 연구 준비: 가설 수립, 샘플링할 세그먼트 선정, 인터뷰 가이드라인 초안 작성.

콘셉트 검증에 특화된 상세 내용은 AI 콘셉트 테스트에서 확인할 수 있습니다.

한계: 합성 시장조사를 사용해서는 안 되는 경우

다음과 같은 상황에서는 모집된 실제 인간, 관찰된 행동 데이터, 혹은 기존에 검증된 측정 방식을 적용해야 합니다.

• 대표성 있는 추정치가 필요한 경우: 시장 규모, 침투율, 시장 점유율, 구매 의향자의 정확한 백분율 산출.
• 가격을 결정하기 위해 특정 가격대별 가격 탄력성이나 지불 의향(WTP) 분석이 필요한 경우.
• 대외 발표, 규제 대응, 감사 목적의 데이터인 경우: 실증이 필요한 광고 표현, 임상 및 건강 관련 주장, 선거 예측 등.
• 제품을 직접 만지거나 맛보거나 냄새를 맡는 등 물리적 체험이 필수적인 경우.
• 완전히 새로운 오디언스, 카테고리, 행동 양식이어서 신뢰할 만한 데이터가 거의 없거나 공개 텍스트 데이터에 오디언스가 제대로 반영되지 않은 경우(위에서 언급된 불일치 연구들은 고령층 및 소외 계층을 지적합니다).
• 실패 시 되돌리는 비용이 막대하지만, 해당 질문 유형에 대해 실제 데이터로 합성 오디언스를 검증하지 못한 경우.

합성 조사의 결과물은 상관 오차(correlated error)를 수반합니다. 모든 응답자가 동일한 기반 모델에서 생성되기 때문에 한꺼번에 같은 방향으로 오류를 범할 위험이 있습니다. 실제 인간 응답자는 독립적인 실수를 저지르지만, 시뮬레이션된 응답자는 그렇지 않을 수 있습니다.

합성 시장조사 툴 평가 기준

벤더의 수식어가 아닌 객관적인 근거를 요구해야 합니다.

1. 어떤 공개 데이터셋을, 어떤 질문으로 복제했으며, 오차율은 얼마였는가? 비교 기준선(baseline)을 공개하고 있는가?
2. 우리 조직의 오디언스를 실제 설문 데이터와 직접 대조 검증할 수 있는가? 어떤 질문이 왜 제외되었는지 투명하게 확인할 수 있는가?
3. 응답자 접지(grounding) 방식은 무엇인가: 단순 인구통계 라벨에 불과한가, 아니면 데이터 출처, 통계, 조직 자체 연구 파일이 반영되는가?
4. 지원하는 질문 유형은 무엇이며(주관식, 단일 선택, 복수 선택, 척도형, MaxDiff), 객관식 응답은 어떤 방식으로 수집되는가?
5. 해당 툴을 사용해서는 안 되는 분야나 한계점을 솔직하게 명시하고 있는가?

주요 벤더별 상세 비교는 합성 시장조사 툴 가이드에서 다루며, 전반적인 방법론 비교는 합성 리서치 vs 전통적 시장조사에서 확인할 수 있습니다.

Minds의 포지셔닝

Minds는 합성 시장조사를 엔드투엔드로 실행할 수 있는 플랫폼입니다. 신뢰할 수 있는 소스와 자체 파일을 바탕으로 Minds 오디언스를 구축하고, 객관식, 주관식, MaxDiff 질문이 포함된 조사를 운영할 수 있습니다. 콘셉트, 이미지, 웹사이트, 카피 등 다양한 자극물을 테스트하고 결과를 분석 및 내보내기 할 수 있으며, 실제 서베이와 대조하여 오디언스를 검증하는 기능까지 제공합니다. Minds는 비즈니스의 방향성을 빠르게 파악하기 위해 설계되었습니다. 합성 조사가 통계적 대표성까지 자동으로 확보해 주는 것은 아니므로, 대표성 있는 추정치 산출, 규제 대응 근거 확보, 물리적 제품 테스트를 진행할 때는 실제 사람을 대상으로 하는 조사를 병행해야 합니다.

Sources

• Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C. and Wingate, D. (2023). Out of One, Many: Using Language Models to Simulate Human Samples. Political Analysis, 31(3), 337-351.
• Bisbee, J., Clinton, J. D., Dorff, C., Kenkel, B. and Larson, J. M. (2024). Synthetic Replacements for Human Survey Data? The Perils of Large Language Models. Political Analysis, 32(4), 401-416.
• Brand, J., Israeli, A. and Ngwe, D. (2023). Using LLMs for Market Research. Harvard Business School working paper, SSRN 4395751.
• Santurkar, S., Durmus, E., Ladhak, F., Lee, C., Liang, P. and Hashimoto, T. (2023). Whose Opinions Do Language Models Reflect? Proceedings of the 40th International Conference on Machine Learning.
• Park, J. S. and colleagues (2024). LLM Agents Grounded in Self-Reports Enable General-Purpose Simulation of Individuals, first released as "Generative Agent Simulations of 1,000 People". arXiv 2411.10109.
• Minds (2026). We Tested Synthetic Audiences Against Reality.

관련 가이드

• 2026년 최고의 합성 시장조사 툴: 12개 플랫폼 비교