합성 설문 패널과 AI 응답자의 작동 원리

합성 응답자는 대규모 언어 모델로 시뮬레이션한 리서치 참여자입니다. 조사하려는 대상의 프로필(연령, 지역, 직업, 습관, 태도, 그리고 이상적으로는 이들과 유사한 사람들에 대한 실제 설문이나 인터뷰 데이터)을 모델에 조건화한 뒤, 해당 역할로서 설문 문항에 답하거나 콘셉트에 반응하고 인터뷰에 참여합니다.

합성 패널은 특정 오디언스를 대표하도록 구축된 합성 응답자 그룹입니다. 모든 구성원에게 동일한 질문을 제시할 수 있으므로, 모집된 실제 패널을 조사할 때와 마찬가지로 응답을 분포로 집계하고 세그먼트 간에 비교할 수 있습니다.

두 가지 모두 빠르고 방향성 있는 리서치를 위한 도구입니다. 본격적인 실사(fieldwork)에 앞서 아이디어와 설문지를 사전 스크리닝할 수 있게 해주지만, 이들의 응답은 모델이 생성한 추정치일 뿐 실제 사람을 측정한 결과가 아닙니다. 따라서 되돌리기 어려운 비용이 드는 의사결정을 내리기 전에는 반드시 실제 데이터로 검증해야 합니다.

관련 용어와의 비교

이 시장에서는 여러 용어가 혼용됩니다. 솔루션을 비교하거나 방법론 문서를 검토할 때 유의해야 할 차이점은 다음과 같습니다.

이러한 응답자를 활용하는 포괄적인 방법론에 대해서는 합성 시장 조사란 무엇인가를 참고하세요.

합성 응답자의 구축 방식

실무에서 유용한 합성 응답자는 세 가지 계층으로 구성됩니다.

1. 기본 언어 모델. 유창한 언어 구사력과 일반 지식을 제공하지만, 순응 편향(agreeableness), 장황함, 학습 데이터 자체의 의견 왜곡과 같은 고유한 성향도 함께 수반합니다.
2. 프로필 및 이를 뒷받침하는 근거 데이터. 프로필은 인구통계학적, 행동적, 태도적 속성을 정의합니다. 더 정교한 시스템은 공표된 통계, 공개 리서치, 그리고 팀 내부의 설문 결과, 인터뷰 녹취록, 고객 데이터 등 객관적인 소스에 각 프로필의 기반을 둡니다. 단순 인구통계 라벨로만 생성된 응답자는 고정관념에 치우쳐 답변하기 쉽습니다.
3. 응답 프로토콜. 응답을 상호 비교하고 집계할 수 있도록 응답자는 정형화된 도구(단일 선택, 다중 선택, 척도형, 순위 매기기, MaxDiff와 같은 강제 선택 과업, 주관식 문항 등) 내에서 답변합니다.

객관식 응답을 수집하는 방식은 결과에 큰 영향을 미칩니다. Minds가 공개한 재현 연구에 따르면, 합성 응답자에게 단일 선택을 강제하는 대신 보기별 확률 분포를 응답하도록 했을 때 4개의 공개 데이터셋 전반에서 분포 오차가 12.47에서 19.72 퍼센트포인트 감소했습니다(Minds 연구).

합성 패널이란 무엇이며, 기존 패널과 어떻게 다른가

합성 패널은 집단 단위의 버전입니다. 예를 들어 "식물성 대체유를 매주 구매하는 25에서 40세 영국 식료품 쇼핑객"과 같은 단일 오디언스 정의 내에서 다양하게 변주되는 수십 명에서 수천 명의 합성 응답자로 구성됩니다. 이 패널이 리서치에 참여하며, 결과는 분포, 순위, 주요 테마 등으로 도출됩니다.

두 방식은 상호 대체재가 아닙니다. 합성 패널은 실제 패널에게 무엇을 물어볼 가치가 있는지 선별하고, 실제 조사의 규모를 줄이면서 더 정밀하게 타겟팅하기 위한 수단입니다. 자세한 비교 내용은 합성 패널과 기존 패널 비교를 참고하세요.

정확도에 관한 실증적 연구 결과

합성 응답자의 정확도를 하나의 단일 수치로 단정할 수는 없습니다. 결과는 대상 오디언스, 질문 내용, 응답 수집 방식에 따라 달라지며, 공개된 연구 결과들도 긍정적인 면과 한계점을 동시에 보여줍니다.

• Argyle 연구팀은 미국 실제 설문 참여자들의 사회인구통계학적 배경 정보를 GPT-3에 조건화한 결과, 여러 하위 집단의 응답 분포를 충실히 재현할 수 있음을 발견하고 이를 "알고리즘적 충실도(algorithmic fidelity)"라고 명명했습니다(Political Analysis, 2023).
• Stanford 연구진이 주도한 팀은 1,052명의 미국인을 대상으로 2시간 인터뷰, 설문 또는 두 가지를 모두 진행하여 에이전트를 구축했습니다. 홀드아웃(held-out)된 미국 사회조사(General Social Survey) 문항에서 이 에이전트들은 참가자 본인의 2주 검사-재검사 일관성 대비 83%, 82%, 86%의 수준을 기록한 반면, 인구통계 정보만 제공된 에이전트는 74%에 그쳤습니다(arXiv, 2024). 실제 자기보고에 기반을 두는 것이 단순 인구통계 라벨보다 우수함을 증명한 것입니다.
• Bisbee 연구팀은 페르소나 프롬프트가 적용된 ChatGPT가 미국 전국선거연구(American National Election Study)의 평균 감정온도계(feeling-thermometer) 점수를 잘 맞췄으나, 실제 응답자보다 분산이 작고, 회귀 관계가 다르며, 미세한 문구 변화에 민감하고 시간에 따라 결과가 달라지는 현상을 발견했습니다(Political Analysis, 2024).
• Santurkar 연구팀은 언어 모델이 표현하는 의견과 60개 미국 인구통계 그룹의 의견 사이에 상당한 불일치가 있음을 발견했습니다. 특히 65세 이상 고령층과 같은 특정 집단은 모델을 해당 집단으로 유도하더라도 의견이 제대로 반영되지 않았습니다(ICML 2023).

합성 응답과 실제 인간 응답이 일치하는 영역과 차이를 보이는 영역에 대한 심층 분석은 합성 응답자 vs 실제 응답자: 정확도 비교를 참고하세요.

주의해야 할 실패 유형(Failure Modes)

합성 응답자는 인간 패널과는 다른 방식으로 오차를 일으킵니다.

• 지나치게 작은 분산: 응답이 가장 전형적인 관점에 집중되어 실제보다 분포가 깔끔해 보이고 소수 의견이 사라집니다.
• 상관 오차(Correlated error): 모든 응답자가 동일한 기본 모델을 공유하므로, 모델의 맹점이 전원에게 동시에 영향을 미칩니다. 독립적인 응답자를 전제로 하는 기존의 표본오차 공식은 여기에 적용되지 않습니다.
• 프롬프트 및 모델 의존성: 문구의 미세한 변화, 질문 순서, 모델 버전에 따라 결과가 달라질 수 있습니다.
• 순응 편향(Agreeableness): 평가 도구에서 트레이드오프를 강제하지 않으면 제시된 모든 콘셉트나 문항에 긍정적으로 반응하는 경향이 있습니다.
• 데이터 희소 오디언스: 출현율이 낮은 집단, 전문 직무, 기존 데이터에 기술된 바가 적은 새로운 카테고리에서는 정확도가 급격히 떨어집니다.

Minds가 합성 패널을 구축하고 검증하는 방식

Minds에서 개별 합성 응답자는 Mind이며, 합성 패널은 Audience입니다. 각 Mind는 신뢰할 수 있는 소스와 사용자가 추가한 설문 결과, 인터뷰 녹취록, 고객 조사 파일 등을 기반으로 구축됩니다. Study 기능은 Audience를 대상으로 객관식 및 주관식 질문, MaxDiff 등의 방법론을 적용하거나 콘셉트, 이미지, 웹사이트, 카피와 같은 자극물을 제시하여 반응을 측정합니다.

Audience Validation은 막연한 정확도 주장에 기대지 않고, 실제 설문 데이터를 기준으로 Audience를 검증합니다. Minds는 해당 Audience와 일치하는 응답자 풀을 가진 공표된 설문을 찾거나 사용자가 업로드한 설문 파일을 활용합니다. 이때 해당 Audience의 공정한 검증 기준이 될 수 있는 문항만 선별하고, 제외된 모든 문항과 그 사유를 투명하게 공개합니다. 각 설문은 공표된 응답 점유율과의 평균 절대 백분율 포인트 차이를 100에서 뺀 값으로 100점 만점의 점수를 부여받으며, 95% 신뢰구간이 함께 제공됩니다. 자세한 내용은 Audience Validation 작동 방식을 확인하세요.

5개의 공개 데이터셋을 대상으로 한 Minds의 재현 연구 결과에 따르면, 평균 분포 오차는 4.72에서 8.33 퍼센트포인트 수준이었습니다(전체 결과 보기). 이 연구들은 서로 다른 측정 도구를 사용했으므로 단 하나의 정확도 점수로 단순 취합해서는 안 되며, 특정 설문에서 좋은 결과가 나왔다고 해서 다른 오디언스나 질문에서도 동일한 결과가 자동으로 보장되지는 않습니다.

합성 응답자를 활용해야 할 때와 피해야 할 때

효과적인 활용 사례:

• 본격적인 실사(fieldwork) 전에 수많은 콘셉트, 클레임, 메시지를 평가하여 숏리스트로 압축할 때
• 모호한 문구, 누락된 보기, 유도 질문 등을 파악하기 위해 설문지를 사전 테스트할 때
• 타깃 심층 인터뷰를 진행하기에 앞서, 모집이 어렵거나 비용이 많이 드는 오디언스의 반응을 사전 탐색할 때
• 가설을 수립하고 실제 인간 대상 조사에서 어떤 세그먼트를 표집할지 결정할 때

다음과 같은 상황에서는 모집된 실제 응답자나 관찰된 행동 데이터를 활용해야 합니다:

• 시장 규모, 점유율, 실제 구매 의향자 비율 등 대표성 있는 모수 추정치가 필요할 때
• 특정 가격대에서의 지불 용의 금액(WTP)이나 가격 탄력성을 정확히 파악해야 할 때
• 광고 실증, 건강 관련 클레임 등 공개 발표되거나 규제 기관의 감사 대상이 되는 주장을 검증할 때
• 제품을 물리적으로 직접 만져보거나 맛보고 사용해 보아야 할 때
• 오디언스나 카테고리가 너무 신생이어서 이를 설명할 신뢰할 만한 데이터가 거의 없을 때

합성 응답자 솔루션 제공업체 평가 기준

직접 검증할 수 있는 다음과 같은 증거를 요구하세요:

1. 어떤 공개 설문을 재현해 보았으며, 오차율은 얼마였고, 어떤 기준선(baseline)과 비교했는가?
2. 사용자가 직접 구축한 패널을 실제 설문 데이터와 대조해 검증할 수 있으며, 제외된 질문과 그 이유를 확인할 수 있는가?
3. 각 응답자는 어떻게 기반을 두고 있는가? 단순 인구통계 라벨인가, 아니면 공인된 소스와 사용자 자체 리서치 파일 기반인가?
4. 객관식 응답은 어떤 방식으로 수집되며, 응답자가 콘셉트에 반대하거나 거부 의사를 온전히 표현할 수 있는가?
5. 해당 도구를 사용해서는 안 되는 부적합한 용도를 솔루션 제공업체가 명확히 밝히고 있는가?

주요 솔루션 제공업체 비교는 합성 응답자 플랫폼 비교 가이드에서 확인할 수 있습니다.

Sources

• Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C. and Wingate, D. (2023). Out of One, Many: Using Language Models to Simulate Human Samples. Political Analysis, 31(3), 337-351.
• Bisbee, J., Clinton, J. D., Dorff, C., Kenkel, B. and Larson, J. M. (2024). Synthetic Replacements for Human Survey Data? The Perils of Large Language Models. Political Analysis, 32(4), 401-416.
• Santurkar, S., Durmus, E., Ladhak, F., Lee, C., Liang, P. and Hashimoto, T. (2023). Whose Opinions Do Language Models Reflect? Proceedings of the 40th International Conference on Machine Learning.
• Park, J. S. and colleagues (2024). LLM Agents Grounded in Self-Reports Enable General-Purpose Simulation of Individuals. arXiv 2411.10109.
• Minds (2026). We Tested Synthetic Audiences Against Reality.