·更新于 ·Research·Jerry Miller, Product at Minds

什么是合成市场研究?定义与局限性

合成市场研究是一种由基于特定目标受众条件设定的 AI 生成受访者代替招募真人来回答问卷和访谈问题的市场研究方法。它的速度极快且成本低廉,非常适合早期概念、文案和问卷的筛选,但其产出具有方向性:在做出重大高风险决策之前,应参照真实调研数据进行核对并由真人确认。

合成市场研究是一种由 AI 生成的受访者代替招募真人来回答问题的市场研究方法。语言模型会基于你想要研究的目标受众描述(年龄、地区、角色、习惯、态度,有时还包含真实的调研或访谈数据)进行条件设定,每个设定好的实例都会回答问卷题目、对某个概念做出反应或进行一对一访谈。这些回答随后会像问卷结果一样被汇总,或像定性访谈实录一样被深入分析。

这种方法的价值在于极快且低成本,足以在正式开展实地调研之前运行:你可以在一天之内初筛大量概念、文案或问卷草稿。但它的局限性同样明显:这些受访者终究是模拟出来的。它们的回答是对群体可能作何反应的预估,受制于底层模型及所输入的数据;在支撑那些推倒重来成本极高的重大决策之前,必须对照真人进行核实。

本页面主要讨论该方法在市场研究中的应用。若想了解包括用户体验研究(UX research)和公共政策研究在内的更广泛实践,请参阅合成研究。

定义:什么才算合成市场研究

有三个核心要素将一项研究定义为合成市场研究,而不是单纯与某个 AI 工具聊天:

  1. 明确定义的目标受众。研究必须明确被模拟的对象是谁,例如“年龄在 25 至 40 岁之间、每周至少购买一次植物奶的英国杂货消费者”,且每个合成受访者都基于该定义构建。
  2. 规范的研究工具。所有受访者都要回答相同的结构化问题、对相同的测试物料评分,或遵循相同的访谈大纲,从而使回答具有可比性并能进行量化汇总。
  3. 分析与验证环节。结果被汇总为分布、排名或定性主题,并由专人核实其可信度,最理想的做法是对照该受众的真实调研数据进行交叉验证。

许多服务商对同一概念冠以不同的名称:合成受访者(synthetic respondents)、合成样本库(synthetic panels)、AI 角色画像(AI personas)、客户数字孪生(digital twins of customers)、硅样(silicon samples)。学术术语“silicon sampling”源自政治学领域的研究,该研究利用真实调研参与者的背景信息对语言模型进行条件设定。这些说法本质互有重叠,核心关键仍在于上述三个要素。如需深入了解受访者单元本身,请阅读合成受访者与合成样本库。

“合成数据市场研究”:常见的概念混淆

人们经常搜索“合成数据市场研究”,而这个词混淆了两个截然不同的概念。

合成数据是指任何人工生成的数据集。在数据分析领域,它通常指真实数据表的统计学副本(例如交易记录或客户档案),其生成的目的是让分析人员在不泄露个人隐私的前提下开展工作。它的职责是完整保留你已有数据的潜在模式。

合成市场研究则是针对尚未向任何人提出过的问题生成全新的回答:目标受众对价格变动会有什么反应、这三句主张中哪一句最可信、什么因素会阻碍他们更换品牌。它的职责是估算你尚未掌握的观点和反应。

合成研究所产生的回答确实属于合成数据的一种,但该方法的难点绝不在于生成数据行,而在于精准定义受众、提出中立客观的问题,以及准确判断这些回答在多大程度上值得信赖。

合成市场研究的运作机制

一次典型的研究通常分为五个步骤:

  1. 明确决策目标。明确写出根据研究结果将做出什么改变,例如“我们究竟上线主张 A 还是主张 B”,以及该决策所需的置信度水平。
  2. 构建目标受众。详细描述受众细分,然后在该细分人群中生成具有个体差异的受访者。更成熟的系统会以真实证据为依托构建每位受访者:公开统计数据、权威公共来源、你自有的客户研究或问卷数据文件。仅凭人口统计学标签构建的受访者,往往倾向于给出刻板印象式的回答。
  3. 执行研究工具。提出封闭式问题(单选、多选、量表、排序、强制选择设计如 MaxDiff)和开放式问题,或展示测试物料,例如概念、广告、包装图、落地页或原型。
  4. 深入分析。将封闭式回答汇总为分布图并对比细分群体;将开放式回答编码提炼为主题;寻找逻辑矛盾之处以及听起来空洞泛化的回答。
  5. 验证与决策。在具备真实数据的情况下,抽取部分结果进行对比;将产出标记为方向性参考;最终决定哪些发现需要进入真人研究阶段作进一步确认。

收集回答的具体方式比表面看起来重要得多。在 Minds 发表的问卷复现研究中,让合成受访者针对各选项给出概率分布,而不是强制单选,在四个公共数据集上将分布误差降低了 12.47 至 19.72 个百分点(Minds 研究)。强行要求每个受访者只能单选,会彻底抹杀真实人群天然具有的不确定性。

实例:用真实调查检验合成研究

合成市场研究的结果应交代目标人群、问题、真人参照和误差。以下来自已公开的产品验证,而非示意数据。

在2026年8月18日的Food and You 2复现中,301名16–24岁的持久化Minds回答了英国食品标准局公开调查中的三个相同的用餐频率问题。合成群体覆盖英格兰、威尔士和北爱尔兰。每题的真人参照基数为257,每题有七个选项;计划的903条Mind-问题回答全部完成。

其中一个原始问题译为:“你多久会在外面吃晚餐,或购买外带食品作为晚餐?”比较对象是每个选项的回答占比,而非能否正确预测某个具体人的答案。真人百分比在运行时被隔离;但原始资料公开,因此无法排除预训练或已存知识中的先前接触。

问题与真人答案占比的平均绝对差(百分点)
早餐频率2.98
午餐频率6.48
晚餐频率8.56
全部21个答案选项单元6.01

总体平均误差为6.01个百分点,越低越好。公开的“93.99%近似度”是100减去该误差,不代表93.99%的个体预测准确率。晚餐问题的平均偏差最大,因此汇总分数不应掩盖题目间的差异。

作为参照,冻结的历史通用提示基线误差为6.68个百分点,等概率基线为7.00个百分点。这些基线并未同期重新运行。这是在既有群体上重复三个相关问题,并非新的独立人群验证,也不保证下一份问卷的误差。研究没有估算真人样本的抽样不确定性区间。英国食品标准局未资助、认可或审核Minds的这项研究。

可查看已公开的问卷、人群和逐题结果、基线比较及研究背景和Food and You 2, Wave 10原始数据。为自己的决策使用结果前,应针对相关人群和问卷重复这一检验。

准确性实证证据说明了什么

合成市场研究不存在单一的准确率指标。任何服务商如果在不指明具体数据集、测试问题和对比方法的情况下给出一个准确率数字,都是毫无参考价值的。学术界已发表的实证证据呈现出两极分化的特点。

证明其行之有效的证据:

  • Argyle 及其合作者利用数千名美国真实调研参与者的社会人口学背景对 GPT-3 进行了条件设定,发现它能够高度模拟许多细分群体的回答分布。他们将这种特性称为“算法保真度”(algorithmic fidelity),并将生成的样本命名为“silicon samples”(Political Analysis, 2023)。
  • 一支由斯坦福大学主导的研究团队基于两小时的深度访谈、问卷调查或二者结合,为 1,052 名美国人构建了模拟智能体。在未参与训练的美国综合社会调查(GSS)题目上,这些智能体达到了参与者自身两周重测一致性的 83%、82% 和 86%,而仅提供人口统计信息的智能体仅为 74%(arXiv, 2024)。基于真实自述背景的条件设定,表现显著优于单纯的人口统计标签。

揭示其局限性的证据:

  • Bisbee 及其合作者向设定了角色画像的 ChatGPT 询问好感度温度计得分(feeling-thermometer scores),并与美国全国选举研究(ANES)的数据进行对比。均值匹配非常接近,但合成回答的方差明显小于真实数据,回归系数往往存在差异,结果会随措辞的微调而发生偏移,且相同的提示词在相隔三个月后给出了完全不同的结果(Political Analysis, 2024)。
  • Santurkar 及其合作者发现,语言模型表达的观点与美国 60 个不同人口统计群体的观点之间存在显著脱节,即使刻意引导模型模拟特定群体,这种偏差依然存在;某些群体(例如 65 岁以上的老年人)在模型中的体现极差(ICML 2023)。
  • 在专门针对消费者的研究中,Brand、Israeli 和 Ngwe 发现,大语言模型回答所推导出的支付意愿估算有时可与真人研究相媲美,但通常并不准确,在某些情况下甚至会出现方向相反的正负号错误。利用该品类先前的调研数据进行微调,可以提高该品类内部新特性的对齐精度,但这一优势无法迁移到全新的产品品类中(HBS working paper, SSRN)。

贯穿这些研究的普遍规律是:对于那些数据记录详尽、在现有语料中代表性充分的群体,其记录完备的态度观点往往最容易被合成回答准确复现;且受访者越是基于被模拟对象的真实证据进行条件设定,效果就越好。相反,在方差分布、群体细分差异、全新产品品类、价格敏感度以及任何极度依赖亲身体验的场景中,合成回答的可靠性最低。

Minds 如何处理验证

Minds 将验证视为产品核心功能的一部分,而非官网上的宣传修辞。主要体现在两个维度:

Audience Validation。Minds 中的 Audience 可以对照公开出版的真实调研、你上传的问卷文件(PDF、Excel、CSV 或 Word)或两者结合进行验证。Minds 仅保留那些已公布答案对该 Audience 构成合理检验目标的问题,并在单次运行中向其所有 Minds 统一提问,同时列出所有被剔除的问题及具体原因。每个调研都会得出一个百分制得分及 95% 置信区间,并标明数据来源和调研对象。新构建的 Audience 在训练完成后会自动触发验证,后续也可以随时重新验证。这能让你直接检验即将调用的具体受众,比泛泛的准确性宣传实用得多。

已发表的复现报告。Minds 已针对五个公共数据集发布了复现结果:GSS 2024、ANES 2024、2024 年加拿大选举研究(Canadian Election Study)、PISA 2022 以及英国食品标准局的 Food and You 2 调查。平均分布误差在 4.72 到 8.33 个百分点之间(完整结果)。各研究使用的测试工具不同,且其中一项经过了加权处理,因此不能简单地将它们合并为单一的准确率分数。该报告同时指出,在 Food and You 问卷的各选项上,等概率基线本身的误差就只有 7.00 个百分点,因此单看低误差数值并不能直接证明其具备巨大优势。关于具体方法,请阅读 Minds 研究样本库是如何构建的。

这些验证不能证明什么:精准匹配某项调研的公开百分比,并不等同于正确模拟了每一个个体;在某项调研上的优秀表现,也无法自动迁移到不同的受众群体或完全不同类型的问题上。这就是为什么必须紧密围绕你的具体问题、针对你的特定受众单独运行验证。

合成市场研究与其他方法的对比

研究方法典型周期相对成本代表性最适合的场景主要风险
合成市场研究数分钟至数小时单次研究极低本身不具备代表性;取决于背景依托与验证深度初筛概念与文案、预测试问卷、探索极难招募的细分人群回答看似合理实则错误、方差不足、模型固有偏见
在线样本库问卷数天至数周中等依靠优秀的抽样和加权可逼近总体规模测算、指标追踪、具备统计代表性的估算低质或虚假受访者、样本疲劳
焦点小组与深度访谈数周按单人计成本极高不具备代表性;样本量极小挖掘深度、语言表达习惯、情感共鸣、挖掘意料之外的动因主持人效应与群体从众效应、样本量小
A/B 测试或实地市场测试数周,需真实流量支撑中等至偏高真实反映现有用户的实际行为线上现有方案之间的最终决策抉择只能测试已上线的方案;选项过多时推进极慢

这些方法组合使用效果最好:先用合成研究收窄选项范围,再通过问卷或定性研究确认入围方案,最后通过真实的实地测试来拍板那些唯有实际行为才能证明的事项。

合成市场研究适用的场景

当速度或覆盖广度比绝对精度更重要时,合成市场研究能发挥极大价值:

  • 早期概念与文案初筛:当备选方案数量超出实地调研预算承受范围时。
  • 问卷研发:在投入真金白银进行实地执行之前,提前发现表述不清的问题、缺失的选项和诱导性措辞。
  • 探索招募成本极高或极难触达的受众:例如专业领域的 B2B 决策者,在进行针对性访谈前先获取方向性认知。
  • 敏捷打磨产品定位、包装文案或上手引导说明:若按传统流程,每一轮迭代都需要耗费数周时间。
  • 为真人研究做准备:形成假设、明确抽样细分群体,并优化访谈大纲。

关于概念测试的专项应用,请参阅 AI 概念测试。

局限性:何时不应使用合成市场研究

在下列场景中,请务必使用招募的真人、观察到的真实行为或成熟的统计测量方法:

  • 需要代表性估算:市场规模测算、渗透率、市场份额,或购买人群的精确百分比。
  • 设定具体定价:需要计算特定价位下的价格弹性或精确支付意愿。
  • 结论将被公开、受到监管或面临严格审计:包括需要实证支持的广告主张声明、临床或医疗健康声明,以及选举预测。
  • 产品必须经过真实的触摸、品尝、闻嗅或物理使用。
  • 受众、品类或行为极新,缺乏可靠数据支撑,或该受众在公开文本中代表性极弱(前文提及的对齐脱节研究特别指出了老年人及其他代表性不足的边缘群体)。
  • 决策一旦出错推倒重来的成本极高,且你尚未针对该类型问题对照真实数据验证过合成 Audience。

此外,合成结果具有相关性误差(correlated error):每个受访者都源自同一个底层模型,因此它们可能会同时向同一个错误方向发生偏离。真人受访者犯错通常是相互独立的,而模拟受访者则往往不是。

如何评估合成市场研究工具

在评估服务商时,务必考察其实打实的实证证据,而非浮夸的宣传修辞:

  1. 你们复现过哪些公共数据集?使用了哪些具体问题?误差是多少?是否公布了基线数据?
  2. 我能否使用真实调研数据对自有的 Audience 进行交叉验证?我能否看清哪些问题被剔除了以及剔除的具体原因?
  3. 受访者是如何建立背景依托的:仅依靠人口统计学标签,还是融合了权威来源、统计数据和我自有的研究文件?
  4. 支持哪些问题类型(开放题、单选、多选、量表、MaxDiff)?封闭式问题的回答是如何收集的?
  5. 你们明确告知客户该工具不适合用在哪些场景?

如需查看各家服务商的横向评测,请参阅我们的合成市场研究工具指南;如需更深入的方法论辨析,请阅读合成研究对比传统市场研究。

Minds 的定位

Minds 是一个用于端到端执行合成市场研究的平台:你可以构建基于多源数据和你自有文件支撑的 Minds 组成的 Audience,运行包含开放题、封闭题或 MaxDiff 的 Studies,测试概念、图片、网站和文案等物料,深入分析并导出研究结果,以及对照真实问卷对 Audience 进行系统性验证。Minds 专为方向性决策量身打造。它不会让合成研究凭空获得统计代表性;对于高精度的代表性估算、合规级证据支持或实体产品测试,你依然需要招募真人受访者。

来源

相关指南

常见问题

通俗来说,什么是合成市场研究?

它是一种由 AI 生成的受访者代替招募的真人来回答问题的市场研究形式。每个合成受访者都基于你想要研究的目标受众画像进行条件设定,其回答既可以像问卷一样进行汇总,也可以像定性访谈一样进行分析。其产出是一种快速的方向性参考,而非对真实人群的精确测量。

合成市场研究的准确性如何?

这取决于受众、具体问题以及收集回答的方式,因此不存在单一通用的准确率数字。已发表的研究表明,它在某些问卷分布上匹配度很高,而在另一些场景下则会出现明显的失效,包括方差不足以及对提示词措辞高度敏感。在依赖这些结果之前,务必针对你的受众对照真实调研数据进行校验。

合成市场研究与合成数据是一回事吗?

并不完全相同。合成数据是指任何人工生成的数据集,例如为了保护隐私而生成的客户数据表副本。而合成市场研究是一种完整的研究工作流:定义受众、向模拟受访者提问或展示测试物料、分析回答并进行验证。模拟出的回答只是合成数据的一种形式。

什么时候不应该使用合成市场研究?

切勿将其用作代表性估算的最终依据,例如市场规模测算或精准的支付意愿评估;切勿用于合规监管或临床声明、实体或感官产品测试,也不要用于可用数据极少、全新的人群与行为。在这些场景下,请使用招募的真人或观察实际行为。

合成市场研究能取代问卷调查和焦点小组吗?

它可以取代某些早期轮次的研究,例如将十个概念初筛至三个,或者对问卷进行预测试。但它不应取代用来敲定高风险决策的真人研究。大多数团队使用它是为了让后续的真人研究规模更小、针对性更强。

Minds 如何对照真人核对合成回答?

Minds Audience Validation 会向 Audience 提出已公开发表的真实调研问题,或者你上传的问卷文件中的问题,并对比两者的回答分布。每个调研都会得到一个百分制得分及 95% 置信区间,同时注明其数据来源和调研对象;而那些不适合该 Audience 回答的问题则会被列出并说明排除原因。