·更新于 ·Education·Jerry Miller, Product at Minds

什么是合成研究?准确率、局限性与案例研究

合成研究利用 AI 生成的受访者、用户画像和合成样本库来模拟受众如何回答问题或对概念做出反应。已发表的研究表明,其平均值能够紧密跟踪真实调查,但方差与细分群体效应的可靠性较低,因此它最适合用于快速的方向性探索,在做出重大决策之前仍需对照真实数据进行验证。

合成研究是一种市场、产品或社会研究方法,由 AI 生成的受访者代替或先于招募的真实人类回答问题。模型根据受众描述和源数据进行条件约束,然后像样本库一样接受访谈或调查。已发表的研究表明,合成平均值可以紧密跟踪真实调查,而在方差、细分群体差异和全新行为方面的可靠性较低(Bisbee et al., 2024)。使用它能够快速探索和筛选方案,在做出高风险决策之前再对照真实数据进行验证。本指南涵盖其工作原理、与传统研究的对比、已发表的准确率数据、案例研究及其局限性(数据源核对日期为 2026-10-04)。

合成研究是一种基于 AI 的方法论,利用模拟画像、受访者和样本库来探索目标受众如何对产品、信息传递和研究刺激物做出反应。它使洞察团队、产品团队和战略团队能够在开展昂贵的实地调研之前,快速测试假设、对比受众细分并完善调研工具。

合成研究生成的是方向性的模型输出。它无法建立统计代表性、证明因果关系、预测现实世界的市场需求、计算精确的支付意愿,也无法在高风险的最终决策验证中替代招募的真实参与者。在配合结构化验证和明确决策边界的前提下,合成研究可作为早期探索、概念筛选和工作流筹备的高效工具。

Minds 是商业合成研究的端到端平台。其工作流程涵盖受众构建与研究规划、刺激物测试(支持 Figma 输入、网站、应用流程、图片、视频、文案、演示文稿、问卷和概念)、定性及支持的定量方法、细分对比、分析和导出。产品与用户体验研究属于其核心范围。当决策需要时,招募人类观察、物理或感官研究、监管证据、代表性估算以及最终高风险验证依然是必要的补充手段。

合成研究定义与核心术语

合成研究应用计算模型在结构化研究框架内模拟人类反馈。在合成研究中,研究人员配置具有特定特征的数字画像,向其布置结构化任务,并评估模拟出的响应。

该方法的学术基础包括 silicon sampling,即在大语言模型中注入人口统计学、心理特征或上下文信息,以生成针对研究题目的响应。合成研究不仅限于静态提示词,而是将这些模拟嵌入到可复现的工作流中,例如访谈、概念测试、焦点小组以及结构化偏好测试。

合成研究与更广泛的合成数据概念有所区别。合成数据是指用于软件测试、统计建模、机器学习训练或隐私保护的任何人工生成数据集。合成研究则特指模拟研究的工作流程:定义目标群体、配置模拟参与者、下发任务、分析生成的话语或选择,并将发现与可观察的参考基准进行对照。

合成受访者

合成受访者是经过条件约束的单个 AI 代理,代表特定的视角、角色或人口背景。它是在访谈或评估任务中生成响应的基本单元。如需深入了解这一基础组成部分,请阅读什么是合成受访者。

合成画像

合成画像是定义模拟受访者如何行动、解读信息和做出决策推理的结构化配置文件、背景上下文和规则集。画像既可以配置为高层级的原型,也可以根据背景研究构建成详细的角色档案。进一步了解如何构建和管理什么是合成画像。

什么是合成样本库?

合成样本库是由多个合成画像组成的集合,用于同时评估概念或参与多画像群体对话。合成样本库允许团队跨细分群体对比差异或观察多代理之间的互动。关于模拟群体与真人样本库的对比分析,请参阅合成样本库对比招募样本库。有关合成样本库与合成受访者的完整定义,请参阅什么是合成受访者。

领域应用

合成研究工作流适用于不同的研究领域。在产品设计中,合成用户研究可帮助团队测试用户流程、界面文案和初步的可用性假设。在商业战略中,合成市场研究可帮助团队探索定位、相对优先级以及在竞争格局中的信息共鸣。

Minds 的底层架构与功能

通用的提示词方法通常会产生缺乏可追溯性的泛化响应。相比之下,结构化合成研究平台将画像约束在明确的参考材料上,维持持久配置,并支持标准化测试方法。

在 Minds 中,团队可以创建持久画像,举行一对一和多画像群体对话,并运行已注册的方法工作流。画像配置在多次研究运行中保持稳定,使团队能够进行纵向对比并在不从头构建参与者档案的情况下迭代讨论主题。

Minds 集成了结构化方法模块,以支持系统化的偏好测试:

  1. MaxDiff 分析:此注册方法工作流通过向模拟受访者展示权衡选择以确定最偏好和最不偏好的项目,测量功能列表、价值主张或核心信息支柱之间的相对优先级。
  2. Conjoint 联合分析:此注册方法工作流支持配置好的权衡研究,允许团队评估合成画像如何权衡属性、功能和概念选项的组合。

Minds 不声称输出具备统计代表性,且通用的聊天对话不会自动集成到已注册的方法运行中。结构化研究需要对属性、水平和任务参数进行显式配置,以确保收集到规范的数据。

若要了解源信号如何在 Minds 中指导画像建模,请查看 Minds PRISM 的技术文档,以及详细说明受众构建边界和系统局限性的分步研究方法论。

合成研究对比传统研究

合成研究传统研究
回答者基于受众描述和源数据约束的 AI 受访者从样本库、客户名单或拦截访问中招募的真实人类
获得首批回答的时间数分钟至数小时招募和实地执行需数天至数周
成本构成软件订阅费与算力成本招募费、激励金和主持费用
最擅长探索、多选项筛选、问卷与访谈提纲预测试代表性估算、行为观察、最终验证
较薄弱方差、细分群体效应、全新行为、因果推断响应速度、多变量快速迭代、预算有限时难以触达稀缺受众
检验方式在依赖结果前对照真实调查基准进行校验抽样设计、质量检查与复现测试

这两种方法并非对立竞争,而是前后衔接:合成研究用于缩小选项范围并打磨研究工具,传统研究则对筛选后的内容进行测量。下文关于混合模型的章节展示了团队如何将二者结合。

合成消费者研究的准确率如何?

准确率取决于受众、问题类型以及结果的测量方式,因此公开发布的数据无法直接横向对比。目前的实证结果表明:

  1. 平均值可以吻合,方差往往不一致。Bisbee 及其同事使用画像提示 ChatGPT 对 11 个群体进行评分,发现平均得分与 2016 至 2020 年美国全国选举研究的结果相近,但变异程度低于真实调查,且回归系数通常存在差异(Political Analysis, 2024)。
  2. 基于真实数据进行条件约束会有所助益。Argyle 及其同事表明,在详细的人口统计学背景信息约束下,语言模型能够重现美国细分群体的回答模式,他们将这种方法称为 silicon sampling(Political Analysis, 2023)。
  3. 消费者偏好表现相对合理。Brand、Israeli 和 Ngwe 发现,GPT-3.5 对购买问题的回答符合向下倾斜的需求曲线规律,并生成了幅度合理的支付意愿估算,与针对人类消费者的研究相匹配(HBS Working Paper 23-062)。
  4. 各厂商基于不同指标公布基准。Aaru 报告在 186 项研究的回答份额中平均绝对误差为 3.53 点,Pearson 相关系数为 0.970(Aaru);Electric Twin 在其标准化分布测量中报告为 92%,而人类重测上限为 94%(Electric Twin);Evidenza 在 100 多项测试中报告了 88% 的相似度得分,但未界定具体指标(Evidenza)。

Minds 不发布单一的代表性数据,因为拟合程度因受众和主题而异。相反,Audience Validation 会对照真实公开发布的调查或您自有的调查文件对每个受众进行评分,并显示带有 95% 置信区间的得分、数据来源以及剔除了哪些问题。这是在依赖合成结果之前应当执行的核验步骤。

合成研究案例

公开的案例研究目前仍然较少,大多来自供应商或学术界。以下三个案例有较完整的记录,具有参考价值:

  1. 财富管理调查复现:在对安永全球财富研究的盲测复现中,Aaru 的模拟在 53 个问题上与原始数据的中位数 Spearman 相关系数达到 0.90,每个问题的平均差异为 7.1 点(Aaru case study)。经验启示:跨问题的相对排序表现良好,但单个百分比数据仍有数个百分点的波动。
  2. 消费品支付意愿:上述哈佛商学院研究使用合成受访者执行类似联合分析的选择任务,并将得出的支付意愿估算与人类研究进行对比(HBS Working Paper 23-062)。经验启示:相对偏好在早期阶段很有参考价值,但确切价格仍需要真实买家进行验证。
  3. 细分群体的公众意见:上述政治学研究复现了全美调查结果,并指出了其在方差和细分群体回归中出现偏差的地方。经验启示:不仅要看平均值,还需核查分布与细分群体表现。

有关产品和营销领域的实际应用案例,请参阅我们的 silicon sampling 案例研究。

合成研究的局限性:它无法证明什么

将合成研究等同于真实人类行为的精确复制会带来战略风险。AI 生成的受访者反映的是其底层训练数据和约束材料中的模式、语言关联和分布。它们不具备真实的人类生活经历、生理限制、可支配收入或实际行动能力。

评估合成研究的团队必须注意五条明确的分析边界:

  1. 合成研究无法建立统计代表性:合成研究中的大样本量并不构成真正的概率样本。在单一底层模型上运行一千次模拟迭代,可能会放大共享的潜在偏差,而不是捕捉人类群体的真实方差。
  2. 合成研究无法证明因果关系:尽管模拟可以揭示合理的机制和定性异议,但无法在现实市场动态中确立实证因果关系。
  3. 合成研究无法预测绝对需求:模拟的购买意向仅表示在特定提示假设下的方向性兴趣。它不能反映宏观经济变化、预算限制、支付流程摩擦或现实世界的采用曲线。
  4. 合成研究无法确定精确的支付意愿:AI 画像不会花费真实货币。通过合成方式开展的定价测试只能提供价格档位或包装偏好的方向性排序,无法确定实现收入最大化的精确价格点。
  5. 合成研究不能在高风险决策中取代招募人类的验证:重大的商业投资、临床工作流、监管申报和大型资本配置必须通过经过验证的真实人类参与者进行直接核验。

如需详细了解 AI 模拟与传统人类样本库之间的准确率权衡与结构性差异,请阅读合成与真实受访者:准确率解析。

战略应用场景:何时部署合成研究与招募研究

选择合适的研究方法取决于决策风险、所需置信度以及产品生命周期阶段。合成研究能够加速早期发现与假设测试,而招募人类研究则提供实证依据与真实体验验证。

合成研究应用场景

当速度、迭代能力和广泛探索优先于人口层面的统计推断时,合成研究具备极高价值:

  1. 假设生成:在起草一手研究简报之前,探索潜在的用户痛点、异议和购买标准。
  2. 刺激物与信息筛选:方向性测试二十种标题变体、产品定位陈述或电子邮件概念,在实地调研前剔除劣质方案。
  3. 访谈提纲预测试:使用合成画像进行试访,以发现遗漏的追问、模糊的问题或带有偏见的措辞。
  4. 相对偏好排序:使用 MaxDiff 工作流评估不同目标细分群体对功能概念或信息支柱的相对优先级。
  5. 多画像群体探索:模拟多画像群体对话,观察不同职能角色(如安全、财务和工程)如何围绕采购标准展开辩论。

招募人类研究应用场景

在需要直接的人类观察和法律合规责任时,招募人类参与者不可替代:

  1. 最终的高风险验证:验证核心市场进入策略决策、重大产品转型或大规模品牌重塑。
  2. 行为观察:针对可交互软件原型、物理硬件交互或复杂用户上手引导流程开展可用性测试。
  3. 定价与弹性验证:通过真实市场测试、交易实验或经过验证的人类联合分析样本库确定精确的定价体系。
  4. 全新或小众的人类行为:研究新兴文化现象、未被记录的社区习惯或缺乏模型训练数据的特定工作流程。
  5. 监管、临床与合规文件:为监管机构、临床评估或公开法律诉讼提供实证支持。

序贯混合研究模型

最高效的研究团队会将两种方法整合为序贯混合工作流。在该模型中,合成研究在早期阶段充当大范围过滤器,而招募人类研究则充当精准核验步骤。

产品团队可以先生成五十个功能概念,利用合成画像样本库筛选出排名前八的候选方案,运行注册的 MaxDiff 工作流了解方向性的相对优先级,然后使用招募的人类样本库测试最终的三个概念。这种顺序既降低了实地招募成本、缩短了研究周期,又确保真实参与者仅对提炼后的高潜力刺激物进行评估。

数据治理、隐私与监管考量

使用合成研究并不能免除数据保护责任。企业必须建立清晰的数据治理规范,涵盖上传的参考文件、提示词设计和数据处理架构。

合成研究在默认情况下并非自动符合 GDPR 规范。虽然在执行过程中使用合成受访者消除了直接向人类调查对象收集个人数据的环节,但合规风险依然存在于源材料的管理方式中。如果团队上传未经脱敏的客户访谈记录、原始 CRM 数据或可识别身份的员工反馈来构建画像,则属于个人数据处理行为。

企业必须与内部隐私合规人员确认以下治理标准:

  1. 数据最小化与脱敏:确保所有客户数据、研究笔记和记录在上传前均已去除直接和间接标识符。
  2. 处理的合法依据:界定将参考研究用于模型条件约束的法律与合同依据。
  3. 供应商数据处理条款:确认平台供应商、子处理方和底层模型提供商不会使用企业上传的专有研究数据来训练公共基础模型。

有关监管考量的全面评估,请查看关于合成受访者是否符合 GDPR 规范的合规指南。

选择合成研究平台:决策清单

在选择合成研究工具时,团队应评估其架构严谨性、方法论基础和治理能力,而非未经证实的宣传数据。若要了解更广泛的行业工具选择,请参阅我们对 2026 年最佳合成研究工具和最佳 AI 目标受众模拟工具的评测。

在评估适合贵组织的平台时,可参考以下决策清单:

1. 画像与受众构建

平台是否允许团队创建具有透明背景参数的持久画像?研究人员能否检查用于构建每个画像的源材料和假设?模拟受访者能否被组织成代表不同角色或人口特征的结构化队列?

2. 方法论严谨性与工作流

除基础文本生成外,平台是否提供标准化的研究工作流?是否原生支持用于评估相对优先级的 MaxDiff 和用于配置权衡测试的联合分析等注册方法工作流?系统能否在一对一和多画像群体对话中保持稳定的画像状态?

3. 可追溯性与导出能力

研究人员是否能够在查看汇总结论的同时检查单个响应记录?平台是否支持导出结构化数据表、对话记录和提示词日志以便于审计?画像之间的分歧与异议是否清晰可见,而非被人工合成的一致性所掩盖?

4. 数据治理与企业安全

平台是否有明确的政策禁止将客户数据摄入共享公共模型?是否提供基于角色的工作区权限、审计日志和数据保留设置?

合成研究的透明验证协议

为确保合成研究带来可靠的方向性价值,团队应遵循透明的五步验证协议来执行研究:

步骤 1:定义目标边界与决策阈值

详细记录确切的目标受众、研究目标和决策阈值。明确界定该研究属于探索性还是方向性,并确定最终落地执行前需要进行何种程度的后续人类研究。

步骤 2:配置持久画像并检查上下文

利用明确的行业背景、角色属性和行为假设构建画像。检查已配置的参数,确保画像定义反映出真实的行业挑战,且未在画像指令中植入诱导性回答。

步骤 3:运行受控的注册工作流与样本库任务

在持久画像上部署结构化的研究工具。使用一对一访谈进行定性探索,使用多画像群体对话了解利益相关者群体动态,并使用 MaxDiff 或联合分析等注册工作流进行结构化权衡评估。确保刺激物以中立方式呈现,以防止提示词偏差。

步骤 4:分析分布方差与离群值

检查单个画像的输出以验证响应方差。识别细分群体中反复出现的主题、强烈异议和冲突观点。如果模拟受访者在复杂问题上表现出完全一致,应将这种缺乏方差的现象视为提示词校准问题,而非真实的市场共识。

步骤 5:基准测试并升级至实地验证

将合成的方向性模式与历史基准、已发布的行业数据或以往的人类研究进行对比。如果该研究用于支持重大资本、产品或市场进入决策,请筛选出核心合成结论,并直接通过招募真实人类参与者进行验证。

通过维持严格的验证协议并将输出视为方向性探索,洞察与产品团队可以安全地利用合成研究来加速发现、完善概念,并使实地调研投资的效益最大化。

准备好部署结构化模拟的团队可以注册 Minds,配置持久画像、探索多画像群体并执行已注册的方法工作流。

常见问题

什么是合成研究?

合成研究是指利用 AI 生成的受访者、画像或样本库,模拟受众对概念、信息传递及调查问题的反馈。它提供快速、方向性的探索与研究预测试,而非具备统计代表性的人口总体测量。

与传统研究相比,合成研究的准确率如何?

合成研究并没有单一的准确率指标。同行评审研究发现,ChatGPT 画像的平均得分与美国全国选举研究高度吻合,但变异程度低于真实受访者,且回归系数通常存在差异。不同厂商根据自身指标公布数据,例如 Aaru 在 186 项研究的回答份额中报告了 0.970 的 Pearson 相关系数,Electric Twin 在其分布测量中报告了 92%。建议对照真实数据对每个受众进行基准测试,并在关键决策前通过招募真实人类的研究进行验证。

合成研究的主要局限性是什么?

合成回答的变异性低于真实回答,对提示词措辞与模型版本敏感,在模型未见过的全新或小众行为上表现较弱,且不属于概率抽样。它无法证明因果关系、预测绝对需求或确定精确价格,也不能取代招募真实受访者来进行最终的高风险决策验证。

是否有公开发布的合成研究案例?

有的。Aaru 发布了一项针对安永全球财富研究的盲测复现,在 53 个问题中,模拟结果与原始数据的中位数 Spearman 相关系数达到 0.90。哈佛商学院的研究人员发现,GPT-3.5 估算出的支付意愿幅度合理,且与针对人类消费者的研究结果相匹配。这两项均为特定案例的结果,并非通用保证。

合成研究符合 GDPR 规范吗?

并非自动合规。虽然避免招募参与者可以减少部分个人数据的收集,但合规性仍取决于原始材料、提示词、上传文件、输出内容、供应商资质、数据保留期、安全措施、法律依据以及其他数据处理细节。请针对具体使用场景获取专业的隐私或法律合规审查。

合成研究与合成数据有什么区别?

合成数据是人工生成数据的一个宽泛术语。合成研究则是一种完整的研究工作流,其中模拟受访者或画像会回答问题、评估刺激物或参与研究练习。生成的响应是合成数据的一种形式,但该方法还涵盖受众设计、研究执行、分析与验证等环节。

什么时候应该使用合成研究而不是招募真实人类?

适用于快速探索、早期概念或信息筛选、研究工具开发以及假设对比。对于代表性估算、最终的高风险决策、监管证据、未见行为以及需要统计推断的论断,应招募真实人类或观察实际行为。先合成后实测的混合序列设计往往是最有效的方式。