验证智能体调研输出：AI 面板的评测框架

每一场关于智能体调研的对话最后都会落到同一个问题：我们怎么知道输出是真的？这是该问的问题。坏调研产生坏决策，未经检查的合成调研有可能批量产生坏决策，因为每次调研的成本太低，没人停下来验证。

本文给出一个实用的智能体调研输出评测框架。这是 Minds 内部使用的框架，经过 18 个月与真在生产里跑它的调研团队的反馈打磨过。它假设你正通过一个智能体跑合成面板，并且在采取行动前想知道是否该信任结果。

"准确"在这里到底意味着什么

第一步是把准确度精确地定义出来。"合成面板准确度 87%"在你说清楚是相对于什么之前是没有意义的。

可能被衡量的事情有三种：

陈述偏好的保真度。 合成面板对同一个问题的回答，与一个匹配的真实人类招募面板对同一个问题的回答是否一致？这是被引用最多的基准，也是最容易测量的。它捕捉态度、观点、声明的偏好。

行为预测。 合成面板是否能正确预测匹配的人类实际会做什么（点击、购买、流失）？这难得多，量得也少，是合成调研结构性最弱的地方。

决策质量结果。 使用合成调研是否会带来比替代方案（不调研、真实招募调研、凭直觉）更好的业务决策？这才是真正重要的，也极少被测量，因为需要对所做决策的纵向数据。

多数公开的"合成准确度"数字测的是第一项。第二项和第三项才是更难的验证工作所在。

五层评测框架

对于在生产中运行的智能体调研工作流，按从便宜且高频到昂贵且低频的顺序，在五层上做验证。

第 1 层：合理性检查（每次调用，自动化）

在每一次面板回应上跑，在智能体循环里跑，零额外成本。

内部一致性。 同一细分内的人物角色之间是否给出了相互矛盾的回答？一些方差是真的；巨大方差是 brief 写得不好的信号。
答非所问检查。 回答是否真的回答了所问的问题？基于 LLM 的相关性打分能抓到跑题。
人物角色的保真度。 回答是否使用了被建模的人物角色会用的语言和推理？再用一次 LLM 调用对照人物角色描述打分。

这一层的成本是几美分。每次都跑。这里的失败意味着 brief 不好，不一定是面板不好。

第 2 层：跨人物角色的三角对比（每项研究）

在一次面板运行内部，看看人物角色之间的同意与不同意模式。

细分内同意。 同一细分内的人物角色应当在回答上聚拢。一个紧的细分内出现大幅分歧，要么是细分定义糟糕，要么是问题有歧义。
跨细分差异化。 在预期会有分歧的问题上，不同细分应当出现分化。如果设计上应该意见相左的细分却全部趋同，说明面板在塌平。
离群值检视。 回答最极端的两三个人物角色，通常要么是最有用的，要么是最坏掉的。手动读它们。

每项研究花研究员几分钟的注意力。能抓住通过第 1 层的多数失败模式。

第 3 层：基于历史数据的基准（每月）

维护一套基准题库，这些题你已经知道真实招募面板的回答。每月在合成平台上重跑这套基准。

一个合理的起步基准：

跨你真正研究的几个品类的 5 到 10 道题
每道题，附带真实招募面板的回答，含样本量和日期
同一道题在合成上跑一次，对应一个匹配真实招募筛选条件的面板

随时间追踪差值。漂移是正常的；突然漂移是平台背后的模型变了、你的校准被错位了的信号。多数平台发"模型更新"时不附带任何变更管理通告。

这一层的成本大致是每六个月做一次真实招募研究来更新基准，加上几分钟的合成重跑来保持新鲜。

第 4 层：与决策配对的验证（每个重大决策）

当一项合成研究要驱动一个真实决策（一次发布、一次定价动作、一次活动），就用一项小型真实招募验证去配对它。这次真实招募研究的规模可以是常规研究的一小部分，因为合成已经把问题收紧了。

这是价值最高的一层，因为这是钱真正流动的地方。每个季度在前五个决策上做合成加真实招募的配对验证的团队，对平台可靠性的认识，比看任何数量的通用基准都更深。

第 5 层：结果回溯（每年）

每年一次，回顾过去十二个月里做出的重大决策，给合成调研对结果的预测打分。

这是唯一直接测量决策质量的一层，也是多数团队跳过的一层，因为它要求让研究员对一年前跑的研究负责。把回溯当作你这套工作流的最终准确度衡量。其他一切都是相关；这一层是因果。

值得警惕的失败模式

跟调研团队跑这套框架 18 个月后，反复出现的失败模式：

人物角色过拟合。 合成面板在描述这个人物角色，而不是以这个人物角色的身份回答。症状：回答读起来像咨询公司的幻灯片（"作为一家中端 SaaS 公司的营销经理，我最关心的是……"），而不是对话式回答。修复：更紧的人物角色 brief，提示模板里少用角色扮演框架。

同意坍塌。 每个细分里每个人物角色给出相似回答。通常是模型更新留下的伪影。用第 2 层的跨细分差异化检查抓它。

近期盲点。 模型训练数据没覆盖到的市场变化，合成回答会落后。症状：面板对最近三个月内发布的产品或趋势毫无概念。靠在 brief 里注入近期上下文来补偿。

谄媚（sycophancy）。 面板顺着问题暗示的任何框架同意。症状：诱导性问题得到诱导性回答。靠用反向框架重跑同一项研究，并查找不对称回答来抓它。

合成数据的反馈回路。 平台部分基于自身早期版本的输出做训练，世代更迭中漂离真实人类的真值。这是一个长视野的风险。只有靠第 3 层与新鲜真实招募数据的基准对比才能抓到。

你应该向你的平台提的要求

评估一个智能体调研平台时，问三个具体问题：

你们公开的准确度基准是什么？你们基准里的"准确"是什么意思？ 如果回答只是一个不带定义的数字，把这个数字当成营销看。
你们怎么处理改变回答模式的模型更新？ 平台应该有比"我们什么都不改"更深一层的回答。
你们是否提供一个客户自己可以重跑的基准套件？ 这是平台对自己数字最有力的信心信号。

Minds 公开了 80% 到 95% 这个相对历史真实招募调研数据的准确度区间，已经在我们内部基准的 200+ 项研究上验证过。我们的平台通过 MCP 服务器暴露一个可重跑的基准，因此任何智能体都可以按需对当前模型版本做基准核验。

这件事在智能体世界里为何更重要

在前智能体模型下，调研是一项以人节奏推进的活动。一项坏调研要花数周才能产出，成本是看得见的，输出感觉不对的话团队会注意到。

在智能体模型下，调研变成一个后台进程。每个团队每周数百次面板调用。从前抓住坏输出的摩擦（人花在审阅上的时间）消失了。没有一个明确的评测框架，坏输出会无形地累积。

2026 年把智能体调研做对的团队，默认至少在跑第 1、2、3 层，对每一个有意义的决策跑第 4 层，每年跑一次第 5 层。做错的团队直接跳到"智能体跑了一个面板，这是建议"，事后才发现建议是带着自信错的。

信任问题不是"要不要问"。是"以什么频率、以什么深度问"。上面这套框架是一个回答。

要看合成面板到底是什么，参见我们的对比文章合成面板 vs 真实招募面板。要看运营层的搭建，参见如何在 Claude、ChatGPT 或 Cursor 中运行客户调研面板。要看更宽的品类背景，参见智能体市场调研：定义。