Minds Mosaic 发布：引领受众模拟的前沿

Minds Mosaic 是我们的前沿受众模拟模型。给定一个明确的人群和一道调查问题，它会在调查运行之前预测该人群的完整回答分布，涵盖每个选项。

这样的预测只有经得起真实结果检验才有价值。因此，我们公开衡量 Mosaic 的表现。每一份预测在发布方公布结果之前就已锁定并加盖时间戳，每一项得分（包括失误）都进入公开账本。我们已将 Mosaic 提交至一个独立竞技场，该竞技场对提前封存的预测进行评分；我们也在竞争对手自己的公开基准上与其正面交锋。

如今每家合成受访者厂商都会发布一个准确率数字，但这些数字来自不同的数据、不同的指标和不同的条件。本文先列出各厂商的总体数字，再将已发布结果按采购方实际使用的场景分类，仅在相同数据下进行正面对比。

简要结论

• 我们将受众模拟划分为 15 个使用场景类别，从政治民调到广告测试和开放式访谈，仅在同一类别且相同数据下进行正面对比。
• 在政治与公众舆论民调中，Minds Mosaic 在结果发布前锁定的预测，在来自 7 项调查的 24 道题上，分布误差（TVD）为 0.023。在经济景气调查中，来自 6 项调查的 53 道题上的分布误差为 0.039。
• 在 Artificial Societies 自有公开基准上，Mosaic 在两个社会态度数据源、三个人格数据源中的两个以及人口子群体上误差更低（0.053 对 0.063）。按其惯例计算，两者总体持平：0.083 对 0.082。
• 本文涉及的所有厂商中，没有任何一家发布过在调查运行前锁定、事后评分的持续预测记录。我们的记录公开于 forecasts.getminds.ai：普通 Markdown 和 JSON 文件、时间戳证明以及一个可验证的脚本。

各类别总体准确率

Minds Mosaic 和另外两家厂商发布了汇总所有测试类别的总体分布误差（TVD）。数值越低越好；下一节将解释该指标。

下表列出每项数字背后的数据和来源，以及每个选项的平均误差（MAE）和厂商发布的汇总相关系数。

四家公司以自有量表发布核心数字，无法换算为 TVD 或 MAE：

• Simile： 智能体复现受访者个人调查回答的一致性，约为受访者两周后自我重测一致性的 85%（最新版预印本按数据源为 82% 至 86%）。
• Evidenza： "88% 准确率"，定义为超过 100 次验证中合成研究与传统研究的平均匹配度。
• Synthetic Users： "合成有机一致性"（Synthetic Organic Parity）为 85% 至 92%，是对访谈内容的加权评分体系。
• Electric Twin： 除上述 96% 外，在其自有完整分布评分（NDAM）上为 92%。

如何解读这些数字

最常出现的两个指标并不可以互换。

总变差距离（TVD） 取值范围为 0 到 1，表示回答分布中处于错误位置的比例。TVD 为 0.05 意味着需要移动 5 个百分点的分布才能与真实结果吻合。

平均绝对误差（MAE） 是每个选项的平均误差，以百分点计。对于同一预测，MAE 通常远小于以百分点表示的 TVD，因为 TVD 将各选项的误差加总，而 MAE 取平均值。3.5 个百分点的 MAE 和 7.6 个百分点的 TVD 可以描述同一个结果。

相关系数也需要说明口径。跨所有题目所有选项汇总的相关系数，对几乎任何合理方法都会很高，因为某些选项总是占比大，另一些总是占比小。在每道题内部计算的相关系数则严格得多。下文引用汇总相关系数时，我们会明确说明，对我们自己的数字和他人的数字均如此。

受众模拟的十五个类别

采购方使用受众模拟的目的差异很大，一个能准确预测投票意向的系统，并不能证明它同样能预测人们对视频广告的反应。我们按预测对象和真实依据将工作划分为 15 个类别。

下面两张表显示截至 2026 年 11 月 1 日，各厂商在每个类别中是否发布了已评分结果。"是"表示该类别中至少存在一项公开的已评分结果；下方各节将说明每项结果背后的数据。Art. Soc. 为 Artificial Societies，E. Twin 为 Electric Twin，Syn. Users 为 Synthetic Users。

各准确率声明的产生方式

类别告诉你测量了什么，条件告诉你这个数字有多可信。

基于各公司截至 2026 年 11 月 1 日的公开材料。空白单元格表示已发布的声明未体现该项。

回溯测试是在已发布或由厂商持有的调查上运行系统。它对开发有用，本领域每个团队（包括我们）都会使用。其局限性众所周知：模型可能已见过结果，选择哪些题目纳入评分时答案已知，且厂商自己给自己打分。

预先登记的预测消除了这些问题。预测在结果存在之前就已固定，因此无法针对结果进行调整，且评分所依据的数字是预测者事先无法看到的。在调查开始前锁定更为严格，因为调查的任何信息都不可能泄露。这是选举和经济预测所采用的标准，也是受众模拟应当达到的标准。

上述厂商中，没有任何一家发布过在调查运行前锁定、事后评分的持续预测记录。Aaru 在投票前一天发布了对 2024 年美国总统大选的预测。Electric Twin 资助了一项由其首席科学顾问在 LSE 主导的预先登记学术研究，将合成回答与七种人工抽样服务进行对比。Simile 的合作伙伴白皮书描述了在调查开始前预判新结果的内部测试，但未发布预测本身。我们的账本发布每一份预测和每一项得分。

Minds Mosaic 预测账本的运作方式

对于每项目标调查，我们在锁定前写下确切的题目措辞、选项和目标人群。Minds Mosaic 随后预测每道题的完整回答分布。每份预测经过哈希处理，加入只可追加的账本，通过 OpenTimestamps 批量写入比特币区块链并加盖时间戳。当发布方公布结果时，我们对每份已锁定预测与官方发布结果进行评分，包括失误以及最终无法评分的预测。每项调查都标注证据等级：在调查开始前锁定，或在调查结束后但任何结果公开前锁定。

账本刻意保持简洁。在 forecasts.getminds.ai，任何人都可以以普通文件形式下载：一个包含当前评分卡的 Markdown README、每份已锁定预测对应的一个 JSON 文件、OpenTimestamps 证明，以及一个验证所有哈希和时间戳的脚本。JSON 文件同时作为机器可读的数据源，任何人无需联系我们即可验证或重新评分。

目前已有 13 项调查公布结果，涵盖奥地利、法国、德国、日本、西班牙、英国和美国共 77 道题，每份预测均持有在结果发布前生成的经验证比特币时间戳。这些调查整体的分布误差为 0.034，其中在调查开始前锁定的 4 项调查为 0.023。

在全部 77 道题中，每个选项的平均误差为 1.37 个百分点，预测与实际回答份额之间的汇总相关系数为 0.993。Minds Mosaic 在锁定前使用所有可获取的公开信息进行预测，包括同一调查此前已发布的波次结果。发布方的已发布数值归属于各发布方：账本仅发布我们的预测和得分。下方各类别将这些结果按使用场景拆分。

政治与公众舆论

已评分调查中有 7 项是美国和英国的政治与公众舆论民调：The Economist/YouGov、YouGov 英国追踪调查、Emerson、NPR/PBS News/Marist、Reuters/Ipsos、Find Out Now 和 Opinium。在其 24 道题中，Mosaic 锁定预测的 TVD 为 0.023，每个选项的平均误差为 1.10 个百分点。在调查开始前锁定的 4 项调查均属于本类别，共 19 道题，TVD 为 0.023。

我们还已将 Minds Mosaic 提交至 Social Simulation Arena，这是一个对提前封存预测进行评分的独立学术排行榜，我们提交了针对 2026 年美国中期选举轮次的预测。

本类别中其他已发布结果基于不同数据，因此我们列出而非制图对比。Aaru 在其 2026 年复现研究中，对 573 道政治、政策和公共事务题目，在抽样调整后报告每个选项平均误差为 2.21 个百分点，并发布了对 2024 年美国总统大选的一份预测。我们自己对 ANES 2024 和 CES 2024 选举调查的回溯研究，在个体受访者层面报告的平均分布误差分别为 8.33 和 4.72 个百分点。

经济景气

已评分调查中有 6 项衡量消费者景气：欧盟委员会针对奥地利、法国、德国和西班牙的统一消费者调查、日本 ESRI 消费者信心调查以及世界大型企业联合会美国指数。在其 53 道题中，Mosaic 的 TVD 为 0.039，每个选项的平均误差为 1.50 个百分点。

密歇根大学调查、纽约联储消费者预期调查以及消费者调查 11 月波次的锁定预测尚待评分。本文涉及的其他厂商均未在本类别发布已评分结果。

社会态度与价值观

Artificial Societies 发布了一个公开基准，包含七个调查数据源和评分规则，详见其论文 arXiv 2609.30030。我们在一个在任何模型调用前已哈希的协议下运行 Minds Mosaic，在评分前封存原始输出，并使用其数据和评分代码。其中两个数据源来自 2024 年综合社会调查（General Social Survey）。

Mosaic 数字为三次运行的均值；Artificial Societies 数字为已发布值。Mosaic 每次请求接收一道题，以综合社会调查此前公开波次作为标注上下文。Mosaic 预测整体样本的分布，而其已发布数字来自对每位受访者的模拟。

本类别中另外两项结果使用各自的数据。Simile 的1,052 名受访美国人智能体复现个人综合社会调查回答的一致性，约为受访者两周后自我重测一致性的 85%。我们的 GSS 2024 研究在 17 道题、360 名匹配受访者上报告平均分布误差为 7.53 个百分点。

人格与心理测量

Artificial Societies 基准中有三个数据源衡量人格而非态度。这不属于 15 个类别之一，因此单独报告。

Mosaic 三次运行均值在人格面向和双胞胎重测上误差更低，在特质上与对方持平。

问卷措辞与设计效应

同一基准中有两个数据源是分组对照措辞实验：同一问题以两种版本提问，以衡量回答的偏移幅度。

Mosaic 在 Jordan 实验上与对方持平，Artificial Societies 在 Albertson 上误差更低。Mosaic 能预测两个偏移的方向，但高估了偏移幅度。措辞效应与预测分布是不同的任务，这也是我们将其单独列为一个类别的原因。

子群体与细分

子群体是合成研究最常被使用、也最常失败的地方。在 Artificial Societies 基准中，综合社会调查机构信任题目的 145 个人口子群体单元格上，Mosaic 的 TVD 为 0.053，对方为 0.063。

我们的账本也对子群体进行评分。The Economist/YouGov 和 YouGov 英国交叉表提供了 69 个已锁定子群体单元格，例如按年龄组、党派或 2024 年投票情况划分的回答，Mosaic 的 TVD 为 0.046。

广告、视频与创意

目前没有两家厂商在相同创意数据上发布过结果，因此本类别尚无正面对比。Electric Twin 在其自有基准上报告，预测与实际 Likert 均值之间的相关系数图像为 0.909，视频为 0.861。在我们的超级碗研究中，100 名有依据的模拟受访者对 USA TODAY Ad Meter 2026 的全部 54 支广告进行评分，排名与真实评审团高度吻合，Spearman 相关系数为 0.85。

概念、定价与品牌

本类别已发布结果同样各自基于厂商自有数据。

开放式回答与行为

Synthetic Users 以其称为"合成有机一致性"的加权评分体系对访谈内容评分，结果为 85% 至 92%。我们的留存访谈研究测试了有依据的模拟受访者是否能反映 22 名真实参与者在 66 个访谈回答中的表述，发现相比通用提示，参与者证据带来了明显提升。

在行为与陈述意向方面，Aaru 将其品牌排名与信用卡消费数据进行对比，在同一复现研究中报告 92.4% 的品牌对一致性，而已发布调查考虑度数据的一致性为 77.8%。

Artificial Societies 基准总体结果

在全部七个数据源上，Mosaic 与 Artificial Societies 总体持平。按 Artificial Societies 的惯例，以每个数据源等权重计算首次运行结果，Mosaic 得分为 0.083，对方为 0.082；三次运行均值下，Mosaic 得分为 0.085。Mosaic 在七个数据源中的五个上误差更低。去除两个措辞实验后，三次运行均值下 Mosaic 领先：0.084 对 0.091。

公平基准应有的样子

过去两个月的实验、该领域已发布的数字以及我们在公开竞技场中的参赛经历，都指向同样的四条规则。

1. 在调查开始前锁定。 在第一次访谈前固定的预测无法针对答案进行调整。仅在发布前锁定较弱，因为调查结束后结果有时会泄露。记录实际调查日期和每项结果的证据等级。
2. 发布噪声下限。 即使是完美的预测者也存在抽样误差：对于约 1,200 人样本的三选项题，TVD 约为 0.024。小于该值的差异在没有区间的情况下没有意义。
3. 按使用场景类别和刺激材料报告。 民调、消费者景气、广告、概念和网站是不同的任务，文字题、图像、视频、音频和交互流程是不同的刺激材料。跨类别汇总的总体数字对任何单一类别几乎没有说明价值。
4. 按回答类型拆分。 单选、李克特量表和顺序量表、多选、数字回答、排名以及强制选择设计（如 MaxDiff）和开放式文本，各自需要对应的指标。多选选项应作为独立的是/否份额评分，顺序量表应使用考虑顺序的评分方式，开放式回答应使用主题份额或嵌入距离而非单一评判。

我们还补充两条实操规则：报告每次运行结果及各次运行间的差异，并说明引用的是汇总相关系数还是题内相关系数。

值得关注的其他公开基准

目前尚无单一基准能覆盖整个领域。以下是我们持续关注的公开基准，按其产生的证据类型分组。

只有第一个对结果存在前就已做出的预测进行评分。其他基准对方法开发很有价值，且大多公开，任何团队都可以重新运行。但其题目也是公开的，这意味着模型在训练期间可能已见过这些内容。这正是前瞻性结果权重最高的原因。

下一步计划

目前仍有几个类别没有任何厂商发布已评分结果：信息与文案、网站与应用行为，以及媒体与娱乐需求。其他类别也仅有单项研究支撑。这些都是开放领域，预先登记账本是我们填补它们的方式：锁定预测，等待真实结果，发布得分。

Minds Mosaic 已以 minds-mosaic 的名称提交至 Social Simulation Arena，提交了针对 2026 年美国中期选举轮次以及从 11 月起每周解析的调查轮次的提前封存预测。我们将持续向预测账本添加调查，在每项结果解析后发布得分，并按类别结合噪声下限进行报告。我们也正在用 2026 年的新研究运行 Aaru 的已发布协议。

Minds Mosaic 是我们的前沿受众模拟模型：给定一个人群和一道问题，它在真实结果存在之前预测完整的回答分布。已发布调查是第一项测试。接下来，Mosaic 将在行为预测上接受检验：预测购买和收视行为，并与人们实际的购买和观看数据进行对比。它还将在上述开放类别以及未来数月内在竞技场轮次中接受检验，每项预测均在结果出现前锁定，并公开评分。

如果您为受众模拟模型发布准确率数字，我们欢迎在上述任何类别中开展共同的前瞻锁定测试。这是让这一领域赢得研究采购方信任的最快途径。