---
title: "Minds Mosaic 发布：引领受众模拟的前沿"
description: "Minds Mosaic 是我们的前沿受众模拟模型，在调查运行前预测人群如何回答问题。本文按类别逐一对比已发布结果。"
canonical_url: "https://getminds.ai/research/zh/introducing-minds-mosaic"
last_updated: "2026-11-15T00:49:55.320Z"
---

# Minds Mosaic 发布：引领受众模拟的前沿

Minds Mosaic 是我们的前沿受众模拟模型。给定一个明确的人群和一道调查问题，它会在调查运行之前预测该人群的完整回答分布，涵盖每个选项。

这样的预测只有经得起真实结果检验才有价值。因此，我们公开衡量 Mosaic 的表现。每一份预测在发布方公布结果之前就已锁定并加盖时间戳，每一项得分（包括失误）都进入公开账本。我们已将 Mosaic 提交至一个独立竞技场，该竞技场对提前封存的预测进行评分；我们也在竞争对手自己的公开基准上与其正面交锋。

如今每家合成受访者厂商都会发布一个准确率数字，但这些数字来自不同的数据、不同的指标和不同的条件。本文先列出各厂商的总体数字，再将已发布结果按采购方实际使用的场景分类，仅在相同数据下进行正面对比。

## 简要结论

- 我们将受众模拟划分为 15 个使用场景类别，从政治民调到广告测试和开放式访谈，仅在同一类别且相同数据下进行正面对比。
- 在政治与公众舆论民调中，Minds Mosaic 在结果发布前锁定的预测，在来自 7 项调查的 24 道题上，分布误差（TVD）为 0.023。在经济景气调查中，来自 6 项调查的 53 道题上的分布误差为 0.039。
- 在 Artificial Societies 自有公开基准上，Mosaic 在两个社会态度数据源、三个人格数据源中的两个以及人口子群体上误差更低（0.053 对 0.063）。按其惯例计算，两者总体持平：0.083 对 0.082。
- 本文涉及的所有厂商中，没有任何一家发布过在调查运行前锁定、事后评分的持续预测记录。我们的记录公开于 [forecasts.getminds.ai](https://forecasts.getminds.ai)：普通 Markdown 和 JSON 文件、时间戳证明以及一个可验证的脚本。

## 各类别总体准确率

Minds Mosaic 和另外两家厂商发布了汇总所有测试类别的总体分布误差（TVD）。数值越低越好；下一节将解释该指标。

<research-figure :labels="["Minds Mosaic","Aaru","Artificial Societies"]" figure="introducing-minds-mosaic--overall" note="数值越低越好。分布误差（TVD）。每个数字均为该厂商在其自有数据上的已发布评估结果：Minds Mosaic 为提前锁定的 13 项调查共 77 道题（在任何结果公开之前锁定；其中在调查开始前锁定的 4 项调查得分为 0.023）。Minds Mosaic 在锁定前使用所有可获取的公开信息进行预测，包括同一调查此前已发布的波次结果。Aaru（186 项研究，抽样调整前）和 Artificial Societies（七项研究；在下文对比的七个数据源上为 0.082）均为对已发布研究的复现。相同数据下的对比见下方各类别章节。" title="各厂商总体准确率（所有类别）" unitLabel="TVD">



</research-figure>

下表列出每项数字背后的数据和来源，以及每个选项的平均误差（MAE）和厂商发布的汇总相关系数。

<table>
<thead>
  <tr>
    <th>
      厂商
    </th>
    
    <th>
      TVD
    </th>
    
    <th>
      MAE（百分点）
    </th>
    
    <th>
      Pearson r（汇总）
    </th>
    
    <th>
      数据与来源
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      Minds Mosaic
    </td>
    
    <td>
      0.034
    </td>
    
    <td>
      1.37
    </td>
    
    <td>
      0.993
    </td>
    
    <td>
      13 项调查共 77 道题，提前锁定，在任何结果公开之前（<a href="https://forecasts.getminds.ai" rel="nofollow">
        预测账本
      </a>
      
      ）。Minds Mosaic 在锁定前使用所有可获取的公开信息进行预测，包括同一调查此前已发布的波次结果。
    </td>
  </tr>
  
  <tr>
    <td>
      Aaru
    </td>
    
    <td>
      0.076
    </td>
    
    <td>
      3.53
    </td>
    
    <td>
      0.970
    </td>
    
    <td>
      186 项已发布研究共 2,993 道题，抽样调整前（<a href="https://aaru.com/publications/population-simulation-at-the-replication-floor-research" rel="nofollow">
        研究报告
      </a>
      
      ，<a href="https://aaru.com/publications/population-simulation-at-the-replication-floor-summary" rel="nofollow">
        摘要
      </a>
      
      ）
    </td>
  </tr>
  
  <tr>
    <td>
      Artificial Societies
    </td>
    
    <td>
      0.080
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      七项公开研究，即下文描述的基准（<a href="https://arxiv.org/abs/2609.30030v2" rel="nofollow">
        论文
      </a>
      
      ）
    </td>
  </tr>
  
  <tr>
    <td>
      Electric Twin
    </td>
    
    <td>
      
    </td>
    
    <td>
      4.00
    </td>
    
    <td>
      
    </td>
    
    <td>
      280 个数据集；以 96% 发布，定义为 1 减去 MAE（<a href="https://www.electrictwin.com/accuracy" rel="nofollow">
        准确率
      </a>
      
      ）
    </td>
  </tr>
</tbody>
</table>

四家公司以自有量表发布核心数字，无法换算为 TVD 或 MAE：

- *Simile：* 智能体复现受访者个人调查回答的一致性，约为受访者两周后自我重测一致性的 85%（最新版预印本按数据源为 82% 至 86%）。
- *Evidenza：* "88% 准确率"，定义为超过 100 次验证中合成研究与传统研究的平均匹配度。
- *Synthetic Users：* "合成有机一致性"（Synthetic Organic Parity）为 85% 至 92%，是对访谈内容的加权评分体系。
- *Electric Twin：* 除上述 96% 外，在其自有完整分布评分（NDAM）上为 92%。

## 如何解读这些数字

最常出现的两个指标并不可以互换。

*总变差距离（TVD）* 取值范围为 0 到 1，表示回答分布中处于错误位置的比例。TVD 为 0.05 意味着需要移动 5 个百分点的分布才能与真实结果吻合。

*平均绝对误差（MAE）* 是每个选项的平均误差，以百分点计。对于同一预测，MAE 通常远小于以百分点表示的 TVD，因为 TVD 将各选项的误差加总，而 MAE 取平均值。3.5 个百分点的 MAE 和 7.6 个百分点的 TVD 可以描述同一个结果。

相关系数也需要说明口径。跨所有题目所有选项汇总的相关系数，对几乎任何合理方法都会很高，因为某些选项总是占比大，另一些总是占比小。在每道题内部计算的相关系数则严格得多。下文引用汇总相关系数时，我们会明确说明，对我们自己的数字和他人的数字均如此。

## 受众模拟的十五个类别

采购方使用受众模拟的目的差异很大，一个能准确预测投票意向的系统，并不能证明它同样能预测人们对视频广告的反应。我们按预测对象和真实依据将工作划分为 15 个类别。

<table>
<thead>
  <tr>
    <th>
      类别
    </th>
    
    <th>
      预测对象
    </th>
    
    <th>
      真实依据
    </th>
    
    <th>
      主要指标
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      政治与公众舆论
    </td>
    
    <td>
      投票意向、支持率、议题
    </td>
    
    <td>
      已发布民调、选举结果
    </td>
    
    <td>
      份额 TVD、差距百分点
    </td>
  </tr>
  
  <tr>
    <td>
      经济景气
    </td>
    
    <td>
      消费者信心、通胀预期
    </td>
    
    <td>
      EC、密歇根、纽约联储、消费者追踪调查
    </td>
    
    <td>
      TVD
    </td>
  </tr>
  
  <tr>
    <td>
      社会态度与价值观
    </td>
    
    <td>
      信任、宗教、家庭、幸福感
    </td>
    
    <td>
      GSS、ESS、WVS
    </td>
    
    <td>
      TVD
    </td>
  </tr>
  
  <tr>
    <td>
      概念与产品测试
    </td>
    
    <td>
      吸引力、购买意向
    </td>
    
    <td>
      概念测试
    </td>
    
    <td>
      TVD、排名一致性
    </td>
  </tr>
  
  <tr>
    <td>
      视觉与创意测试
    </td>
    
    <td>
      对图像和设计的反应
    </td>
    
    <td>
      创意测试
    </td>
    
    <td>
      相关系数、排名一致性
    </td>
  </tr>
  
  <tr>
    <td>
      广告与视频
    </td>
    
    <td>
      广告喜好度与效果
    </td>
    
    <td>
      广告测试、广告排名
    </td>
    
    <td>
      排名一致性
    </td>
  </tr>
  
  <tr>
    <td>
      定价与支付意愿
    </td>
    
    <td>
      价格接受度、需求曲线
    </td>
    
    <td>
      定价研究、销售数据
    </td>
    
    <td>
      份额误差
    </td>
  </tr>
  
  <tr>
    <td>
      信息与文案
    </td>
    
    <td>
      哪条信息胜出
    </td>
    
    <td>
      信息测试
    </td>
    
    <td>
      排名一致性
    </td>
  </tr>
  
  <tr>
    <td>
      网站与应用行为
    </td>
    
    <td>
      点击、任务完成
    </td>
    
    <td>
      数据分析、可用性测试
    </td>
    
    <td>
      行为误差
    </td>
  </tr>
  
  <tr>
    <td>
      品牌与声誉
    </td>
    
    <td>
      知名度、认知度
    </td>
    
    <td>
      品牌追踪调查
    </td>
    
    <td>
      TVD
    </td>
  </tr>
  
  <tr>
    <td>
      媒体与娱乐需求
    </td>
    
    <td>
      收视、收听、到场
    </td>
    
    <td>
      收视率、票房
    </td>
    
    <td>
      需求误差
    </td>
  </tr>
  
  <tr>
    <td>
      问卷措辞与设计效应
    </td>
    
    <td>
      措辞变化引起的回答偏移
    </td>
    
    <td>
      分组对照实验
    </td>
    
    <td>
      效应误差
    </td>
  </tr>
  
  <tr>
    <td>
      子群体与细分
    </td>
    
    <td>
      按年龄、党派、地区的回答
    </td>
    
    <td>
      交叉表
    </td>
    
    <td>
      各单元格 TVD
    </td>
  </tr>
  
  <tr>
    <td>
      开放式与定性
    </td>
    
    <td>
      自由文本中的主题和原因
    </td>
    
    <td>
      访谈、开放式回答
    </td>
    
    <td>
      主题份额、评判保真度
    </td>
  </tr>
  
  <tr>
    <td>
      行为与陈述意向
    </td>
    
    <td>
      人们实际做了什么，而非说了什么
    </td>
    
    <td>
      购买与行为数据
    </td>
    
    <td>
      与行为的一致性
    </td>
  </tr>
</tbody>
</table>

下面两张表显示截至 2026 年 11 月 1 日，各厂商在每个类别中是否发布了已评分结果。"是"表示该类别中至少存在一项公开的已评分结果；下方各节将说明每项结果背后的数据。Art. Soc. 为 Artificial Societies，E. Twin 为 Electric Twin，Syn. Users 为 Synthetic Users。

<table>
<thead>
  <tr>
    <th>
      类别
    </th>
    
    <th>
      Minds
    </th>
    
    <th>
      Aaru
    </th>
    
    <th>
      Art. Soc.
    </th>
    
    <th>
      E. Twin
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      政治与公众舆论
    </td>
    
    <td>
      是
    </td>
    
    <td>
      是
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      经济景气
    </td>
    
    <td>
      是
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      社会态度与价值观
    </td>
    
    <td>
      是
    </td>
    
    <td>
      
    </td>
    
    <td>
      是
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      概念与产品测试
    </td>
    
    <td>
      
    </td>
    
    <td>
      是
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      视觉与创意测试
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      是
    </td>
  </tr>
  
  <tr>
    <td>
      广告与视频
    </td>
    
    <td>
      是
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      是
    </td>
  </tr>
  
  <tr>
    <td>
      定价与支付意愿
    </td>
    
    <td>
      
    </td>
    
    <td>
      是
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      信息与文案
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      网站与应用行为
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      品牌与声誉
    </td>
    
    <td>
      
    </td>
    
    <td>
      是
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      媒体与娱乐需求
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      问卷措辞与设计效应
    </td>
    
    <td>
      是
    </td>
    
    <td>
      
    </td>
    
    <td>
      是
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      子群体与细分
    </td>
    
    <td>
      是
    </td>
    
    <td>
      
    </td>
    
    <td>
      是
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      开放式与定性
    </td>
    
    <td>
      是
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      行为与陈述意向
    </td>
    
    <td>
      
    </td>
    
    <td>
      是
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
</tbody>
</table>

<table>
<thead>
  <tr>
    <th>
      类别
    </th>
    
    <th>
      Simile
    </th>
    
    <th>
      Evidenza
    </th>
    
    <th>
      Syn. Users
    </th>
    
    <th>
      Qualtrics
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      政治与公众舆论
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      经济景气
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      社会态度与价值观
    </td>
    
    <td>
      是
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      概念与产品测试
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      视觉与创意测试
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      广告与视频
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      定价与支付意愿
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      信息与文案
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      网站与应用行为
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      品牌与声誉
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      是
    </td>
  </tr>
  
  <tr>
    <td>
      媒体与娱乐需求
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      问卷措辞与设计效应
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      子群体与细分
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      开放式与定性
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      是
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      行为与陈述意向
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
</tbody>
</table>

## 各准确率声明的产生方式

类别告诉你测量了什么，条件告诉你这个数字有多可信。

<table>
<thead>
  <tr>
    <th>
      系统
    </th>
    
    <th>
      在结果发布前锁定
    </th>
    
    <th>
      时间戳证明
    </th>
    
    <th>
      在未见结果上评分
    </th>
    
    <th>
      方法已发布
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      Minds Mosaic
    </td>
    
    <td>
      是
    </td>
    
    <td>
      是
    </td>
    
    <td>
      是
    </td>
    
    <td>
      是
    </td>
  </tr>
  
  <tr>
    <td>
      Aaru
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      是
    </td>
  </tr>
  
  <tr>
    <td>
      Artificial Societies
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      是
    </td>
  </tr>
  
  <tr>
    <td>
      Electric Twin
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      是
    </td>
  </tr>
  
  <tr>
    <td>
      Simile
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      是
    </td>
  </tr>
  
  <tr>
    <td>
      Evidenza
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      Synthetic Users
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      是
    </td>
  </tr>
  
  <tr>
    <td>
      Qualtrics Edge Audiences
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      是
    </td>
  </tr>
</tbody>
</table>

基于各公司截至 2026 年 11 月 1 日的公开材料。空白单元格表示已发布的声明未体现该项。

回溯测试是在已发布或由厂商持有的调查上运行系统。它对开发有用，本领域每个团队（包括我们）都会使用。其局限性众所周知：模型可能已见过结果，选择哪些题目纳入评分时答案已知，且厂商自己给自己打分。

预先登记的预测消除了这些问题。预测在结果存在之前就已固定，因此无法针对结果进行调整，且评分所依据的数字是预测者事先无法看到的。在调查开始前锁定更为严格，因为调查的任何信息都不可能泄露。这是选举和经济预测所采用的标准，也是受众模拟应当达到的标准。

上述厂商中，没有任何一家发布过在调查运行前锁定、事后评分的持续预测记录。Aaru 在投票前一天[发布了对 2024 年美国总统大选的预测](https://www.semafor.com/article/11/04/2024/an-ai-polling-startup-polls-bots-predicts-harris-will-win)。Electric Twin 资助了一项由其首席科学顾问在 LSE 主导的预先登记学术研究，将合成回答与七种人工抽样服务进行对比。Simile 的[合作伙伴白皮书](https://www.cvshealth.com/content/dam/enterprise/cvs-enterprise/pdfs/2026/CVS_WhitepaperCVSxSimile.pdf)描述了在调查开始前预判新结果的内部测试，但未发布预测本身。我们的账本发布每一份预测和每一项得分。

## Minds Mosaic 预测账本的运作方式

对于每项目标调查，我们在锁定前写下确切的题目措辞、选项和目标人群。Minds Mosaic 随后预测每道题的完整回答分布。每份预测经过哈希处理，加入只可追加的账本，通过 OpenTimestamps 批量写入比特币区块链并加盖时间戳。当发布方公布结果时，我们对每份已锁定预测与官方发布结果进行评分，包括失误以及最终无法评分的预测。每项调查都标注证据等级：在调查开始前锁定，或在调查结束后但任何结果公开前锁定。

账本刻意保持简洁。在 [forecasts.getminds.ai](https://forecasts.getminds.ai)，任何人都可以以普通文件形式下载：一个包含当前评分卡的 Markdown README、每份已锁定预测对应的一个 JSON 文件、OpenTimestamps 证明，以及一个验证所有哈希和时间戳的脚本。JSON 文件同时作为机器可读的数据源，任何人无需联系我们即可验证或重新评分。

<table>
<thead>
  <tr>
    <th>
      Minds Mosaic 预测账本（截至 2026 年 11 月 1 日）
    </th>
    
    <th>
      数量
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      在结果发布前锁定的调查预测
    </td>
    
    <td>
      45
    </td>
  </tr>
  
  <tr>
    <td>
      其中在调查开始前锁定
    </td>
    
    <td>
      28
    </td>
  </tr>
  
  <tr>
    <td>
      已评分调查
    </td>
    
    <td>
      13
    </td>
  </tr>
  
  <tr>
    <td>
      覆盖国家
    </td>
    
    <td>
      8
    </td>
  </tr>
</tbody>
</table>

目前已有 13 项调查公布结果，涵盖奥地利、法国、德国、日本、西班牙、英国和美国共 77 道题，每份预测均持有在结果发布前生成的经验证比特币时间戳。这些调查整体的分布误差为 0.034，其中在调查开始前锁定的 4 项调查为 0.023。

在全部 77 道题中，每个选项的平均误差为 1.37 个百分点，预测与实际回答份额之间的汇总相关系数为 0.993。Minds Mosaic 在锁定前使用所有可获取的公开信息进行预测，包括同一调查此前已发布的波次结果。发布方的已发布数值归属于各发布方：账本仅发布我们的预测和得分。下方各类别将这些结果按使用场景拆分。

## 政治与公众舆论

已评分调查中有 7 项是美国和英国的政治与公众舆论民调：The Economist/YouGov、YouGov 英国追踪调查、Emerson、NPR/PBS News/Marist、Reuters/Ipsos、Find Out Now 和 Opinium。在其 24 道题中，Mosaic 锁定预测的 TVD 为 0.023，每个选项的平均误差为 1.10 个百分点。在调查开始前锁定的 4 项调查均属于本类别，共 19 道题，TVD 为 0.023。

<research-figure :labels="["Minds Mosaic"]" figure="introducing-minds-mosaic" note="数值越低越好。在来自 7 项美国和英国民调的 24 道题上的分布误差（TVD），依据 2026 年 10 月 26 日至 31 日的官方发布结果评分。" title="政治与公众舆论：发布前锁定的预测" unitLabel="TVD">



</research-figure>

我们还已将 Minds Mosaic 提交至 [Social Simulation Arena](https://social-simulation-arena.com)，这是一个对提前封存预测进行评分的独立学术排行榜，我们提交了针对 2026 年美国中期选举轮次的预测。

本类别中其他已发布结果基于不同数据，因此我们列出而非制图对比。Aaru 在其 [2026 年复现研究](https://aaru.com/publications/population-simulation-at-the-replication-floor-research)中，对 573 道政治、政策和公共事务题目，在抽样调整后报告每个选项平均误差为 2.21 个百分点，并发布了对 2024 年美国总统大选的一份预测。我们自己对 [ANES 2024](/research/anes-2024-synthetic-survey-validation) 和 [CES 2024](/research/ces-2024-synthetic-survey-validation) 选举调查的回溯研究，在个体受访者层面报告的平均分布误差分别为 8.33 和 4.72 个百分点。

## 经济景气

已评分调查中有 6 项衡量消费者景气：欧盟委员会针对奥地利、法国、德国和西班牙的统一消费者调查、日本 ESRI 消费者信心调查以及世界大型企业联合会美国指数。在其 53 道题中，Mosaic 的 TVD 为 0.039，每个选项的平均误差为 1.50 个百分点。

<research-figure :labels="["Minds Mosaic"]" figure="introducing-minds-mosaic--economic" note="数值越低越好。在来自 6 个国家 6 项消费者调查的 53 道题上的分布误差（TVD），依据 2026 年 10 月官方发布结果评分。" title="经济景气：发布前锁定的预测" unitLabel="TVD">



</research-figure>

密歇根大学调查、纽约联储消费者预期调查以及消费者调查 11 月波次的锁定预测尚待评分。本文涉及的其他厂商均未在本类别发布已评分结果。

## 社会态度与价值观

Artificial Societies 发布了一个[公开基准](https://societies.ai/as-benchmark)，包含七个调查数据源和评分规则，详见其论文 [arXiv 2609.30030](https://arxiv.org/abs/2609.30030v2)。我们在一个在任何模型调用前已哈希的协议下运行 Minds Mosaic，在评分前封存原始输出，并使用其数据和评分代码。其中两个数据源来自 2024 年综合社会调查（General Social Survey）。

<table>
<thead>
  <tr>
    <th>
      GSS 2024 数据源，TVD
    </th>
    
    <th>
      Minds Mosaic
    </th>
    
    <th>
      Artificial Societies
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      对机构的信任度
    </td>
    
    <td>
      0.035
    </td>
    
    <td>
      0.042
    </td>
  </tr>
  
  <tr>
    <td>
      人际信任
    </td>
    
    <td>
      0.052
    </td>
    
    <td>
      0.058
    </td>
  </tr>
</tbody>
</table>

Mosaic 数字为三次运行的均值；Artificial Societies 数字为已发布值。Mosaic 每次请求接收一道题，以综合社会调查此前公开波次作为标注上下文。Mosaic 预测整体样本的分布，而其已发布数字来自对每位受访者的模拟。

本类别中另外两项结果使用各自的数据。Simile 的[1,052 名受访美国人](https://arxiv.org/abs/2411.10109)智能体复现个人综合社会调查回答的一致性，约为受访者两周后自我重测一致性的 85%。我们的 [GSS 2024 研究](/research/gss-2024-synthetic-survey-validation)在 17 道题、360 名匹配受访者上报告平均分布误差为 7.53 个百分点。

## 人格与心理测量

Artificial Societies 基准中有三个数据源衡量人格而非态度。这不属于 15 个类别之一，因此单独报告。

<table>
<thead>
  <tr>
    <th>
      数据源，TVD
    </th>
    
    <th>
      Minds Mosaic
    </th>
    
    <th>
      Artificial Societies
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      SAPA 人格特质
    </td>
    
    <td>
      0.091
    </td>
    
    <td>
      0.090
    </td>
  </tr>
  
  <tr>
    <td>
      SAPA 人格面向
    </td>
    
    <td>
      0.103
    </td>
    
    <td>
      0.117
    </td>
  </tr>
  
  <tr>
    <td>
      双胞胎重测
    </td>
    
    <td>
      0.138
    </td>
    
    <td>
      0.147
    </td>
  </tr>
</tbody>
</table>

Mosaic 三次运行均值在人格面向和双胞胎重测上误差更低，在特质上与对方持平。

## 问卷措辞与设计效应

同一基准中有两个数据源是分组对照措辞实验：同一问题以两种版本提问，以衡量回答的偏移幅度。

<table>
<thead>
  <tr>
    <th>
      措辞实验，TVD
    </th>
    
    <th>
      Minds Mosaic
    </th>
    
    <th>
      Artificial Societies
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      Jordan
    </td>
    
    <td>
      0.095
    </td>
    
    <td>
      0.096
    </td>
  </tr>
  
  <tr>
    <td>
      Albertson
    </td>
    
    <td>
      0.078
    </td>
    
    <td>
      0.025
    </td>
  </tr>
</tbody>
</table>

Mosaic 在 Jordan 实验上与对方持平，Artificial Societies 在 Albertson 上误差更低。Mosaic 能预测两个偏移的方向，但高估了偏移幅度。措辞效应与预测分布是不同的任务，这也是我们将其单独列为一个类别的原因。

## 子群体与细分

子群体是合成研究最常被使用、也最常失败的地方。在 Artificial Societies 基准中，综合社会调查机构信任题目的 145 个人口子群体单元格上，Mosaic 的 TVD 为 0.053，对方为 0.063。

<research-figure :labels="["Minds Mosaic","Artificial Societies"]" figure="introducing-minds-mosaic--subgroups" note="数值越低越好。在 2024 年综合社会调查机构信任题目相同 145 个人口子群体单元格上的分布误差（TVD）。Minds Mosaic 为三次运行均值；Artificial Societies 为已发布值。" title="Artificial Societies 基准上的子群体表现" unitLabel="TVD">



</research-figure>

我们的账本也对子群体进行评分。The Economist/YouGov 和 YouGov 英国交叉表提供了 69 个已锁定子群体单元格，例如按年龄组、党派或 2024 年投票情况划分的回答，Mosaic 的 TVD 为 0.046。

<research-figure :labels="["Minds Mosaic"]" figure="introducing-minds-mosaic--subgroups-ledger" note="数值越低越好。在 The Economist/YouGov 和 YouGov 英国民调 69 个子群体单元格上的分布误差（TVD），预测在发布前锁定。" title="预测账本中的子群体表现" unitLabel="TVD">



</research-figure>

## 广告、视频与创意

目前没有两家厂商在相同创意数据上发布过结果，因此本类别尚无正面对比。Electric Twin 在其自有基准上报告，预测与实际 Likert 均值之间的相关系数[图像为 0.909，视频为 0.861](https://48129355.fs1.hubspotusercontent-na1.net/hubfs/48129355/Accuracy%20Whitepaper_General.pdf)。在我们的[超级碗研究](/research/super-bowl-2026-ad-preferences)中，100 名有依据的模拟受访者对 USA TODAY Ad Meter 2026 的全部 54 支广告进行评分，排名与真实评审团高度吻合，Spearman 相关系数为 0.85。

## 概念、定价与品牌

本类别已发布结果同样各自基于厂商自有数据。

<table>
<thead>
  <tr>
    <th>
      类别
    </th>
    
    <th>
      厂商
    </th>
    
    <th>
      已发布结果
    </th>
    
    <th>
      数据
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      概念、产品与定价
    </td>
    
    <td>
      Aaru
    </td>
    
    <td>
      抽样调整后 MAE 3.75 个百分点
    </td>
    
    <td>
      2026 年<a href="https://aaru.com/publications/population-simulation-at-the-replication-floor-research" rel="nofollow">
        复现研究
      </a>
      
      ，产品与定价题目
    </td>
  </tr>
  
  <tr>
    <td>
      品牌与声誉
    </td>
    
    <td>
      Aaru
    </td>
    
    <td>
      抽样调整后 MAE 2.73 个百分点
    </td>
    
    <td>
      同一研究，品牌健康题目
    </td>
  </tr>
  
  <tr>
    <td>
      品牌与声誉
    </td>
    
    <td>
      Qualtrics
    </td>
    
    <td>
      Cohen's d 0.07
    </td>
    
    <td>
      <a href="https://greenbook.org/insights/data-science/testing-synthetic-data-against-academic-benchmarks-a-replication-study" rel="nofollow">
        一项复现研究
      </a>
      
      ，8 道科技产品态度题目
    </td>
  </tr>
</tbody>
</table>

## 开放式回答与行为

Synthetic Users 以其称为"合成有机一致性"的[加权评分体系](https://www.syntheticusers.com/science-posts/how-we-measure-success)对访谈内容评分，结果为 85% 至 92%。我们的[留存访谈研究](/research/held-out-interview-response-validation)测试了有依据的模拟受访者是否能反映 22 名真实参与者在 66 个访谈回答中的表述，发现相比通用提示，参与者证据带来了明显提升。

在行为与陈述意向方面，Aaru 将其品牌排名与信用卡消费数据进行对比，在同一[复现研究](https://aaru.com/publications/population-simulation-at-the-replication-floor-research)中报告 92.4% 的品牌对一致性，而已发布调查考虑度数据的一致性为 77.8%。

## Artificial Societies 基准总体结果

在全部七个数据源上，Mosaic 与 Artificial Societies 总体持平。按 Artificial Societies 的惯例，以每个数据源等权重计算首次运行结果，Mosaic 得分为 0.083，对方为 0.082；三次运行均值下，Mosaic 得分为 0.085。Mosaic 在七个数据源中的五个上误差更低。去除两个措辞实验后，三次运行均值下 Mosaic 领先：0.084 对 0.091。

<table>
<thead>
  <tr>
    <th>
      基准汇总，TVD
    </th>
    
    <th>
      Minds Mosaic
    </th>
    
    <th>
      Artificial Societies
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      七个数据源，其惯例
    </td>
    
    <td>
      0.083
    </td>
    
    <td>
      0.082
    </td>
  </tr>
  
  <tr>
    <td>
      去除措辞实验的五个数据源
    </td>
    
    <td>
      0.084
    </td>
    
    <td>
      0.091
    </td>
  </tr>
</tbody>
</table>

<research-figure :labels="["Minds Mosaic","Artificial Societies"]" figure="introducing-minds-mosaic--without-wording" note="数值越低越好。在相同五个数据源上的平均分布误差（TVD）：两个综合社会调查数据源、两个 SAPA 人格数据源和双胞胎重测。Minds Mosaic 为三次运行均值；Artificial Societies 为已发布值。" title="Artificial Societies 基准（去除措辞实验）" unitLabel="TVD">



</research-figure>

## 公平基准应有的样子

过去两个月的实验、该领域已发布的数字以及我们在公开竞技场中的参赛经历，都指向同样的四条规则。

1. *在调查开始前锁定。* 在第一次访谈前固定的预测无法针对答案进行调整。仅在发布前锁定较弱，因为调查结束后结果有时会泄露。记录实际调查日期和每项结果的证据等级。
2. *发布噪声下限。* 即使是完美的预测者也存在抽样误差：对于约 1,200 人样本的三选项题，TVD 约为 0.024。小于该值的差异在没有区间的情况下没有意义。
3. *按使用场景类别和刺激材料报告。* 民调、消费者景气、广告、概念和网站是不同的任务，文字题、图像、视频、音频和交互流程是不同的刺激材料。跨类别汇总的总体数字对任何单一类别几乎没有说明价值。
4. *按回答类型拆分。* 单选、李克特量表和顺序量表、多选、数字回答、排名以及强制选择设计（如 MaxDiff）和开放式文本，各自需要对应的指标。多选选项应作为独立的是/否份额评分，顺序量表应使用考虑顺序的评分方式，开放式回答应使用主题份额或嵌入距离而非单一评判。

我们还补充两条实操规则：报告每次运行结果及各次运行间的差异，并说明引用的是汇总相关系数还是题内相关系数。

## 值得关注的其他公开基准

目前尚无单一基准能覆盖整个领域。以下是我们持续关注的公开基准，按其产生的证据类型分组。

<table>
<thead>
  <tr>
    <th>
      基准
    </th>
    
    <th>
      衡量内容
    </th>
    
    <th>
      证据类型
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      <a href="https://social-simulation-arena.com" rel="nofollow">
        Social Simulation Arena
      </a>
    </td>
    
    <td>
      对即将发布的民调和经济调查的预测，在发布前封存
    </td>
    
    <td>
      前瞻性，独立学术团队（<a href="https://github.com/Social-Atoms/social-sim-arena" rel="nofollow">
        代码
      </a>
      
      ）
    </td>
  </tr>
  
  <tr>
    <td>
      <a href="https://societies.ai/as-benchmark" rel="nofollow">
        Artificial Societies Benchmark
      </a>
    </td>
    
    <td>
      七项公开研究的分布误差，含措辞实验
    </td>
    
    <td>
      回溯性，公开任务和代码，由厂商撰写（<a href="https://arxiv.org/abs/2609.30030v2" rel="nofollow">
        论文
      </a>
      
      ）
    </td>
  </tr>
  
  <tr>
    <td>
      <a href="https://arxiv.org/abs/2510.17516" rel="nofollow">
        SimBench
      </a>
    </td>
    
    <td>
      在众多调查和行为数据集上与人类回答分布的拟合度
    </td>
    
    <td>
      回溯性，学术
    </td>
  </tr>
  
  <tr>
    <td>
      <a href="https://arxiv.org/abs/2303.17548" rel="nofollow">
        OpinionQA
      </a>
    </td>
    
    <td>
      在 Pew 美国趋势面板题目上与美国舆论群体的拟合度
    </td>
    
    <td>
      回溯性，学术（<a href="https://github.com/tatsu-lab/opinions_qa" rel="nofollow">
        代码
      </a>
      
      ）
    </td>
  </tr>
  
  <tr>
    <td>
      <a href="https://arxiv.org/abs/2306.16388" rel="nofollow">
        GlobalOpinionQA
      </a>
    </td>
    
    <td>
      模型反映哪些群体的观点，来自跨国调查
    </td>
    
    <td>
      回溯性，学术（<a href="https://huggingface.co/datasets/Anthropic/llm_global_opinions" rel="nofollow">
        数据
      </a>
      
      ）
    </td>
  </tr>
  
  <tr>
    <td>
      <a href="https://arxiv.org/abs/2502.16761" rel="nofollow">
        SubPOP
      </a>
    </td>
    
    <td>
      子人群的观点分布
    </td>
    
    <td>
      回溯性，学术
    </td>
  </tr>
  
  <tr>
    <td>
      <a href="https://arxiv.org/abs/2505.17479" rel="nofollow">
        Twin-2K-500
      </a>
    </td>
    
    <td>
      超过 2,000 人的数字孪生回答 500 道以上题目
    </td>
    
    <td>
      回溯性，学术，重测风格
    </td>
  </tr>
  
  <tr>
    <td>
      <a href="https://arxiv.org/abs/2411.10109" rel="nofollow">
        Agents of 1,052 people
      </a>
    </td>
    
    <td>
      个人回答与其两周后自我重测的对比
    </td>
    
    <td>
      回溯性，学术
    </td>
  </tr>
  
  <tr>
    <td>
      <a href="https://www.treatmenteffect.app" rel="nofollow">
        Predicting social science experiments
      </a>
    </td>
    
    <td>
      调查实验中效应的方向和大小
    </td>
    
    <td>
      回溯性，含部分未发表研究
    </td>
  </tr>
</tbody>
</table>

只有第一个对结果存在前就已做出的预测进行评分。其他基准对方法开发很有价值，且大多公开，任何团队都可以重新运行。但其题目也是公开的，这意味着模型在训练期间可能已见过这些内容。这正是前瞻性结果权重最高的原因。

## 下一步计划

目前仍有几个类别没有任何厂商发布已评分结果：信息与文案、网站与应用行为，以及媒体与娱乐需求。其他类别也仅有单项研究支撑。这些都是开放领域，预先登记账本是我们填补它们的方式：锁定预测，等待真实结果，发布得分。

Minds Mosaic 已以 minds-mosaic 的名称提交至 [Social Simulation Arena](https://social-simulation-arena.com)，提交了针对 2026 年美国中期选举轮次以及从 11 月起每周解析的调查轮次的提前封存预测。我们将持续向[预测账本](https://forecasts.getminds.ai)添加调查，在每项结果解析后发布得分，并按类别结合噪声下限进行报告。我们也正在用 2026 年的新研究运行 Aaru 的已发布协议。

Minds Mosaic 是我们的前沿受众模拟模型：给定一个人群和一道问题，它在真实结果存在之前预测完整的回答分布。已发布调查是第一项测试。接下来，Mosaic 将在行为预测上接受检验：预测购买和收视行为，并与人们实际的购买和观看数据进行对比。它还将在上述开放类别以及未来数月内在竞技场轮次中接受检验，每项预测均在结果出现前锁定，并公开评分。

如果您为受众模拟模型发布准确率数字，我们欢迎在上述任何类别中开展共同的前瞻锁定测试。这是让这一领域赢得研究采购方信任的最快途径。