---
title: "Minds Mosaicのご紹介：オーディエンスシミュレーションの最前線を走る"
description: "Minds Mosaicは、調査実施前に母集団の回答分布を予測するフロンティアモデルです。カテゴリ別に公開結果と比較します。"
canonical_url: "https://getminds.ai/research/ja/introducing-minds-mosaic"
last_updated: "2026-11-15T00:49:42.814Z"
---

# Minds Mosaicのご紹介：オーディエンスシミュレーションの最前線を走る

Minds Mosaicは、オーディエンスシミュレーションのためのフロンティアモデルです。対象母集団と調査設問を与えると、その母集団が各回答選択肢にどのように答えるか、調査実施前に全分布を予測します。

このような予測は、実際の結果と照合して初めて意味を持ちます。そのため、私たちはMosaicの評価を公開の場で行っています。すべての予測は、調査結果が公表される前にコミットされタイムスタンプが付与され、スコアはミスも含めて公開台帳に記録されます。独立した第三者のアリーナに参加し、事前にシールされた予測を採点してもらっています。また、競合他社の公開ベンチマークでも直接対決を実施しました。

合成回答ベンダーは今や各社が精度の数値を公表していますが、それらは異なるデータ、異なる指標、異なる条件から導かれています。本稿では、まず各ベンダーの総合数値を示したうえで、公開結果を実際の購買担当者が利用するユースケースカテゴリに整理し、同一データで測定された数値のみを直接比較します。

## 要点まとめ

- オーディエンスシミュレーションを15のユースケースカテゴリに整理しました。政治世論調査から広告、オープンエンドインタビューまでを網羅し、同一カテゴリ・同一データの数値のみを直接比較します。
- 政治・世論調査において、結果公表前にコミットしたMinds Mosaicの予測は、7つの調査24設問にわたる分布誤差（TVD）が0.023です。経済センチメント調査では、6つの調査53設問で0.039です。
- Artificial Societiesの公開ベンチマークでは、Mosaicは社会的態度の両ソースで誤差が小さく、パーソナリティの3ソースのうち2つでも優位、サブグループでも上回ります（0.053対0.063）。全体では両社の規約に基づき同水準で、0.083対0.082です。
- 本稿で取り上げたプロバイダーの中で、調査実施前にコミットした調査予測の継続的な記録を公開しているところはありません。私たちの台帳は[forecasts.getminds.ai](https://forecasts.getminds.ai)で公開しています。プレーンなMarkdownとJSONファイル、タイムスタンプの証明、および検証スクリプトを提供しています。

## カテゴリ横断の総合精度

Minds Mosaicと他の2社は、テストしたすべてのカテゴリを統合した分布誤差（TVD）の総合値を公表しています。数値が低いほど優れており、次のセクションで指標の詳細を説明します。

<research-figure :labels="["Minds Mosaic","Aaru","Artificial Societies"]" figure="introducing-minds-mosaic--overall" note="数値が低いほど優れています。分布誤差（TVD）。各数値は、そのベンダーが自社データで実施した独自評価に基づきます。Minds Mosaicは、結果公表前に事前コミットした13調査77設問の予測値です（調査開始前にコミットした4調査のスコアは0.023）。Minds Mosaicは、同一調査の過去公開結果を含む、コミット時点で入手可能なすべての公開情報を用いて予測します。Aaru（186件の研究、サンプリング調整前）およびArtificial Societies（7件の研究、以下で比較する7ソースのスコアは0.082）は、公開済み研究の再現に基づきます。同一データによる比較は、以下のカテゴリ別セクションに記載しています。" title="ベンダー別総合精度（全カテゴリ）" unitLabel="TVD">



</research-figure>

以下の表は、各数値の背景にあるデータとソースを示し、回答選択肢ごとの平均誤差（MAE）および各社が公表している場合の統合相関係数を記載しています。

<table>
<thead>
  <tr>
    <th>
      プロバイダー
    </th>
    
    <th>
      TVD
    </th>
    
    <th>
      MAE（ポイント）
    </th>
    
    <th>
      Pearson r（統合）
    </th>
    
    <th>
      データとソース
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      Minds Mosaic
    </td>
    
    <td>
      0.034
    </td>
    
    <td>
      1.37
    </td>
    
    <td>
      0.993
    </td>
    
    <td>
      結果公表前に事前コミットした13調査77設問の予測（<a href="https://forecasts.getminds.ai" rel="nofollow">
        予測台帳
      </a>
      
      ）。Minds Mosaicは、同一調査の過去公開結果を含む、コミット時点で入手可能なすべての公開情報を用いて予測します。
    </td>
  </tr>
  
  <tr>
    <td>
      Aaru
    </td>
    
    <td>
      0.076
    </td>
    
    <td>
      3.53
    </td>
    
    <td>
      0.970
    </td>
    
    <td>
      186件の公開研究2,993設問、サンプリング調整前（<a href="https://aaru.com/publications/population-simulation-at-the-replication-floor-research" rel="nofollow">
        研究論文
      </a>
      
      、<a href="https://aaru.com/publications/population-simulation-at-the-replication-floor-summary" rel="nofollow">
        サマリー
      </a>
      
      ）
    </td>
  </tr>
  
  <tr>
    <td>
      Artificial Societies
    </td>
    
    <td>
      0.080
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      7件の公開研究、以下に記載するベンチマーク（<a href="https://arxiv.org/abs/2609.30030v2" rel="nofollow">
        論文
      </a>
      
      ）
    </td>
  </tr>
  
  <tr>
    <td>
      Electric Twin
    </td>
    
    <td>
      
    </td>
    
    <td>
      4.00
    </td>
    
    <td>
      
    </td>
    
    <td>
      280データセット。MAEを1から引いた値として96%と公表（<a href="https://www.electrictwin.com/accuracy" rel="nofollow">
        精度情報
      </a>
      
      ）
    </td>
  </tr>
</tbody>
</table>

4社は独自のスケールで総合数値を公表しており、TVDやMAEに換算することはできません。

- *Simile:* エージェントは個人の調査回答を、その人が2週間後に自分自身に示す一貫性の約85%で再現します（最新版プレプリントではデータソースにより82%から86%）。
- *Evidenza:* 「88%の精度」と説明されており、100件以上の検証における合成調査と従来型調査の平均一致率として定義されています。
- *Synthetic Users:* インタビューコンテンツの加重評価指標「Synthetic Organic Parity」が85%から92%。
- *Electric Twin:* 上記の96%に加え、独自の全分布スコア（NDAM）で92%。

## 数値の読み方

最もよく使われる2つの指標は、互換性がありません。

*全変動距離（TVD）* は0から1の範囲で示されます。実際の結果と一致させるために移動が必要な回答分布の割合です。TVDが0.05であれば、分布の5ポイント分が誤った位置にあることを意味します。

*平均絶対誤差（MAE）* は、回答選択肢ごとの平均誤差をパーセントポイントで示します。同じ予測でも、MAEはTVDをポイント表示したものよりも通常はるかに小さくなります。TVDは選択肢間の誤差を合計し、MAEはそれを平均するためです。3.5ポイントのMAEと7.6ポイントのTVDが同じ結果を表すことがあります。

相関係数にもラベルが必要です。すべての設問のすべての回答選択肢にわたって統合された相関係数は、合理的な手法であればほぼどれでも高くなります。選択肢の中には常に大きいものと小さいものがあるためです。設問内の相関係数ははるかに厳格です。以下で統合相関係数を引用する場合は、自社のものも他社のものも含めてその旨を明記します。

## オーディエンスシミュレーションの15カテゴリ

オーディエンスシミュレーションの用途は多岐にわたります。投票意向の予測が得意なシステムが、動画広告への反応予測でも同様の性能を示すとは限りません。私たちは、予測対象と正解データの種類に基づいて、業務を15のカテゴリに分類しています。

<table>
<thead>
  <tr>
    <th>
      カテゴリ
    </th>
    
    <th>
      予測対象
    </th>
    
    <th>
      正解データ
    </th>
    
    <th>
      主な指標
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      政治・世論調査
    </td>
    
    <td>
      投票意向、支持率、争点
    </td>
    
    <td>
      公開世論調査、選挙結果
    </td>
    
    <td>
      割合のTVD、マージンのポイント差
    </td>
  </tr>
  
  <tr>
    <td>
      経済センチメント
    </td>
    
    <td>
      消費者信頼感、インフレ見通し
    </td>
    
    <td>
      EC、ミシガン大学、NY Fed、消費者トラッカー
    </td>
    
    <td>
      TVD
    </td>
  </tr>
  
  <tr>
    <td>
      社会的態度・価値観
    </td>
    
    <td>
      信頼、宗教、家族、幸福感
    </td>
    
    <td>
      GSS、ESS、WVS
    </td>
    
    <td>
      TVD
    </td>
  </tr>
  
  <tr>
    <td>
      コンセプト・製品テスト
    </td>
    
    <td>
      訴求力、購買意向
    </td>
    
    <td>
      コンセプトテスト
    </td>
    
    <td>
      TVD、順位一致率
    </td>
  </tr>
  
  <tr>
    <td>
      ビジュアル・クリエイティブテスト
    </td>
    
    <td>
      画像・デザインへの反応
    </td>
    
    <td>
      クリエイティブテスト
    </td>
    
    <td>
      相関係数、順位一致率
    </td>
  </tr>
  
  <tr>
    <td>
      広告・動画
    </td>
    
    <td>
      広告の好感度と効果
    </td>
    
    <td>
      広告テスト、広告ランキング
    </td>
    
    <td>
      順位一致率
    </td>
  </tr>
  
  <tr>
    <td>
      価格・支払意思額
    </td>
    
    <td>
      価格受容性、需要曲線
    </td>
    
    <td>
      価格調査、販売データ
    </td>
    
    <td>
      割合の誤差
    </td>
  </tr>
  
  <tr>
    <td>
      メッセージング・コピー
    </td>
    
    <td>
      どのメッセージが勝つか
    </td>
    
    <td>
      メッセージテスト
    </td>
    
    <td>
      順位一致率
    </td>
  </tr>
  
  <tr>
    <td>
      ウェブサイト・アプリ行動
    </td>
    
    <td>
      クリック、タスク成功率
    </td>
    
    <td>
      アナリティクス、ユーザビリティテスト
    </td>
    
    <td>
      行動誤差
    </td>
  </tr>
  
  <tr>
    <td>
      ブランド・評判
    </td>
    
    <td>
      認知度、知覚
    </td>
    
    <td>
      ブランドトラッカー
    </td>
    
    <td>
      TVD
    </td>
  </tr>
  
  <tr>
    <td>
      メディア・エンタメ需要
    </td>
    
    <td>
      視聴、聴取、来場
    </td>
    
    <td>
      視聴率、興行収入
    </td>
    
    <td>
      需要誤差
    </td>
  </tr>
  
  <tr>
    <td>
      設問文・調査設計効果
    </td>
    
    <td>
      設問文の変化による回答シフト
    </td>
    
    <td>
      スプリットバロットテスト
    </td>
    
    <td>
      効果誤差
    </td>
  </tr>
  
  <tr>
    <td>
      サブグループ・セグメント
    </td>
    
    <td>
      年齢、政党、地域別の回答
    </td>
    
    <td>
      クロス集計
    </td>
    
    <td>
      セル間TVD
    </td>
  </tr>
  
  <tr>
    <td>
      オープンエンド・定性
    </td>
    
    <td>
      自由回答のテーマと理由
    </td>
    
    <td>
      インタビュー、自由回答
    </td>
    
    <td>
      テーマ割合、忠実度評価
    </td>
  </tr>
  
  <tr>
    <td>
      行動対表明意向
    </td>
    
    <td>
      人々が実際にすること
    </td>
    
    <td>
      購買・行動データ
    </td>
    
    <td>
      行動との一致率
    </td>
  </tr>
</tbody>
</table>

次の2つの表は、2026年11月1日時点で各カテゴリにスコア付きの結果を公表しているプロバイダーを示しています。「あり」は、そのカテゴリに少なくとも1件の公開スコア付き結果が存在することを意味します。以下のセクションで各結果の背景データを説明します。Art. Soc.はArtificial Societies、E. TwinはElectric Twin、Syn. UsersはSynthetic Usersの略称です。

<table>
<thead>
  <tr>
    <th>
      カテゴリ
    </th>
    
    <th>
      Minds
    </th>
    
    <th>
      Aaru
    </th>
    
    <th>
      Art. Soc.
    </th>
    
    <th>
      E. Twin
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      政治・世論調査
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      経済センチメント
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      社会的態度・価値観
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      コンセプト・製品テスト
    </td>
    
    <td>
      
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      ビジュアル・クリエイティブテスト
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      あり
    </td>
  </tr>
  
  <tr>
    <td>
      広告・動画
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      あり
    </td>
  </tr>
  
  <tr>
    <td>
      価格・支払意思額
    </td>
    
    <td>
      
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      メッセージング・コピー
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      ウェブサイト・アプリ行動
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      ブランド・評判
    </td>
    
    <td>
      
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      メディア・エンタメ需要
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      設問文・調査設計効果
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      サブグループ・セグメント
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      オープンエンド・定性
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      行動対表明意向
    </td>
    
    <td>
      
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
</tbody>
</table>

<table>
<thead>
  <tr>
    <th>
      カテゴリ
    </th>
    
    <th>
      Simile
    </th>
    
    <th>
      Evidenza
    </th>
    
    <th>
      Syn. Users
    </th>
    
    <th>
      Qualtrics
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      政治・世論調査
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      経済センチメント
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      社会的態度・価値観
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      コンセプト・製品テスト
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      ビジュアル・クリエイティブテスト
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      広告・動画
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      価格・支払意思額
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      メッセージング・コピー
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      ウェブサイト・アプリ行動
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      ブランド・評判
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      あり
    </td>
  </tr>
  
  <tr>
    <td>
      メディア・エンタメ需要
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      設問文・調査設計効果
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      サブグループ・セグメント
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      オープンエンド・定性
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      行動対表明意向
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
</tbody>
</table>

## 各精度主張の生成条件

カテゴリは何を測定したかを示します。条件は、その数値がどれだけ信頼できるかを示します。

<table>
<thead>
  <tr>
    <th>
      システム
    </th>
    
    <th>
      結果公表前にコミット
    </th>
    
    <th>
      タイムスタンプ証明
    </th>
    
    <th>
      未公開結果でスコア算出
    </th>
    
    <th>
      手法公開
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      Minds Mosaic
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      あり
    </td>
    
    <td>
      あり
    </td>
  </tr>
  
  <tr>
    <td>
      Aaru
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      あり
    </td>
  </tr>
  
  <tr>
    <td>
      Artificial Societies
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      あり
    </td>
  </tr>
  
  <tr>
    <td>
      Electric Twin
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      あり
    </td>
  </tr>
  
  <tr>
    <td>
      Simile
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      あり
    </td>
  </tr>
  
  <tr>
    <td>
      Evidenza
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
  </tr>
  
  <tr>
    <td>
      Synthetic Users
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      あり
    </td>
  </tr>
  
  <tr>
    <td>
      Qualtrics Edge Audiences
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      
    </td>
    
    <td>
      あり
    </td>
  </tr>
</tbody>
</table>

各社の2026年11月1日時点の公開資料に基づきます。空欄は、公開されている主張にその情報が示されていないことを意味します。

事後テストは、すでに公開されているか、またはベンダーが保有している調査データに対してシステムを実行するものです。開発段階では有用であり、私たちを含むこの分野のすべてのチームが活用しています。その限界はよく知られています。モデルが結果をすでに見ている可能性があること、どの設問を含めるかの選択が回答を参照した状態で行われること、そしてベンダーが自己採点することです。

事前コミット予測はこれらの問題を解消します。予測は結果が存在する前に確定されるため、結果に合わせて調整することができません。また、予測者が見ることのできなかった数値に対してスコアが算出されます。調査開始前にコミットすることはさらに強力です。調査に関する情報が一切漏洩していない状態だからです。これは選挙予測や経済予測で使われる標準であり、オーディエンスシミュレーションが満たすべき基準です。

上記のプロバイダーの中で、調査実施前にコミットし事後にスコアを算出した調査予測の継続的な記録を公開しているところはありません。Aaruは[2024年米国大統領選挙の予測を投票日前日に公表](https://www.semafor.com/article/11/04/2024/an-ai-polling-startup-polls-bots-predicts-harris-will-win)しました。Electric Twinは、LSEのチーフサイエンスアドバイザーが主導する事前登録済みの学術研究に資金提供し、合成回答と7つの人間サンプリングサービスを比較しました。Simileの[パートナーホワイトペーパー](https://www.cvshealth.com/content/dam/enterprise/cvs-enterprise/pdfs/2026/CVS_WhitepaperCVSxSimile.pdf)は、調査開始前に新しい結果を予測した内部テストを説明していますが、予測自体は公開していません。私たちの台帳はすべての予測とすべてのスコアを公開しています。

## Minds Mosaic予測台帳の仕組み

対象調査ごとに、コミット前に設問文、回答選択肢、対象母集団を正確に記録します。Minds Mosaicはその後、すべての設問の回答分布全体を予測します。各予測はハッシュ化され、追記専用の台帳に追加され、OpenTimestampsを通じてBitcoinブロックチェーン上にバッチ処理でタイムスタンプが付与されます。調査結果が公表されると、ミスや採点不能と判明した予測も含め、すべてのコミット済み予測を公式リリースと照合してスコアを算出します。各調査には証拠クラスが付与されます。調査開始前にコミットされたもの、または調査実施後・結果公表前にコミットされたものです。

台帳は意図的にシンプルな設計にしています。[forecasts.getminds.ai](https://forecasts.getminds.ai)では、通常のファイルとしてダウンロードできます。現在のスコアカードを含むMarkdown形式のREADME、コミット済み予測ごとのJSONファイル、OpenTimestampsの証明、そしてすべてのハッシュとタイムスタンプを検証するスクリプトです。JSONファイルは機械可読フィードとしても機能するため、誰でも私たちの記録を検証したり、私たちに問い合わせることなく再採点したりできます。

<table>
<thead>
  <tr>
    <th>
      Minds Mosaic予測台帳（2026年11月1日時点）
    </th>
    
    <th>
      件数
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      結果公表前にコミットした調査数
    </td>
    
    <td>
      45
    </td>
  </tr>
  
  <tr>
    <td>
      うち調査開始前にコミット済み
    </td>
    
    <td>
      28
    </td>
  </tr>
  
  <tr>
    <td>
      スコア算出済み調査数
    </td>
    
    <td>
      13
    </td>
  </tr>
  
  <tr>
    <td>
      対象国数
    </td>
    
    <td>
      8
    </td>
  </tr>
</tbody>
</table>

オーストリア、フランス、ドイツ、日本、スペイン、英国、米国の77設問をカバーする13調査が結果を公表しており、これらすべての予測には結果公表前のBitcoinタイムスタンプが付与されています。これら全体でのMosaicの分布誤差は0.034、調査開始前にコミットした4調査では0.023です。

77設問全体で、回答選択肢ごとの平均誤差は1.37パーセントポイント、予測値と実際の回答割合の統合相関係数は0.993です。Minds Mosaicは、同一調査の過去公開結果を含む、コミット時点で入手可能なすべての公開情報を用いて予測します。調査結果の公表値は各調査機関に帰属します。台帳には私たちの予測とスコアのみを公開しています。以下のカテゴリ別セクションでは、これらの結果をユースケース別に分類して示します。

## 政治・世論調査

スコア算出済みの調査のうち7件は、米国と英国の政治・世論調査です。The Economist/YouGov、YouGovのGBトラッカー、Emerson、NPR/PBS News/Marist、Reuters/Ipsos、Find Out Now、Opiniumが対象です。24設問にわたるMosaicのコミット済み予測のTVDは0.023、回答選択肢ごとの平均誤差は1.10パーセントポイントです。調査開始前にコミットした4調査はすべてこのカテゴリに属し、19設問でTVDは0.023です。

<research-figure :labels="["Minds Mosaic"]" figure="introducing-minds-mosaic" note="数値が低いほど優れています。米国・英国の7件の世論調査24設問の分布誤差（TVD）。2026年10月26日から31日の公式リリースに基づきスコアを算出。" title="政治・世論調査：公表前にコミットした予測" unitLabel="TVD">



</research-figure>

また、Minds Mosaicを独立した学術リーダーボードである[Social Simulation Arena](https://social-simulation-arena.com)に参加登録しており、2026年米国中間選挙ラウンドの予測を事前にシールして提出しています。

このカテゴリの他の公開結果は異なるデータに基づいているため、グラフではなくリストで示します。Aaruは[2026年レプリケーション研究](https://aaru.com/publications/population-simulation-at-the-replication-floor-research)において、政治・政策・公共問題573設問でサンプリング調整後の平均誤差2.21ポイントを報告しており、2024年米国大統領選挙の予測を1件公表しています。私たち自身の[ANES 2024](/research/anes-2024-synthetic-survey-validation)および[CES 2024](/research/ces-2024-synthetic-survey-validation)選挙調査の事後研究では、個別回答者レベルの平均分布誤差がそれぞれ8.33ポイントと4.72ポイントと報告されています。

## 経済センチメント

スコア算出済みの調査のうち6件は消費者センチメントを測定するものです。オーストリア、フランス、ドイツ、スペインの欧州委員会ハーモナイズド消費者調査、日本のESRI消費者信頼感調査、米国のConference Board指数が対象です。53設問全体で、MosaicのTVDは0.039、回答選択肢ごとの平均誤差は1.50ポイントです。

<research-figure :labels="["Minds Mosaic"]" figure="introducing-minds-mosaic--economic" note="数値が低いほど優れています。6カ国6件の消費者調査53設問の分布誤差（TVD）。2026年10月の公式リリースに基づきスコアを算出。" title="経済センチメント：公表前にコミットした予測" unitLabel="TVD">



</research-figure>

ミシガン大学調査、NY Fedの消費者期待調査、消費者調査の11月ウェーブのコミット済み予測は採点待ちです。本稿で取り上げた他のプロバイダーは、このカテゴリでスコア付きの結果を公表していません。

## 社会的態度・価値観

Artificial Societiesは、7つの調査ソースとスコアリング規約を含む[公開ベンチマーク](https://societies.ai/as-benchmark)を公表しており、論文[arXiv 2609.30030](https://arxiv.org/abs/2609.30030v2)で詳細を説明しています。私たちは、モデル呼び出し前にハッシュ化したプロトコルのもとでMinds Mosaicを実行し、採点前に生の出力をシールし、彼らのデータとスコアリングコードを使用しました。2つのソースは2024年General Social Surveyからのものです。

<table>
<thead>
  <tr>
    <th>
      GSS 2024ソース、TVD
    </th>
    
    <th>
      Minds Mosaic
    </th>
    
    <th>
      Artificial Societies
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      機関への信頼
    </td>
    
    <td>
      0.035
    </td>
    
    <td>
      0.042
    </td>
  </tr>
  
  <tr>
    <td>
      対人信頼
    </td>
    
    <td>
      0.052
    </td>
    
    <td>
      0.058
    </td>
  </tr>
</tbody>
</table>

Mosaicの数値は3回の実行の平均値、Artificial Societiesの数値は公表値です。Mosaicは1リクエストにつき1設問を受け取り、General Social Surveyの過去公開ウェーブをラベル付きコンテキストとして使用しました。Mosaicはサンプル全体の分布を予測するのに対し、彼らの公表数値は各回答者をシミュレートした結果に基づいています。

このカテゴリの他の2つの結果は独自データを使用しています。Simileの[1,052人のインタビュー済み米国人のエージェント](https://arxiv.org/abs/2411.10109)は、General Social Surveyの個人回答を、その人が2週間後に自分自身に示す一貫性の約85%で再現します。私たちの[GSS 2024研究](/research/gss-2024-synthetic-survey-validation)では、17設問・360人のマッチング回答者にわたる平均分布誤差7.53ポイントを報告しています。

## パーソナリティと心理測定

Artificial Societiesのベンチマークの3つのソースは、態度ではなくパーソナリティを測定しています。これは15カテゴリのいずれにも属さないため、別途報告します。

<table>
<thead>
  <tr>
    <th>
      ソース、TVD
    </th>
    
    <th>
      Minds Mosaic
    </th>
    
    <th>
      Artificial Societies
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      SAPAパーソナリティ特性
    </td>
    
    <td>
      0.091
    </td>
    
    <td>
      0.090
    </td>
  </tr>
  
  <tr>
    <td>
      SAPAパーソナリティファセット
    </td>
    
    <td>
      0.103
    </td>
    
    <td>
      0.117
    </td>
  </tr>
  
  <tr>
    <td>
      双子再テスト
    </td>
    
    <td>
      0.138
    </td>
    
    <td>
      0.147
    </td>
  </tr>
</tbody>
</table>

3回の実行の平均値であるMosaicは、ファセットと双子再テストで誤差が小さく、特性では同水準です。

## 設問文・調査設計効果

同ベンチマークの2つのソースは、スプリットバロット設問文実験です。同じ設問を2つのバージョンで尋ね、回答がどれだけシフトするかを測定します。

<table>
<thead>
  <tr>
    <th>
      設問文実験、TVD
    </th>
    
    <th>
      Minds Mosaic
    </th>
    
    <th>
      Artificial Societies
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      Jordan
    </td>
    
    <td>
      0.095
    </td>
    
    <td>
      0.096
    </td>
  </tr>
  
  <tr>
    <td>
      Albertson
    </td>
    
    <td>
      0.078
    </td>
    
    <td>
      0.025
    </td>
  </tr>
</tbody>
</table>

MosaicはJordan実験では同水準で、AlbertsonではArtificial Societiesの誤差が小さくなっています。Mosaicは両方のシフトの方向を正しく予測していますが、その大きさを過大評価しています。設問文効果は分布予測とは異なるタスクであるため、独立したカテゴリとして採点しています。

## サブグループ・セグメント

サブグループは合成調査研究が最もよく使われる領域であり、同時に最も失敗しやすい領域でもあります。Artificial Societiesのベンチマークに含まれるGeneral Social Survey信頼項目の145の人口統計サブグループセルにおいて、MosaicのTVDは0.053で、彼らの0.063を下回ります。

<research-figure :labels="["Minds Mosaic","Artificial Societies"]" figure="introducing-minds-mosaic--subgroups" note="数値が低いほど優れています。General Social Survey 2024信頼項目の145の人口統計サブグループセルの分布誤差（TVD）。Minds Mosaicは3回の実行の平均値、Artificial Societiesは公表値。" title="Artificial Societiesのベンチマークにおけるサブグループ" unitLabel="TVD">



</research-figure>

私たちの台帳もサブグループのスコアを記録しています。The Economist/YouGovおよびYouGov GBのクロス集計から、年齢層、政党、2024年投票先などによる回答を含む69のコミット済みサブグループセルが得られており、MosaicのTVDは0.046です。

<research-figure :labels="["Minds Mosaic"]" figure="introducing-minds-mosaic--subgroups-ledger" note="数値が低いほど優れています。The Economist/YouGovおよびYouGov GBの世論調査69サブグループセルの分布誤差（TVD）。公表前にコミットした予測。" title="予測台帳におけるサブグループ" unitLabel="TVD">



</research-figure>

## 広告・動画・クリエイティブ

同一のクリエイティブデータで結果を公表しているプロバイダーはまだないため、このカテゴリでの直接比較はありません。Electric Twinは独自ベンチマークにおいて、予測値と実際のLikertスコア平均値の相関係数として[画像で0.909、動画で0.861](https://48129355.fs1.hubspotusercontent-na1.net/hubfs/48129355/Accuracy%20Whitepaper_General.pdf)を報告しています。私たちの[スーパーボウル研究](/research/super-bowl-2026-ad-preferences)では、100人のグラウンデッドシミュレーション回答者がUSA TODAY Ad Meter 2026の全54本の広告を評価し、Spearman相関係数0.85で人間パネルと近い順位付けを示しました。

## コンセプト、価格、ブランド

このカテゴリの公開結果も各プロバイダー独自のデータに基づいています。

<table>
<thead>
  <tr>
    <th>
      カテゴリ
    </th>
    
    <th>
      プロバイダー
    </th>
    
    <th>
      公表結果
    </th>
    
    <th>
      データ
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      コンセプト・製品・価格
    </td>
    
    <td>
      Aaru
    </td>
    
    <td>
      MAE 3.75ポイント（サンプリング調整後）
    </td>
    
    <td>
      2026年<a href="https://aaru.com/publications/population-simulation-at-the-replication-floor-research" rel="nofollow">
        レプリケーション研究
      </a>
      
      、製品・価格設問
    </td>
  </tr>
  
  <tr>
    <td>
      ブランド・評判
    </td>
    
    <td>
      Aaru
    </td>
    
    <td>
      MAE 2.73ポイント（サンプリング調整後）
    </td>
    
    <td>
      同研究、ブランドヘルス設問
    </td>
  </tr>
  
  <tr>
    <td>
      ブランド・評判
    </td>
    
    <td>
      Qualtrics
    </td>
    
    <td>
      Cohen's d 0.07
    </td>
    
    <td>
      <a href="https://greenbook.org/insights/data-science/testing-synthetic-data-against-academic-benchmarks-a-replication-study" rel="nofollow">
        1件のレプリケーション
      </a>
      
      、テクノロジー製品に関する8つの態度設問
    </td>
  </tr>
</tbody>
</table>

## オープンエンド回答と行動

Synthetic Usersは「Synthetic Organic Parity」と呼ぶ[加重評価指標](https://www.syntheticusers.com/science-posts/how-we-measure-success)でインタビューコンテンツを採点しており、85%から92%を達成しています。私たちの[ホールドアウトインタビュー研究](/research/held-out-interview-response-validation)では、グラウンデッドシミュレーション回答者が22人の実際の参加者が後日インタビューで述べた内容を66の回答にわたって反映するかどうかを検証し、汎用プロンプティングと比較して参加者エビデンスを活用することで明確な改善が見られました。

行動対表明意向については、Aaruがブランドランキングをクレジットカード購買データと比較し、同じ[レプリケーション研究](https://aaru.com/publications/population-simulation-at-the-replication-floor-research)において、ブランドペアの92.4%で一致したと報告しています。公開調査の検討意向データでは77.8%でした。

## Artificial Societiesのベンチマーク総合結果

7つのソース全体では、MosaicとArtificial Societiesは同水準です。Artificial Societiesの規約（各ソースを等しく重み付けした最初の実行）では、Mosaicは0.083対0.082のスコアです。3回の実行の平均では、Mosaicは0.085です。Mosaicは7つのソースのうち5つで誤差が小さくなっています。設問文実験の2つを除くと、3回実行の平均でMosaicが0.084対0.091でリードしています。

<table>
<thead>
  <tr>
    <th>
      ベンチマーク総合、TVD
    </th>
    
    <th>
      Minds Mosaic
    </th>
    
    <th>
      Artificial Societies
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      7ソース（規約に基づく）
    </td>
    
    <td>
      0.083
    </td>
    
    <td>
      0.082
    </td>
  </tr>
  
  <tr>
    <td>
      設問文実験を除く5ソース
    </td>
    
    <td>
      0.084
    </td>
    
    <td>
      0.091
    </td>
  </tr>
</tbody>
</table>

<research-figure :labels="["Minds Mosaic","Artificial Societies"]" figure="introducing-minds-mosaic--without-wording" note="数値が低いほど優れています。同じ5ソースの平均分布誤差（TVD）：General Social Survey 2ソース、SAPAパーソナリティ2ソース、双子再テスト。Minds Mosaicは3回の実行の平均値、Artificial Societiesは公表値。" title="Artificial Societiesのベンチマーク（設問文実験を除く）" unitLabel="TVD">



</research-figure>

## 公正なベンチマークの条件

過去2カ月間の実験、この分野の公開数値、そして公開アリーナへの参加から、同じ4つのルールが浮かび上がります。

1. *調査開始前にコミットする。* 最初のインタビュー前に確定した予測は、回答に合わせて調整することができません。公表前のみのコミットは弱い条件です。調査終了後に結果が漏洩することがあるためです。実際の調査実施日と各結果の証拠クラスを記録してください。
2. *ノイズフロアを公表する。* 完璧な予測者でもサンプリング誤差を抱えます。約1,200サンプルの3択設問では約0.024 TVDです。信頼区間なしにこれより小さな差は意味を持ちません。
3. *ユースケースカテゴリと刺激素材別に報告する。* 世論調査、消費者センチメント、広告、コンセプト、ウェブサイトはそれぞれ異なるタスクです。テキスト設問、画像、動画、音声、インタラクティブフローも異なる刺激素材です。これらを統合した総合数値は、個々のタスクについてほとんど何も語りません。
4. *回答タイプ別に分類する。* 単一選択、Likert・順序尺度、複数選択、数値回答、ランキング、MaxDiffなどの強制選択設計、オープンエンドテキストはそれぞれ独自の指標が必要です。複数選択の選択肢は個別のyes/no割合として採点し、順序尺度は順序を考慮したスコアで、自由回答はテーマ割合や埋め込み距離で評価すべきです。単一の判定者スコアは適切ではありません。

実践的なルールとして2点追加します。すべての実行結果と実行間のばらつきを報告すること、そして引用する相関係数が統合値か設問内値かを明記することです。

## 注目すべき公開ベンチマーク

この分野全体をカバーする単一のベンチマークはまだ存在しません。以下は私たちが追跡している公開ベンチマークで、生成する証拠の種類別にまとめています。

<table>
<thead>
  <tr>
    <th>
      ベンチマーク
    </th>
    
    <th>
      測定対象
    </th>
    
    <th>
      証拠タイプ
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      <a href="https://social-simulation-arena.com" rel="nofollow">
        Social Simulation Arena
      </a>
    </td>
    
    <td>
      公表前にシールされた世論調査・経済調査の予測
    </td>
    
    <td>
      前向き、独立した学術チーム（<a href="https://github.com/Social-Atoms/social-sim-arena" rel="nofollow">
        コード
      </a>
      
      ）
    </td>
  </tr>
  
  <tr>
    <td>
      <a href="https://societies.ai/as-benchmark" rel="nofollow">
        Artificial Societies Benchmark
      </a>
    </td>
    
    <td>
      設問文実験を含む7件の公開研究の分布誤差
    </td>
    
    <td>
      事後的、公開タスクとコード、ベンダーが作成（<a href="https://arxiv.org/abs/2609.30030v2" rel="nofollow">
        論文
      </a>
      
      ）
    </td>
  </tr>
  
  <tr>
    <td>
      <a href="https://arxiv.org/abs/2510.17516" rel="nofollow">
        SimBench
      </a>
    </td>
    
    <td>
      多数の調査・行動データセットにわたる人間の回答分布への適合度
    </td>
    
    <td>
      事後的、学術
    </td>
  </tr>
  
  <tr>
    <td>
      <a href="https://arxiv.org/abs/2303.17548" rel="nofollow">
        OpinionQA
      </a>
    </td>
    
    <td>
      Pew American Trends Panelの設問における米国意見グループへの適合度
    </td>
    
    <td>
      事後的、学術（<a href="https://github.com/tatsu-lab/opinions_qa" rel="nofollow">
        コード
      </a>
      
      ）
    </td>
  </tr>
  
  <tr>
    <td>
      <a href="https://arxiv.org/abs/2306.16388" rel="nofollow">
        GlobalOpinionQA
      </a>
    </td>
    
    <td>
      国際比較調査からモデルがどの視点を反映しているか
    </td>
    
    <td>
      事後的、学術（<a href="https://huggingface.co/datasets/Anthropic/llm_global_opinions" rel="nofollow">
        データ
      </a>
      
      ）
    </td>
  </tr>
  
  <tr>
    <td>
      <a href="https://arxiv.org/abs/2502.16761" rel="nofollow">
        SubPOP
      </a>
    </td>
    
    <td>
      サブ集団の意見分布
    </td>
    
    <td>
      事後的、学術
    </td>
  </tr>
  
  <tr>
    <td>
      <a href="https://arxiv.org/abs/2505.17479" rel="nofollow">
        Twin-2K-500
      </a>
    </td>
    
    <td>
      2,000人以上のデジタルツインが500問以上に回答
    </td>
    
    <td>
      事後的、学術、再テスト形式
    </td>
  </tr>
  
  <tr>
    <td>
      <a href="https://arxiv.org/abs/2411.10109" rel="nofollow">
        1,052人のエージェント
      </a>
    </td>
    
    <td>
      各個人の2週間後の再テストと照合した個人回答
    </td>
    
    <td>
      事後的、学術
    </td>
  </tr>
  
  <tr>
    <td>
      <a href="https://www.treatmenteffect.app" rel="nofollow">
        社会科学実験の予測
      </a>
    </td>
    
    <td>
      調査実験における効果の方向と大きさ
    </td>
    
    <td>
      事後的、一部未公開研究を含む
    </td>
  </tr>
</tbody>
</table>

結果が存在する前に行われた予測を採点しているのは最初の1つだけです。他のベンチマークは手法開発に有用であり、ほとんどが公開されているため、どのチームでも再実行できます。ただし、それらの項目も公開されているため、モデルがトレーニング中に見ている可能性があります。だからこそ、前向きな結果が最も重要な意味を持ちます。

## 今後の展開

メッセージング・コピー、ウェブサイト・アプリ行動、メディア・エンタメ需要など、いまだ誰もスコア付きの公開結果を持っていないカテゴリがいくつかあります。また、単一の研究のみに基づくカテゴリもあります。これらは未開拓の領域であり、事前コミット台帳を通じて埋めていきます。予測をコミットし、実際の結果を待ち、スコアを公開します。

Minds Mosaicは[Social Simulation Arena](https://social-simulation-arena.com)にminds-mosaicとして参加登録しており、2026年米国中間選挙ラウンドと11月から解決される週次調査ラウンドの予測を事前にシールして提出しています。[予測台帳](https://forecasts.getminds.ai)への調査追加を継続し、結果が出るたびに公開し、カテゴリ別に、ノイズフロアと併せて報告します。また、Aaruの公開プロトコルを2026年の新しい研究で実行しています。

Minds Mosaicはオーディエンスシミュレーションのフロンティアモデルです。母集団と設問を与えると、実際の結果が存在する前に回答分布全体を予測します。公開調査が最初のテストです。次に、Mosaicは行動の予測で評価されます。購買と視聴の予測を、人々が実際に購入・視聴したものと照合します。また、上記の未開拓カテゴリや、今後数カ月にわたって解決されるアリーナラウンドでも評価されます。いずれも結果が出る前にコミットし、公開の場でスコアを算出します。

オーディエンスシミュレーションモデルの精度数値を公表している方がいれば、これらのカテゴリのいずれかで共同の事前コミットテストを実施することを歓迎します。このカテゴリが調査を購入する人々の信頼を得るための最も確実な方法です。