Minds Mosaicのご紹介：オーディエンスシミュレーションの最前線を走る

Minds Mosaicは、オーディエンスシミュレーションのためのフロンティアモデルです。対象母集団と調査設問を与えると、その母集団が各回答選択肢にどのように答えるか、調査実施前に全分布を予測します。

このような予測は、実際の結果と照合して初めて意味を持ちます。そのため、私たちはMosaicの評価を公開の場で行っています。すべての予測は、調査結果が公表される前にコミットされタイムスタンプが付与され、スコアはミスも含めて公開台帳に記録されます。独立した第三者のアリーナに参加し、事前にシールされた予測を採点してもらっています。また、競合他社の公開ベンチマークでも直接対決を実施しました。

合成回答ベンダーは今や各社が精度の数値を公表していますが、それらは異なるデータ、異なる指標、異なる条件から導かれています。本稿では、まず各ベンダーの総合数値を示したうえで、公開結果を実際の購買担当者が利用するユースケースカテゴリに整理し、同一データで測定された数値のみを直接比較します。

要点まとめ

• オーディエンスシミュレーションを15のユースケースカテゴリに整理しました。政治世論調査から広告、オープンエンドインタビューまでを網羅し、同一カテゴリ・同一データの数値のみを直接比較します。
• 政治・世論調査において、結果公表前にコミットしたMinds Mosaicの予測は、7つの調査24設問にわたる分布誤差（TVD）が0.023です。経済センチメント調査では、6つの調査53設問で0.039です。
• Artificial Societiesの公開ベンチマークでは、Mosaicは社会的態度の両ソースで誤差が小さく、パーソナリティの3ソースのうち2つでも優位、サブグループでも上回ります（0.053対0.063）。全体では両社の規約に基づき同水準で、0.083対0.082です。
• 本稿で取り上げたプロバイダーの中で、調査実施前にコミットした調査予測の継続的な記録を公開しているところはありません。私たちの台帳はforecasts.getminds.aiで公開しています。プレーンなMarkdownとJSONファイル、タイムスタンプの証明、および検証スクリプトを提供しています。

カテゴリ横断の総合精度

Minds Mosaicと他の2社は、テストしたすべてのカテゴリを統合した分布誤差（TVD）の総合値を公表しています。数値が低いほど優れており、次のセクションで指標の詳細を説明します。

以下の表は、各数値の背景にあるデータとソースを示し、回答選択肢ごとの平均誤差（MAE）および各社が公表している場合の統合相関係数を記載しています。

4社は独自のスケールで総合数値を公表しており、TVDやMAEに換算することはできません。

• Simile: エージェントは個人の調査回答を、その人が2週間後に自分自身に示す一貫性の約85%で再現します（最新版プレプリントではデータソースにより82%から86%）。
• Evidenza: 「88%の精度」と説明されており、100件以上の検証における合成調査と従来型調査の平均一致率として定義されています。
• Synthetic Users: インタビューコンテンツの加重評価指標「Synthetic Organic Parity」が85%から92%。
• Electric Twin: 上記の96%に加え、独自の全分布スコア（NDAM）で92%。

数値の読み方

最もよく使われる2つの指標は、互換性がありません。

全変動距離（TVD） は0から1の範囲で示されます。実際の結果と一致させるために移動が必要な回答分布の割合です。TVDが0.05であれば、分布の5ポイント分が誤った位置にあることを意味します。

平均絶対誤差（MAE） は、回答選択肢ごとの平均誤差をパーセントポイントで示します。同じ予測でも、MAEはTVDをポイント表示したものよりも通常はるかに小さくなります。TVDは選択肢間の誤差を合計し、MAEはそれを平均するためです。3.5ポイントのMAEと7.6ポイントのTVDが同じ結果を表すことがあります。

相関係数にもラベルが必要です。すべての設問のすべての回答選択肢にわたって統合された相関係数は、合理的な手法であればほぼどれでも高くなります。選択肢の中には常に大きいものと小さいものがあるためです。設問内の相関係数ははるかに厳格です。以下で統合相関係数を引用する場合は、自社のものも他社のものも含めてその旨を明記します。

オーディエンスシミュレーションの15カテゴリ

オーディエンスシミュレーションの用途は多岐にわたります。投票意向の予測が得意なシステムが、動画広告への反応予測でも同様の性能を示すとは限りません。私たちは、予測対象と正解データの種類に基づいて、業務を15のカテゴリに分類しています。

次の2つの表は、2026年11月1日時点で各カテゴリにスコア付きの結果を公表しているプロバイダーを示しています。「あり」は、そのカテゴリに少なくとも1件の公開スコア付き結果が存在することを意味します。以下のセクションで各結果の背景データを説明します。Art. Soc.はArtificial Societies、E. TwinはElectric Twin、Syn. UsersはSynthetic Usersの略称です。

各精度主張の生成条件

カテゴリは何を測定したかを示します。条件は、その数値がどれだけ信頼できるかを示します。

各社の2026年11月1日時点の公開資料に基づきます。空欄は、公開されている主張にその情報が示されていないことを意味します。

事後テストは、すでに公開されているか、またはベンダーが保有している調査データに対してシステムを実行するものです。開発段階では有用であり、私たちを含むこの分野のすべてのチームが活用しています。その限界はよく知られています。モデルが結果をすでに見ている可能性があること、どの設問を含めるかの選択が回答を参照した状態で行われること、そしてベンダーが自己採点することです。

事前コミット予測はこれらの問題を解消します。予測は結果が存在する前に確定されるため、結果に合わせて調整することができません。また、予測者が見ることのできなかった数値に対してスコアが算出されます。調査開始前にコミットすることはさらに強力です。調査に関する情報が一切漏洩していない状態だからです。これは選挙予測や経済予測で使われる標準であり、オーディエンスシミュレーションが満たすべき基準です。

上記のプロバイダーの中で、調査実施前にコミットし事後にスコアを算出した調査予測の継続的な記録を公開しているところはありません。Aaruは2024年米国大統領選挙の予測を投票日前日に公表しました。Electric Twinは、LSEのチーフサイエンスアドバイザーが主導する事前登録済みの学術研究に資金提供し、合成回答と7つの人間サンプリングサービスを比較しました。Simileのパートナーホワイトペーパーは、調査開始前に新しい結果を予測した内部テストを説明していますが、予測自体は公開していません。私たちの台帳はすべての予測とすべてのスコアを公開しています。

Minds Mosaic予測台帳の仕組み

対象調査ごとに、コミット前に設問文、回答選択肢、対象母集団を正確に記録します。Minds Mosaicはその後、すべての設問の回答分布全体を予測します。各予測はハッシュ化され、追記専用の台帳に追加され、OpenTimestampsを通じてBitcoinブロックチェーン上にバッチ処理でタイムスタンプが付与されます。調査結果が公表されると、ミスや採点不能と判明した予測も含め、すべてのコミット済み予測を公式リリースと照合してスコアを算出します。各調査には証拠クラスが付与されます。調査開始前にコミットされたもの、または調査実施後・結果公表前にコミットされたものです。

台帳は意図的にシンプルな設計にしています。forecasts.getminds.aiでは、通常のファイルとしてダウンロードできます。現在のスコアカードを含むMarkdown形式のREADME、コミット済み予測ごとのJSONファイル、OpenTimestampsの証明、そしてすべてのハッシュとタイムスタンプを検証するスクリプトです。JSONファイルは機械可読フィードとしても機能するため、誰でも私たちの記録を検証したり、私たちに問い合わせることなく再採点したりできます。

オーストリア、フランス、ドイツ、日本、スペイン、英国、米国の77設問をカバーする13調査が結果を公表しており、これらすべての予測には結果公表前のBitcoinタイムスタンプが付与されています。これら全体でのMosaicの分布誤差は0.034、調査開始前にコミットした4調査では0.023です。

77設問全体で、回答選択肢ごとの平均誤差は1.37パーセントポイント、予測値と実際の回答割合の統合相関係数は0.993です。Minds Mosaicは、同一調査の過去公開結果を含む、コミット時点で入手可能なすべての公開情報を用いて予測します。調査結果の公表値は各調査機関に帰属します。台帳には私たちの予測とスコアのみを公開しています。以下のカテゴリ別セクションでは、これらの結果をユースケース別に分類して示します。

政治・世論調査

スコア算出済みの調査のうち7件は、米国と英国の政治・世論調査です。The Economist/YouGov、YouGovのGBトラッカー、Emerson、NPR/PBS News/Marist、Reuters/Ipsos、Find Out Now、Opiniumが対象です。24設問にわたるMosaicのコミット済み予測のTVDは0.023、回答選択肢ごとの平均誤差は1.10パーセントポイントです。調査開始前にコミットした4調査はすべてこのカテゴリに属し、19設問でTVDは0.023です。

また、Minds Mosaicを独立した学術リーダーボードであるSocial Simulation Arenaに参加登録しており、2026年米国中間選挙ラウンドの予測を事前にシールして提出しています。

このカテゴリの他の公開結果は異なるデータに基づいているため、グラフではなくリストで示します。Aaruは2026年レプリケーション研究において、政治・政策・公共問題573設問でサンプリング調整後の平均誤差2.21ポイントを報告しており、2024年米国大統領選挙の予測を1件公表しています。私たち自身のANES 2024およびCES 2024選挙調査の事後研究では、個別回答者レベルの平均分布誤差がそれぞれ8.33ポイントと4.72ポイントと報告されています。

経済センチメント

スコア算出済みの調査のうち6件は消費者センチメントを測定するものです。オーストリア、フランス、ドイツ、スペインの欧州委員会ハーモナイズド消費者調査、日本のESRI消費者信頼感調査、米国のConference Board指数が対象です。53設問全体で、MosaicのTVDは0.039、回答選択肢ごとの平均誤差は1.50ポイントです。

ミシガン大学調査、NY Fedの消費者期待調査、消費者調査の11月ウェーブのコミット済み予測は採点待ちです。本稿で取り上げた他のプロバイダーは、このカテゴリでスコア付きの結果を公表していません。

社会的態度・価値観

Artificial Societiesは、7つの調査ソースとスコアリング規約を含む公開ベンチマークを公表しており、論文arXiv 2609.30030で詳細を説明しています。私たちは、モデル呼び出し前にハッシュ化したプロトコルのもとでMinds Mosaicを実行し、採点前に生の出力をシールし、彼らのデータとスコアリングコードを使用しました。2つのソースは2024年General Social Surveyからのものです。

Mosaicの数値は3回の実行の平均値、Artificial Societiesの数値は公表値です。Mosaicは1リクエストにつき1設問を受け取り、General Social Surveyの過去公開ウェーブをラベル付きコンテキストとして使用しました。Mosaicはサンプル全体の分布を予測するのに対し、彼らの公表数値は各回答者をシミュレートした結果に基づいています。

このカテゴリの他の2つの結果は独自データを使用しています。Simileの1,052人のインタビュー済み米国人のエージェントは、General Social Surveyの個人回答を、その人が2週間後に自分自身に示す一貫性の約85%で再現します。私たちのGSS 2024研究では、17設問・360人のマッチング回答者にわたる平均分布誤差7.53ポイントを報告しています。

パーソナリティと心理測定

Artificial Societiesのベンチマークの3つのソースは、態度ではなくパーソナリティを測定しています。これは15カテゴリのいずれにも属さないため、別途報告します。

3回の実行の平均値であるMosaicは、ファセットと双子再テストで誤差が小さく、特性では同水準です。

設問文・調査設計効果

同ベンチマークの2つのソースは、スプリットバロット設問文実験です。同じ設問を2つのバージョンで尋ね、回答がどれだけシフトするかを測定します。

MosaicはJordan実験では同水準で、AlbertsonではArtificial Societiesの誤差が小さくなっています。Mosaicは両方のシフトの方向を正しく予測していますが、その大きさを過大評価しています。設問文効果は分布予測とは異なるタスクであるため、独立したカテゴリとして採点しています。

サブグループ・セグメント

サブグループは合成調査研究が最もよく使われる領域であり、同時に最も失敗しやすい領域でもあります。Artificial Societiesのベンチマークに含まれるGeneral Social Survey信頼項目の145の人口統計サブグループセルにおいて、MosaicのTVDは0.053で、彼らの0.063を下回ります。

私たちの台帳もサブグループのスコアを記録しています。The Economist/YouGovおよびYouGov GBのクロス集計から、年齢層、政党、2024年投票先などによる回答を含む69のコミット済みサブグループセルが得られており、MosaicのTVDは0.046です。

広告・動画・クリエイティブ

同一のクリエイティブデータで結果を公表しているプロバイダーはまだないため、このカテゴリでの直接比較はありません。Electric Twinは独自ベンチマークにおいて、予測値と実際のLikertスコア平均値の相関係数として画像で0.909、動画で0.861を報告しています。私たちのスーパーボウル研究では、100人のグラウンデッドシミュレーション回答者がUSA TODAY Ad Meter 2026の全54本の広告を評価し、Spearman相関係数0.85で人間パネルと近い順位付けを示しました。

コンセプト、価格、ブランド

このカテゴリの公開結果も各プロバイダー独自のデータに基づいています。

オープンエンド回答と行動

Synthetic Usersは「Synthetic Organic Parity」と呼ぶ加重評価指標でインタビューコンテンツを採点しており、85%から92%を達成しています。私たちのホールドアウトインタビュー研究では、グラウンデッドシミュレーション回答者が22人の実際の参加者が後日インタビューで述べた内容を66の回答にわたって反映するかどうかを検証し、汎用プロンプティングと比較して参加者エビデンスを活用することで明確な改善が見られました。

行動対表明意向については、Aaruがブランドランキングをクレジットカード購買データと比較し、同じレプリケーション研究において、ブランドペアの92.4%で一致したと報告しています。公開調査の検討意向データでは77.8%でした。

Artificial Societiesのベンチマーク総合結果

7つのソース全体では、MosaicとArtificial Societiesは同水準です。Artificial Societiesの規約（各ソースを等しく重み付けした最初の実行）では、Mosaicは0.083対0.082のスコアです。3回の実行の平均では、Mosaicは0.085です。Mosaicは7つのソースのうち5つで誤差が小さくなっています。設問文実験の2つを除くと、3回実行の平均でMosaicが0.084対0.091でリードしています。

公正なベンチマークの条件

過去2カ月間の実験、この分野の公開数値、そして公開アリーナへの参加から、同じ4つのルールが浮かび上がります。

1. 調査開始前にコミットする。 最初のインタビュー前に確定した予測は、回答に合わせて調整することができません。公表前のみのコミットは弱い条件です。調査終了後に結果が漏洩することがあるためです。実際の調査実施日と各結果の証拠クラスを記録してください。
2. ノイズフロアを公表する。 完璧な予測者でもサンプリング誤差を抱えます。約1,200サンプルの3択設問では約0.024 TVDです。信頼区間なしにこれより小さな差は意味を持ちません。
3. ユースケースカテゴリと刺激素材別に報告する。 世論調査、消費者センチメント、広告、コンセプト、ウェブサイトはそれぞれ異なるタスクです。テキスト設問、画像、動画、音声、インタラクティブフローも異なる刺激素材です。これらを統合した総合数値は、個々のタスクについてほとんど何も語りません。
4. 回答タイプ別に分類する。 単一選択、Likert・順序尺度、複数選択、数値回答、ランキング、MaxDiffなどの強制選択設計、オープンエンドテキストはそれぞれ独自の指標が必要です。複数選択の選択肢は個別のyes/no割合として採点し、順序尺度は順序を考慮したスコアで、自由回答はテーマ割合や埋め込み距離で評価すべきです。単一の判定者スコアは適切ではありません。

実践的なルールとして2点追加します。すべての実行結果と実行間のばらつきを報告すること、そして引用する相関係数が統合値か設問内値かを明記することです。

注目すべき公開ベンチマーク

この分野全体をカバーする単一のベンチマークはまだ存在しません。以下は私たちが追跡している公開ベンチマークで、生成する証拠の種類別にまとめています。

結果が存在する前に行われた予測を採点しているのは最初の1つだけです。他のベンチマークは手法開発に有用であり、ほとんどが公開されているため、どのチームでも再実行できます。ただし、それらの項目も公開されているため、モデルがトレーニング中に見ている可能性があります。だからこそ、前向きな結果が最も重要な意味を持ちます。

今後の展開

メッセージング・コピー、ウェブサイト・アプリ行動、メディア・エンタメ需要など、いまだ誰もスコア付きの公開結果を持っていないカテゴリがいくつかあります。また、単一の研究のみに基づくカテゴリもあります。これらは未開拓の領域であり、事前コミット台帳を通じて埋めていきます。予測をコミットし、実際の結果を待ち、スコアを公開します。

Minds MosaicはSocial Simulation Arenaにminds-mosaicとして参加登録しており、2026年米国中間選挙ラウンドと11月から解決される週次調査ラウンドの予測を事前にシールして提出しています。予測台帳への調査追加を継続し、結果が出るたびに公開し、カテゴリ別に、ノイズフロアと併せて報告します。また、Aaruの公開プロトコルを2026年の新しい研究で実行しています。

Minds Mosaicはオーディエンスシミュレーションのフロンティアモデルです。母集団と設問を与えると、実際の結果が存在する前に回答分布全体を予測します。公開調査が最初のテストです。次に、Mosaicは行動の予測で評価されます。購買と視聴の予測を、人々が実際に購入・視聴したものと照合します。また、上記の未開拓カテゴリや、今後数カ月にわたって解決されるアリーナラウンドでも評価されます。いずれも結果が出る前にコミットし、公開の場でスコアを算出します。

オーディエンスシミュレーションモデルの精度数値を公表している方がいれば、これらのカテゴリのいずれかで共同の事前コミットテストを実施することを歓迎します。このカテゴリが調査を購入する人々の信頼を得るための最も確実な方法です。