Mindsはスーパーボウル広告を人間と同じように順位づけるか

USA TODAY Ad Meter 2026の全54本の広告を、接地されたMind 100体からなるオーディエンスに見せ、それぞれの広告がどのくらい好きかを尋ねました。その後、回答をAd Meterの人間のパネルによる評価と比べました。

二つの順位は近いものでした。順位相関は0.79（95%区間 0.65～0.88）で、1,420組の広告ペアのうち80%で、Mindsと人間は同じ広告を上位に置きました。平均すると、広告のMindsスコアは人間のスコアから評価尺度の6.77%離れていました。

スコアは完璧ではありません。Mindsの評価は甘く、平均で尺度の5.12%分高めでした。また、スコアのばらつきは人間の0.70倍にとどまりました。順位は活用し、水準は補正する。これが結論です。

何をしたのか

米国の成人を反映するよう、Mind 100体のオーディエンスを構築しました。Mindは、固有のプロファイルと記憶を持つAI回答者です。オーディエンスは、調査の質問に答えるために使うMindのグループです。年齢、性別、地域は米国国勢調査局の2024年人口推計に従っています。人種・民族、学歴、就業状況は2024年のAmerican Community Surveyに従っています。支持政党（特定の政党に傾いている人を含む）はGallupの2025年の数値に、住んでいる地域社会の種類は2024年のGeneral Social Surveyに従っています。これらの属性の組み合わせは2024年のGeneral Social Surveyで観察されたパターンに従っているため、オーディエンスは属性を無作為に混ぜたものではなく、現実的な人々で構成されています。

各Mindは接地されています。学習済みのプロファイルと固有の知識ベースを持ち、知識項目の数は中央値で124件（Mindごとに102件から138件）です。5,400件の回答はすべて、回答したMind自身の知識を参照しており、1回答あたりの検索された文章は中央値で4件でした。Web検索を使った回答はありません。

54本の広告はすべて一つの調査に入れ、それぞれ完全な動画で提示しました。各Mindは、すべての広告について同じ質問に答えました。「広告NNは全体としてどのくらい好きですか？1（まったく好きではない）から5（とても好き）で評価してください。」NNは調査内での広告の番号です。つまり、Mind 100体 × 広告54本 = 5,400件の回答です。各Mindは五つの選択肢それぞれに確率を与え、ある広告に対するそのMindのスコアは評価の期待値です。広告のMindsスコアは、Mind 100体すべての平均です。以下の順位は、これらのスコアを並べ替えたものです。調査は英語で実施しました。

人間側のデータは、Super Bowl LXを対象としたUSA TODAY Ad Meter 2026です。USA TODAYによると、登録パネリストは約190,000人でした。各パネリストは対象となるすべての広告を同じ1から5の尺度で評価する必要があり、USA TODAYは平均評価で広告を順位づけています。各広告を何人が評価したかは公表されていません。

すべての広告を集計に含めています。難しい広告を除外したり、一致度の高い広告だけを残したりはしていません。

Mind 100体。全順位。

全54本の広告で、Mindsと人間のSpearman順位相関は0.79（95%区間 0.65～0.88）でした。Mindsのスコアを無作為に並べ替えた10,000回のうち、これほど高い相関に達したのは最大で1回でした（並べ替え検定 p ≤ 0.0001）。

順位をより具体的に読む方法があります。人間のスコアが異なる広告を任意に二つ取ります。そのようなペアは1,420組あります。そのうち1,134組、つまり80%で、Mindsも人間が好んだ方の広告を高く評価しました。こうした一致と不一致を数えるKendallのtau-bは0.59でした。

スコア間のPearson相関は0.78でした。人間が好んだ広告ほどMindsのスコアも高くなる傾向がありましたが、順序は同一ではありませんでした。

スコアはどのくらい近かったか

評価は1から5の尺度のまま示します。差は尺度の幅に対する割合で示します。尺度の幅は4ポイントなので、0.4ポイントの差は尺度の10%です。

平均すると、広告のMindsスコアは人間のスコアから尺度の6.77%離れていました（95%区間 5.46%～8.11%）。「絶対」とは、高すぎる評価も低すぎる評価もどちらも外れとして数え、互いに打ち消し合わないという意味です。差の中央値は6.50%でした。大きな外れをより重く扱う二乗平均平方根の差は8.43%でした。

残りの差の多くは一定のずれです。他の53本の広告から平均バイアスを推定し、それを各広告から差し引くと、平均の差は尺度の5.59%に下がります。この補正は参考として示したもので、主要な結果は補正前のスコアを使っています。

上位と下位

クリエイティブチームにとって最も重要なのは、順位の両端です。並べて示します。

人間の上位三本のうち二本は、Mindsでも上位三本に入りました。人間の1位だったBudweiserはMindsでは4位、Mindsで3位だったToyotaのSuperhero Beltは人間では20位でした。

下位三本の重なりはより少なく、両方に入ったのはCoinbaseだけでした。人間の下位三本の残り二本、RoとSvedkaは、Mindsでは49位と51位で、やはり下位の近くでした。グループを大きくすると、重なりは増えます。

Mindsは何でも好んだわけではありません。Mindsが最も低いスコアを付けたのは、人間も低く評価した広告でした。人間の下位三分の一にあたる18本のうち14本が、Mindsでも下位三分の一に入りました。

System1 Groupによるアーカイブアップロード。公式のアップロードは公開されていません。

YouTube ↗

Budweiser：人間のスコア 4.00、Mindsのスコア 3.46。

YouTube ↗

Toyota：人間のスコア 3.04、Mindsのスコア 3.51。

YouTube ↗

Coinbase：人間のスコア 2.06、Mindsのスコア 2.49。

Mindsが最も近かったのはどこか

ほぼ同じスコアになった広告もありました。これらの例はスコア算出後に選んだものです。上記の結果はすべて、引き続き全54本の広告を含んでいます。

YouTube ↗

Rocket and Redfin：人間のスコア 3.27、Mindsのスコア 3.27。

所有者がこの動画の他のWebサイトでの再生を許可していません。カバー画像またはYouTubeのリンクを開いて視聴してください。

YouTube ↗

NFL：人間のスコア 3.23、Mindsのスコア 3.24。

YouTube ↗

Levi's：人間のスコア 3.02、Mindsのスコア 3.03。

どこで外れたか

最も大きな差はすべて過大評価でした。Mindsは次の三本の広告を、人間よりずっと好みました。

YouTube ↗

Wix：人間のスコア 2.38、Mindsのスコア 3.20。

YouTube ↗

Apartments.com and Homes.com：人間のスコア 2.63、Mindsのスコア 3.40。

公式のアップロードは放映された広告より長いものです。Mindsは放映された30秒版を評価しました。

YouTube ↗

Anthropic：人間のスコア 2.45、Mindsのスコア 3.20。

これはより広いパターンの一部です。Mindsは54本中42本の広告を人間の平均より高く評価し、平均すると尺度の+5.12%分高く評価しました。また、スコアの幅も縮まりました。Mindsのスコアのばらつきは、人間のスコアの0.70倍にとどまりました。人間が最も好んだ広告は過小評価され、最も好まなかった広告は過大評価される傾向がありました。最大の過小評価は1位の広告そのものでした。人間はBudweiserに4.00、Mindsは3.46を付けました。

これらの外れは、上記のすべての結果に含まれています。スコアを近く見せるための補正はしていません。

クリエイティブチームにとっての意味

役に立つのは順位です。54本の実際の広告で、Mindsはペアの5組中4組で強い広告を弱い広告より上位に置き、Mindsの下位三分の一は人間の下位三分の一とおおむね一致しました。そのため、Mindsのオーディエンスは、クリエイティブ案を素早く仕分けし、費用をかける前に弱い表現を見つける手段になります。

絶対的な水準には補正が必要です。Mindsスコアの3.4は、人間のスコアの3.4ではありません。今回のエビデンスでは、尺度の約5%分高めに出る可能性が高く、広告間の差も実際より小さく見えます。Mindsスコアを公表される評価の予測として読むのではなく、広告同士を比べるか、既知の人間のベンチマークに対して補正してください。

次のステップは、ブラインドの事前検証です。広告の放映前にオーディエンスと質問を固定し、人間の結果が出る前にMindsのスコアを公表します。

この研究の読み方

• オーディエンス：米国の成人を反映するよう構築したMind 100体。Ad Meterのパネルは自己選択によるもので、属性構成は公表されていません。そのパネリストを再現したわけではありません。
• 接地と汚染：実行前に、固定したルールで、Super Bowl、Ad Meter、または2026年のキャンペーンに触れた知識項目107件を削除しました。開始時点で残っていたものはありません。
• 事前登録：仮説、スコア算出方法、すべての指標は実行前に固定しました。回答は、人間のスコアを開く前に暗号学的ハッシュで封印しました。
• ブラインド化：回答が封印されるまで、別の管理者が人間のスコアを保管しました。開始前の時点で、分析者はプレスリリースから一つの結果を知っていました。Budweiserが1位だったことです。
• 事前知識：Ad Meter 2026の結果は2026年2月に公表されました。Mindsの知識からは削除しましたが、基盤となる言語モデルが学習中に広告やその報道を見ていた可能性があります。これはブラインドの予測ではなく、事後的な検証です。
• モデル：調査はMindsの標準ルーティングで実行しました。5,322件の回答はgemini-3.8-flash、61件はgemini-3.5-flash-lite、17件はgpt-5.6-terraによるものです。特定のモデルに固定はしていません。
• 範囲：1回の調査、全体的な好感度についての1問、54本の広告。USA TODAYは広告ごとのサンプルサイズを公表していないため、人間側の不確実性はモデル化していません。
• 頑健性：評価の期待値ではなく、各Mindが確定させた単一の回答でスコアを算出しても、結果はほぼ同じです。Spearman 0.79で、平均の差もほぼ同じでした。
• Mindsの平均の差は、どの広告についても、すべての広告に3と答えた場合より小さくなりました。これは事前登録したチェックです（片側 p = 0.0009）。
• モデル対照なし：この研究では、同じモデルで単純なプロンプトを使った比較を行っていません。そのため、接地そのものがどれだけ寄与したかは示していません。
• 1組の広告のみ：この結果は1回のスーパーボウルの54本の広告を対象としています。ほかの広告では一致の度合いが異なる可能性があります。

結論は限定的です。この研究では、接地されたMind 100体がAd Meter 2026の54本の広告を人間のパネルとよく一致する順に並べ、スコアは尺度の約5%分高めでした。未知のキャンペーン、個々の視聴者、売上について同じ精度を主張するものではありません。

すべての広告。すべての比較。

以下では、全54本の広告を人間の順位順に示します。各チャートは同じ1から5の尺度で平均好感度を比べており、差が誇張されないようゼロから描いています。表には正確なスコアと順位を示しています。同点のスコアは同じ順位です。除外した広告はありません。各広告に、動画（所有者が埋め込みを許可していない場合は動画へのリンク付きカバー画像）、グラフ、スコア、差を掲載しています。

Budweiser · American Icons

System1 Groupによるアーカイブアップロード。公式のアップロードは公開されていません。

YouTube ↗

絶対差：13.45%

Lay's · Last Harvest

YouTube ↗

絶対差：3.38%

Pepsi · The Choice

Campaign Unpackedによるアーカイブアップロード。公式のアップロードは公開されていません。

YouTube ↗

絶対差：0.67%

Dunkin' · Good Will Dunkin'

Campaign Unpackedによるアーカイブアップロード。公式のアップロードは公開されていません。

YouTube ↗

絶対差：3.86%

Michelob Ultra · The ULTRA Instructor

System1 Groupによるアーカイブアップロード。公式のアップロードは公開されていません。

YouTube ↗

絶対差：4.09%

Xfinity · Jurassic Park ... Works

公式のアップロードは放映された広告より長いものです。Mindsは放映された60秒版を評価しました。

YouTube ↗

絶対差：0.59%

Novartis · Relax Your Tight End

YouTube ↗

絶対差：5.21%

NFL · Champion

所有者がこの動画の他のWebサイトでの再生を許可していません。カバー画像またはYouTubeのリンクを開いて視聴してください。

YouTube ↗

絶対差：5.68%

Bud Light · Keg

Campaign Unpackedによるアーカイブアップロード。公式のアップロードは公開されていません。

YouTube ↗

絶対差：0.65%

Amazon Alexa · Alexaaaa+

YouTube ↗

絶対差：4.21%

Ring · Be A Hero In Your Neighborhood

YouTube ↗

絶対差：1.12%

Rocket and Redfin · America Needs Neighbors Like You

YouTube ↗

絶対差：0.08%

State Farm · Stop Livin' on a Prayer

Commercial Archivistによるアーカイブアップロード。公式のアップロードは公開されていません。

YouTube ↗

絶対差：1.11%

Dove · The Game is Ours

YouTube ↗

絶対差：0.58%

Uber Eats · Hungry for the Truth

Commercial Archivistによるアーカイブアップロード。公式のアップロードは公開されていません。

YouTube ↗

絶対差：3.91%

NFL · You Are Special

所有者がこの動画の他のWebサイトでの再生を許可していません。カバー画像またはYouTubeのリンクを開いて視聴してください。

YouTube ↗

絶対差：0.23%

Blue Square Alliance Against Hate · Sticky Note

YouTube ↗

絶対差：2.06%

Bosch · Justaguy

YouTube ↗

絶対差：6.12%

Universal Orlando Resort · Lil' Bro'

YouTube ↗

絶対差：9.09%

Toyota · Superhero Belt

YouTube ↗

絶対差：11.79%

Levi's · Backstory

YouTube ↗

絶対差：0.24%

Pringles · Pringleleo

YouTube ↗

絶対差：6.76%

Google · New Home

YouTube ↗

絶対差：7.35%

Toyota · Where Dreams Began

YouTube ↗

絶対差：8.54%

Hellmann's · Sweet Sandwich Time

YouTube ↗

絶対差：3.86%

T-Mobile · Tell Me Why (T-Mobile's Version)

VCU Brandcenterによるアーカイブアップロード。公式のアップロードは公開されていません。

YouTube ↗

絶対差：4.72%

Liquid I.V. · Take A Look

YouTube ↗

絶対差：4.60%

TurboTax · The Expert

YouTube ↗

絶対差：13.59%

Kinder Bueno · Yes Bueno 2026

YouTube ↗

絶対差：6.40%

Instacart · Bananas

YouTube ↗

絶対差：3.86%

Ritz · RITZ Island

YouTube ↗

絶対差：7.70%

Grubhub · The Feest

YouTube ↗

絶対差：9.14%

He Gets Us · More

YouTube ↗

絶対差：1.70%

Boehringer Ingelheim · Mission: Detect the SOS

YouTube ↗

絶対差：11.86%

MAHA Center Inc. · MAHA Real Food by Mike Tyson

YouTube ↗

絶対差：9.94%

Apartments.com and Homes.com · Can't Live There

YouTube ↗

絶対差：19.25%

Volkswagen · The Great Invitation: Drivers Wanted

YouTube ↗

絶対差：7.37%

Cadillac Formula 1 · The Mission Begins

公式のアップロードは放映された広告より長いものです。Mindsは放映された30秒版を評価しました。

YouTube ↗

絶対差：11.38%

Squarespace · Unavailable

公式のアップロードは放映された広告より長いものです。Mindsは放映された30秒版を評価しました。

YouTube ↗

絶対差：9.81%

Fanatics Sportsbook · Bet On Kendall

YouTube ↗

絶対差：0.62%

Hims & Hers · Rich People Live Longer

YouTube ↗

絶対差：8.79%

Nerds · Taste Buds

YouTube ↗

絶対差：8.68%

DraftKings · DraftKings Live-ish Super Bowl LX

beastlycharizard13によるアーカイブアップロード。公式のアップロードは公開されていません。

YouTube ↗

絶対差：6.59%

Oakley Meta · Athletic Intelligence is Here - Part Two

Bull N Bearによるアーカイブアップロード。公式のアップロードは公開されていません。

YouTube ↗

絶対差：8.01%

OpenAI · You Can Just Build Things

YouTube ↗

絶対差：12.73%

Anthropic · Can I get a six pack quickly?

公式のアップロードは放映された広告より長いものです。Mindsは放映された30秒版を評価しました。

YouTube ↗

絶対差：18.79%

Novo Nordisk · A New Way to Wegovy

Commercial Archivistによるアーカイブアップロード。公式のアップロードは公開されていません。

YouTube ↗

絶対差：9.83%

Oakley Meta · Athletic Intelligence is Here - Part One

J’aime les startupsによるアーカイブアップロード。公式のアップロードは公開されていません。

YouTube ↗

絶対差：13.52%

Poppi · Make it poppi

Commercial Archivistによるアーカイブアップロード。公式のアップロードは公開されていません。

YouTube ↗

絶対差：2.18%

Wix · Wix Harmony: The New Way to Create

YouTube ↗

絶対差：20.40%

SalesForce · @MrBeast's Vault

YouTube ↗

絶対差：1.35%

Ro · Healthier on Ro

YouTube ↗

絶対差：9.14%

Svedka · Shake Your Bots Off

YouTube ↗

絶対差：8.09%

Coinbase · Everybody Coinbase

YouTube ↗

絶対差：10.76%

データと出典

• データ：全54件の比較のCSV。人間とMindsのスコア、順位、差、各広告に使用した動画を含みます。
• 人間の結果：USA TODAYによるAd Meter 2026の発表と2026年の全順位。
• 方法：接地されたMind 100体、1回の調査、54本の完全な動画、1問、5,400件の回答。人間のスコアは回答が封印されるまで伏せていました。事前登録した結果：順位相関と平均のスコア差。
• 動画：YouTubeから埋め込んでいます。広告主自身のアップロードが公開されていればそれを使い、なければ放映された広告のアーカイブアップロードを使っています。カバー画像はそれらの動画のスチルです。

USA TODAY、Ad Meter、およびすべてのブランドは、広告と人間側のベンチマークを特定するためにのみ名前を挙げています。MindsはUSA TODAYやいずれの広告主とも提携関係になく、スポンサーや推奨を受けてもいません。すべての広告の権利はそれぞれの所有者に帰属します。

検証研究の概要では、この結果を他の公開ベンチマークと並べて示しています。方法論では、Mindsのオーディエンスの構築方法を説明しています。