PRISMアライメント：ホールドアウト回答における参加者適合性の検証

外部のPRISM Alignment Datasetを用いた確証的比較において、フル機能のMindsはブラインドによる参加者適合性評価で32.6%の勝率を記録し、属性プロンプトの25.7%、汎用プロンプトの20.5%を上回りました。最も顕著な改善が見られたのは、価値観の表出、具体性、そして定型的な回答の少なさでした。

なお、このPRISMデータセットは外部ベンチマークです。Minds独自のPRISMソースモデリングエンジンとは異なります。

参加者、ターゲット、検証条件

本調査では、英国の参加者299人と869件の参加者-ドメイン項目を評価しました。3つの検証条件（プロダクションパイプラインを経由したフル機能のMinds、属性情報のみのプロンプト、汎用プロンプト）から、計2,607件のスコア化された出力が生成されました。

選定は結果に対してブラインドで行われ、実際の参加者の回答は生成対象からホールドアウト（除外）されました。単一のブラインドLLM判定モデルが、条件を匿名化し長さを揃えた出力を比較評価しました。これは自動化された参加者適合性評価であり、独立した人間の評価者による検証ではありません。

判定モデルが評価した結果

事前登録された全体比較では、Mindsは汎用プロンプトに対して12.04パーセントポイント、属性プロンプトに対して6.69ポイントの優位性を記録しました。これらは登録された比較推定値であり、個別に集計・表示された比率の単純な引き算に置き換えるべきではありません。

勝率はサーベイ近似ではありません。これは、判定基準に照らして判定モデルがその候補をより参加者に合致していると評価したことを意味するものであり、同一割合の人々の回答を厳密に再現したことを示すものではありません。また、相当な割合の引き分けが含まれている点も、この結果の重要な一部です。

タスクの境界と限界

価値観重視型および論争重視型のタスクで最も明確な優位性が確認されました。これらの質問は参加者の根拠や過去に表明された視点に左右されやすいため、より充実したグラウンディングが直接的な効果を発揮します。

ただし、この優位性はすべてのタスクに当てはまるわけではありません。日常的な短いプロンプトにおいて、Mindsの勝率は13.8%にとどまり、汎用プロンプトの30.5%や属性プロンプトの34.0%を下回りました。ガイダンスなしのプロンプトでも同様に劣勢でした。全体の意味的類似度には有意な改善が見られず、長さを揃えた語彙類似度は両ベースラインよりも低い結果となりました。

こうした知見から、全体の結果は限定的なものであり、普遍的な回答忠実度の勝利ではないことがわかります。また、参加者適合性と単語表現の模倣は区別して捉える必要があります。回答は、表現自体を厳密に一致させずとも本人の根拠を反映することが可能であり、日常的で自然な回答には、必ずしも詳細なプロフィール情報が寄与するとは限りません。

本検証が裏付けるもの

本検証によって裏付けられる主張は、範囲が限定されているものの実用的です。グラウンディングされたMindsは、評価対象コホート全体において、特に価値観と具体性の面で、判定された参加者適合性を向上させました。より強固な忠実性の主張には、独立した人間の評価者や追加ドメインでの検証が引き続き不可欠です。

ホールドアウトインタビュー検証では、他の2つのコーパスにおける過去のエビデンスと以降の回答を検証しています。基盤モデルとの比較では、そのグラウンディングワークフローが汎用モデルの回答とどのように異なるかを論じています。エビデンス概要では、これらの定性的指標とサーベイ近似を明確に区別して整理しています。

参照データ

PRISM Alignment Dataset