·Research·Alexander Doudkin, CEO & Co-Founder
一般的なAIのアイデアが収束し、ペルソナが収束しない理由
クリエイティブの多様性スコアにおいて、ペルソナ設定されたエージェントは10点満点中7.90点を獲得しました。これに対し、均一なベースラインは3.14点、人間の専門家は8.90点でした。
一般的なAIシステムは、同様の構造、同様の言葉遣い、同様の前提など、洗練されてはいるものの同じような回答を繰り返し生成しがちです。「Spark Effect」研究では、豊かに定義されたペルソナを用いることで、代わりに真に異なるアイデアを生み出せるかどうかを検証しました。
結果は顕著でした。クリエイティブの多様性において、ペルソナ設定されたエージェントの平均スコアは10点満点中7.90点であったのに対し、均一な単一エージェントのベースラインは3.14点でした。なお、人間の専門家の平均は8.90点でした。
クリエイティブ多様性の平均スコア
本研究で報告された結果です。表と考察では、研究範囲、比較基準、不確実性を明示しています。
ペルソナ設定されたSparkエージェント7.90
均一な単一エージェントのベースライン3.14
人間の専門家のリファレンス8.90
0スコア / 1010
| 最終指標 | 結果 | 測定対象 |
|---|
| ペルソナ設定されたSparkエージェント | 7.90/10 | クリエイティブ多様性の平均スコア |
| 均一な単一エージェントのベースライン | 3.14/10 | 豊かなペルソナ設定がない場合の平均スコア |
| 人間の専門家のリファレンス | 8.90/10 | 専門家が執筆した成果物の平均スコア |
| ペア比較におけるSparkの優位性 | +5.69ポイント | 7つのペアタスク全体で記録された平均の優位性 |
| 標準化効果量 | d = 2.88 | Sparkと均一なベースラインとの差異の大きさ |
7つのペア型クリエイティブタスクにおいて、均一なベースラインに対するSparkの優位性は5.69ポイントであり、コーエンのd = 2.88という大きな標準化効果量を示しました。
公開された論文では、初期のSpark導入前の専門特化型エージェント条件から最終的なSparkシステムへの、これとは別の4.1ポイントの改善も報告されています。これらは異なる比較であり、1つの数値に統合すべきではありません。
ベースラインでは、豊かなペルソナ設定を持たない1つのエージェントを使用しました。一方、Sparkシステムでは、明確なアイデンティティ、動機、スタイル、優先事項、および明示的な境界線を持つエージェントを使用しました。
同じ一般的なアシスタントのコピーを複数作成してアイデアを求めるのではなく、この手法では意図的に多様なチームを編成しました。あるエージェントは測定可能なビジネス価値に焦点を当て、別のエージェントは持続可能性に、また別の一人は文化的意味に、そしてもう一人は耳の痛い反論に焦点を当てる、といった具合です。
目的は演劇的なロールプレイングではありません。アイデアの収束を抑えることが目的でした。
この研究では、実際のクリエイティブタスクにおける複数の実験条件からの出力を比較しました。LLM評価者が、人間がラベル付けしたリファレンス成果物に使用されたものと同じルーブリックに基づいて、各結果の多様性をスコアリングしました。
各条件の平均値は以下の通りでした。
- 均一な単一エージェントのベースライン：3.14
- 初期の専門特化型エージェント：3.76
- 最終的なペルソナ設定されたSparkエージェント：7.90
- 人間の専門家のリファレンス：8.90
評価者は人間の成果物を元の人間による評価よりも高く再スコアリングし、1.32ポイントの楽観バイアスがあることが明らかになりました。このバイアスがあるため、最も支持できる解釈は条件間の相対的な差異であり、マシンのスコアが創造性の客観的な尺度であるという主張ではありません。
改善は3つの実用的な領域で現れました。
第一に、エージェントは1つの合意された推奨事項を繰り返すのではなく、より幅広い戦略を提案しました。第二に、異なるペルソナが、均一なベースラインでは見落とされがちだった倫理的、環境的、文化的な対立点を浮き彫りにしました。第三に、トーンやフレーミングがより自然に変化し、クリエイティブチームに対して、同じ回答の10個のバリエーションではなく、真の選択肢を提供しました。
Mindsも同じ基本原則を採用しています。それは、個々の合成回答者が1つの一般的な声に収束してはならないということです。明確なプロフィール、知識、動機、および制約を持たせることで、パネルが意見の相違や異なる推論プロセスを生み出すことが可能になります。
リサーチチームにとって、多様性は正確性と同義ではありません。しかし、それは重要な前提条件です。すべてのメンバーが同じ親切なアシスタントのように回答していては、パネルが多様なオーディエンスを代表することはできません。
この研究は、ペルソナ設定が、均一なエージェント構成と比較して、クリエイティブの多様性を実質的に向上させることができるという証拠を示しています。また、慎重に設計されたマルチエージェントシステムが、人間の専門家の成果物に見られるバリエーションに大幅に近づくことができることも示しています。
このベンチマークは、限定されたクリエイティブタスクのセットを対象とし、1つのモデルファミリーを使用しました。また、スコアリングは測定可能な楽観バイアスを持つLLMの判定に依存していました。したがって、この研究は、すべてのペルソナがあらゆるタスクを改善することや、Sparkの出力が人間の創造性と同等であることを証明するものではありません。
また、これはクリエイティブの多様性をテストしたものであり、消費者調査の正確性をテストしたものではありません。外部妥当性の証拠については、合成オーディエンスの実態検証およびMindsにあえて不確実性を持たせることで調査エラーを半減をご覧ください。
arXivのプレプリント全文はこちらからお読みいただけます：The Spark Effect: On Engineering Creative Diversity in Multi-Agent AI Systems
