2025년 10월 17일 · Research · Alexander Doudkin, CEO & Co-Founder
일반적인 AI의 아이디어는 수렴하고, 페르소나의 아이디어는 수렴하지 않는 이유 창의적 다양성 점수에서 페르소나 설정 에이전트는 10점 만점에 7.90점을 기록한 반면, 단일 기준 모델은 3.14점, 인간 전문가는 8.90점을 기록했습니다.
일반적인 AI 시스템은 구조, 언어, 가정이 유사한, 다듬어진 답변을 반복해서 출력하는 경우가 많습니다. Spark Effect 연구는 풍부하게 정의된 페르소나가 그 대신 진정으로 차별화된 아이디어를 창출할 수 있는지 테스트했습니다.
결과는 매우 뚜렷했습니다. 창의적 다양성 점수에서 페르소나가 설정된 에이전트는 평균 10점 만점에 7.90점 을 기록한 반면, 단일 에이전트 기준 모델은 3.14점 에 그쳤습니다. 인간 전문가는 평균 8.90점을 기록했습니다.
평균 창의적 다양성 점수 이 연구에서 보고한 결과입니다. 표와 논의에는 연구 범위, 비교 기준 및 불확실성이 포함되어 있습니다.
페르소나가 설정된 Spark 에이전트 7.90
단일 에이전트 기준 모델 3.14
인간 전문가 기준 8.90
0 점수 / 10 10
최종 지표 결과 측정 대상 페르소나가 설정된 Spark 에이전트 7.90/10 평균 창의적 다양성 점수 단일 에이전트 기준 모델 3.14/10 풍부한 페르소나 설정이 없는 경우의 평균 점수 인간 전문가 기준 8.90/10 전문가가 작성한 작업물의 평균 점수 쌍을 이룬 Spark 우위 +5.69점 7개의 쌍을 이룬 작업 전반에서 기록된 평균 우위 표준화된 효과 크기 d = 2.88 Spark와 단일 기준 모델 간의 차이 크기
7개의 쌍을 이룬 창의적 작업 전반에서 단일 기준 모델 대비 기록된 Spark의 우위는 5.69점이었으며, 표준화된 효과 크기는 Cohen's d = 2.88로 매우 컸습니다.
발표된 논문은 초기 Spark 이전의 특화 에이전트 조건에서 최종 Spark 시스템으로 넘어가면서 나타난 별도의 4.1점 향상도 보고하고 있습니다. 이는 서로 다른 비교군이므로 하나의 수치로 합쳐서 해석해서는 안 됩니다.
기준 모델은 풍부한 페르소나 설정이 없는 단일 에이전트를 사용했습니다. 반면 Spark 시스템은 명확한 정체성, 동기, 스타일, 우선순위, 명시적 경계를 가진 에이전트들을 사용했습니다.
동일한 일반 비서의 복사본 여러 개에 아이디어를 묻는 대신, 이 방식은 의도적으로 다양하게 구성된 팀을 만들었습니다. 한 에이전트는 측정 가능한 비즈니스 가치에 집중하고, 다른 에이전트는 지속 가능성에, 또 다른 에이전트는 문화적 의미에, 그리고 또 다른 에이전트는 불편한 반론에 집중하는 식입니다.
목표는 연극적인 역할극이 아니었습니다. 목표는 아이디어의 수렴을 줄이는 것이었습니다.
이 연구는 실제 창의적 작업 전반에 걸쳐 여러 실험 조건의 출력 결과를 비교했습니다. LLM 평가자는 인간이 라벨링한 기준 작업물에 사용된 것과 동일한 루브릭을 바탕으로 각 결과의 다양성을 채점했습니다.
각 조건의 평균은 다음과 같았습니다.
단일 에이전트 기준 모델: 3.14 초기 특화 에이전트: 3.76 최종 페르소나 설정 Spark 에이전트: 7.90 인간 전문가 기준: 8.90 평가자는 인간의 작업물을 원래의 인간 평가보다 높게 재채점하여 1.32점의 낙관 편향(optimism bias)을 드러냈습니다. 이러한 편향 때문에, 기계 점수가 창의성의 객관적 측정치라고 주장하기보다는 조건 간의 상대적 차이로 해석하는 것이 가장 타당합니다.
개선 효과는 세 가지 실무 영역에서 나타났습니다.
첫째, 에이전트들은 하나의 합의된 권장 사항을 반복하는 대신 더 넓은 범위의 전략을 제안했습니다. 둘째, 서로 다른 페르소나들이 단일 기준 모델이 흔히 놓치던 윤리적, 환경적, 문화적 갈등 요소를 표면화했습니다. 셋째, 어조와 프레이밍이 더 자연스럽게 다양해져, 크리에이티브 팀에게 똑같은 답변의 10가지 버전이 아닌 실질적인 대안들을 제공했습니다.
Minds는 동일한 핵심 원칙을 사용합니다. 개별 가상 응답자가 하나의 일반적인 목소리로 수렴해서는 안 된다는 것입니다. 고유한 프로필, 지식, 동기, 제약 조건은 패널이 서로 다른 의견과 다양한 추론 경로를 도출하도록 돕습니다.
리서치 팀에게 다양성이 곧 정확성을 의미하는 것은 아닙니다. 하지만 이는 중요한 전제 조건입니다. 모든 패널 구성원이 똑같이 친절한 비서처럼 답변한다면, 그 패널은 다양한 대중을 대변할 수 없습니다.
이 연구는 페르소나 설정이 단일 에이전트 구성에 비해 창의적 다양성을 실질적으로 높일 수 있다는 증거를 제공합니다. 또한 정교하게 설계된 멀티 에이전트 시스템이 인간 전문가의 작업물에서 발견되는 다양성에 상당히 가까워질 수 있음을 보여줍니다.
이 벤치마크는 제한된 범위의 창의적 작업을 다루었으며 단 하나의 모델 제품군을 사용했습니다. 채점은 측정 가능한 낙관 편향을 가진 LLM 평가자에 의존했습니다. 따라서 이 연구가 모든 페르소나가 모든 작업을 개선한다거나, Spark의 출력이 인간의 창의성과 동등하다는 것을 증명하는 것은 아닙니다.
또한 이 연구는 소비자 조사 정확도가 아닌 창의적 다양성을 테스트합니다. 외적 타당성에 대한 증거를 확인하려면 가상 오디언스를 실제와 비교 테스트한 결과 및 Minds에 불확실성을 허용하여 조사 오차를 절반으로 줄인 방법 을 읽어보세요.
프리프린트 전문 읽기: The Spark Effect: On Engineering Creative Diversity in Multi-Agent AI Systems .
