모집단, 과업, 참조 데이터, 지표 및 모델 버전이 완전히 동일하지 않다면 합성 오디언스 정확도 수치를 단순 비교하여 순위를 매길 수 없습니다. 타당한 평가는 마케팅 문구가 아닌 오차 분포와 의사결정 적합성을 비교합니다.
현재 합성 오디언스 정확도에 대한 절대적인 순위표는 존재하지 않습니다. Electric Twin, Simile, Aaru, Artificial Societies, Minds 등이 인상적인 수치를 공개하고 있지만, 이 수치들은 각기 다른 과업을 측정한 결과입니다. 일부는 설문 분포를 비교하고, 일부는 에이전트와 실제 개인의 사후 자체 응답을 비교하며, 일부는 순위 상관관계를 보고하거나 네트워크 결과를 평가합니다. 이 수치들을 동일한 잣대로 비교해 순위를 매기는 것은 분석적으로 타당하지 않습니다.
우리가 던져야 할 질문은 더 구체적이어야 합니다. 고정된 시스템이 구매자에게 중요한 모집단, 의사결정, 언어, 자극(stimulus), 지표에 대해 얼마나 잘 작동하는가입니다. 이를 파악하려면 결과 격리, 사전 등록된 지표, 하위 그룹 보고, 실패 사례, 버전 출처(provenance) 기록이 필수적입니다.
현재 Minds가 공개한 실무 적용 벤치마크는 영국 Food Standards Agency의 Food and You 2 연구에서 발췌한 세 가지 식사 빈도 분포를 재현했습니다. 고정된 301개의 지속형 Z세대 Minds 코호트가 903개의 계획된 응답을 생성했습니다. 21개 응답 옵션 셀 전체에서 평균 절대 격차는 6.01%포인트였으며, 이는 93.99%의 종합 근사치(aggregate approximation)로 표현됩니다. 평균 분포 중복도는 78.98%, Pearson 상관계수는 0.804, Spearman 상관계수는 0.834를 기록했습니다.
이 수치들은 해당 조사 도구에만 적용됩니다. 전체 검증 보고서에 명시되어 있듯이, 이 결과가 개인별 예측 정확도, 보편적 성능 또는 인과적 증명을 입증하는 것은 아닙니다. 실제 사람의 응답 비율과 벤치마크 파일은 런타임 외부에 격리되어 보관되었으나, 모델 사전 학습이나 지속형 지식 말뭉치를 통한 공개 설문의 간접 노출 가능성을 완전히 배제할 수는 없습니다.
Electric Twin은 2026년 정확도 논문과 구독자 기반 홀드아웃 데이터를 활용한 Times 케이스 스터디를 발표했습니다. Simile은 매주 7,000건 이상의 평가를 통해 검증을 수행하고 이를 기반으로 신뢰도 모델을 훈련한다고 설명합니다. Aaru는 EY 자산 관리 연구를 포함해 과업별 고객 및 파트너 사례를 공개하고 있습니다. Artificial Societies는 설문 분포 및 응답 일관성 평가 결과를 발표합니다.
이러한 자료들은 의미 있는 공개 증거입니다. 하지만 추정 대상(estimand)과 베이스라인이 다르기 때문에 단일 순위로 정렬할 수는 없습니다. 구매자는 각 벤더에게 부정적인 결과와 하위 그룹 꼬리(tail) 데이터가 포함된 구체적인 보고서를 요구해야 합니다.
잘 캘리브레이션된 신뢰도 계층은 결과가 정확할 가능성이 높은 시점을 예측합니다. 이는 홀드아웃 과업에서 신뢰도가 관찰된 오차와 일치할 때만 유용합니다. 확신에 찬 오답은 눈에 띄게 불확실한 오답보다 훨씬 위험합니다.
Simile은 예측된 신뢰도를 포지셔닝의 핵심으로 내세웁니다. 다른 플랫폼에 대해서도 캘리브레이션, 불확실성 또는 안정성 측정치를 제공하는지 확인해야 합니다. Minds는 지원되는 파이프라인에 대한 방법론 진단을 제공하고 적용된 검증의 한계점을 공개하지만, 단 하나의 벤치마크를 모든 연구를 위한 신뢰도 모델로 설명해서는 안 됩니다.
합성 시스템은 프론티어 모델, 제공업체 API, 프롬프트, 검색, 소스 말뭉치, 페르소나 구축, 오케스트레이션, 후처리, 결정론적 계산기 등 독립적으로 변화하는 여러 계층에 의존합니다. Electric Twin의 공개 논문은 API 모델 개선을 포함한 여러 계층의 개선 효과를 다루고 있어 유용합니다.
공개된 데이터로는 단 하나의 절대적 우승자를 가릴 수 없습니다. 벤더마다 측정하는 과업, 데이터셋, 지표, 베이스라인, 모델 버전이 모두 다르기 때문입니다. 공정한 판단을 내리려면 실제 비즈니스 의사결정에 맞춘 동일하고 결과 블라인드된 벤치마크가 필요합니다.
Minds 연구의 93.99% 근사치(approximation)는 무엇을 의미하나요?
영국 식품기준청(FSA) 설문 복제 연구에서 21개 종합 응답 옵션 셀에 걸쳐 측정된 평균 절대 백분율 포인트 격차를 100%에서 차감한 수치입니다. 이는 개인별 예측 정확도가 아니며, 제품 전반의 범용적인 정확도 수치를 의미하지도 않습니다.
모델 변경 시 검증은 어떻게 이루어져야 하나요?
주요 모델, 제공업체(provider), 프롬프트, 검색(retrieval), 모집단 또는 계산 로직이 변경되면 범위가 정의된 회귀 테스트를 수행해야 합니다. 구매자가 측정 환경 변화와 실제 성능 향상을 명확히 구분할 수 있도록 결과에 관련 버전을 반드시 기록해야 합니다.
