Minds 성공 사례: AI 계약서 추출 신뢰도

방법론

Minds 플랫폼에서 진행된 타겟 오디언스 시뮬레이션은 310명의 법무 운영 매니저와 기업 자문 변호사들이 AI 기반 계약 수명 주기 관리(CLM) 시스템과 어떻게 상호작용하는지 분석했으며, 특히 사용자가 자동화된 조항 추출을 신뢰하지 않는 정확한 용어 영역을 격리하여 조사했습니다. 이 시뮬레이션은 실제 리걸테크 도입 트렌드와 고도로 일치하는 결과를 보여주었으며, Kantar의 기존 소비자 행동 프레임워크 및 업계 벤치마크를 통해 검증되었습니다. 결과에 따르면 법률 분야의 AI 도입은 증가하고 있지만, 고위험 조항을 추출할 때는 여전히 깊은 신뢰도 격차가 존재하는 것으로 나타났습니다.

자동 조항 추출의 신뢰도 격차

법무 부서가 더 적은 자원으로 늘어나는 계약 건수를 처리해야 하는 압박에 직면하면서, 인공지능은 워크플로우를 가속화하는 핵심 도구로 부상했습니다. 그러나 최근 업계 보고서에 따르면, 법률 전문가의 최대 92%가 계약 관련 업무에 AI를 사용하고 있음에도 불구하고 생성형 AI의 검증되지 않은 출력물을 높은 수준으로 신뢰한다고 답한 비율은 22%에 불과했습니다. 이러한 격차는 차세대 CLM 플랫폼을 설계하는 리걸테크 제품 관리자들에게 심각한 병목 구간이 됩니다.

사용자가 실제로 도입하는 소프트웨어를 만들기 위해 제품 팀은 법률 전문가들이 모든 조항을 동일하게 취급하지 않는다는 점을 이해해야 합니다. 리스크가 낮은 행정 데이터는 최소한의 마찰로 자동화할 수 있지만, 고위험 법적 의무 조항은 강한 회의론을 불러일으킵니다. Minds 시뮬레이션은 이러한 신뢰도의 기울기를 매핑하여, 사용자가 수동 검토를 요구하는 정확한 언어적, 구조적 경계를 찾아냈습니다.

시뮬레이션 결과, 신뢰도 격차는 기술에 대한 막연한 거부감이 아니라 매우 합리적인 리스크 완화 전략인 것으로 밝혀졌습니다. 법무 운영 매니저들은 당사자 이름, 효력 발생일, 갱신 통지 기간과 같은 표준 메타데이터의 추출을 자동화하는 데는 매우 적극적이었습니다. 하지만 AI가 책임, 면책, 지식재산권을 규율하는 조항을 요약하거나 추출하려고 시도할 때는 신뢰도가 급격히 떨어졌습니다.

마찰이 심한 용어 격리 분석

이 연구의 핵심 차별점은 사용자가 AI 자동화를 거부하게 만드는 구체적인 법률 용어를 격리하여 분석했다는 점입니다. '계약서 검토'를 단일 카테고리로 평가하는 대신, Minds 시뮬레이션은 다양한 조항 유형과 추출 방식에 대한 사용자 반응을 테스트했습니다.

1. 책임 제한 및 예외 조항 (Carve-Outs)

시뮬레이션 결과 법무 운영 매니저의 72%가 책임 제한 조항을 검토할 때 수동 검토를 요구하는 것으로 나타났습니다. 불신의 주된 원인은 중과실, 고의적 위법 행위 또는 비밀 유지 의무 위반에 대한 예외와 같이 복잡한 예외 조항을 AI가 정확하게 포착하지 못하는 경우가 많기 때문입니다.

CLM 플랫폼이 책임 제한에 대한 단순화된 요약(예: '책임은 연간 계약 가치의 1배로 제한됨')을 제시할 때, 변호사들은 즉시 무엇이 누락되었는지 걱정하기 시작합니다. '결과적 손해 배상 청구권 포기'나 '면책 제외'와 같은 용어의 존재는 맥락에 맞는 정밀한 해석을 필요로 하는데, 범용 대형 언어 모델은 이를 놓치거나 지나치게 단순화하는 경우가 많습니다.

2. 면책 및 단독 과실

면책 조항은 또 다른 주요 마찰 지점으로, 시뮬레이션에 참여한 사용자의 64%가 자동 요약을 거부했습니다. 법률 전문가들은 제3자 청구에서의 리스크 배분에 매우 민감합니다. 시뮬레이션에서는 특히 다음과 같은 용어를 추출할 때 사용자들이 AI를 신뢰하지 않는다는 점이 부각되었습니다.

• '단독 과실' 대 '과실 비율에 따른 분담' 배분
• 방어 의무 (예: 면책 당사자가 '방어를 통제할 권리'를 갖는지 여부)
• 복잡한 지역적 또는 제품별 예외 조항을 포함하는 경우가 많은 지식재산권 침해 면책

소프트웨어 인터페이스에 사람이 이러한 특정 용어를 검증했다는 명확한 시각적 표시가 없다면, 사용자들은 일상적으로 AI 요약을 건너뛰고 원본 문서를 열어볼 것입니다. 이는 소프트웨어가 제공하도록 설계된 효율성 이점을 완전히 상쇄해 버립니다.

3. 지식재산권 및 존속 조항

해지 통지 기간은 자동화에 대한 신뢰도가 높은 편이지만(수동 검토를 요구하는 사용자는 31%에 불과), 해지 후 지식재산권의 존속 여부는 여전히 마찰이 큰 영역입니다. 법무 운영 매니저들은 AI 도구가 표준 '존속 조항'과 특허 라이선스 또는 데이터 보존 권리에 관한 미묘하고 비표준적인 수정 사항이 포함된 조항을 안정적으로 구분하지 못할까 봐 우려하고 있습니다.

신뢰를 위한 설계: CLM 벤더를 위한 제품 시사점

리걸테크 제품 관리자들에게 이러한 발견은 기능 개발 및 사용자 인터페이스 디자인을 위한 명확한 로드맵을 제공합니다. 신뢰도 격차를 좁히기 위해 소프트웨어는 '블랙박스형' 자동화에서 벗어나, 사용자에게 권한을 부여하는 '협업 워크플로우'에 집중해야 합니다.

세분화된 검증 상태 구현

계약서를 단순히 '검토됨' 또는 '처리됨'으로 표시하는 대신, CLM 플랫폼은 조항 수준에서 세분화된 검증 상태를 도입해야 합니다. 예를 들어 준거법이나 통지 주소와 같이 리스크가 낮은 조항은 'AI 추출됨'으로 표시하고, 책임 제한과 같은 고위험 조항은 사용자가 명시적으로 승인할 때까지 '수동 검토 대기 중' 상태로 유지해야 합니다.

맥락적 출처 근거 제시 (Source Grounding)

신뢰를 구축하려면 모든 AI 생성 요약이 원본 문서의 소스 텍스트와 직접 연결되어야 합니다. 사용자가 추출된 책임 제한 한도 위에 마우스를 올리면, 인터페이스는 PDF에서 해당 정보가 발견된 정확한 문단과 문장을 즉시 하이라이트해 보여주어야 합니다. 이를 통해 변호사들이 50페이지짜리 계약서를 뒤지지 않고도 빠르고 타겟팅된 확인을 수행할 수 있게 하여 '검증 비용'을 줄여줍니다.

맞춤형 플레이북 정렬

공개 데이터로 학습된 범용 AI 모델은 특정 기업의 리스크 허용 범위에 대한 맥락이 부족합니다. CLM 플랫폼은 법무 부서가 자체 협상 플레이북을 업로드할 수 있도록 지원해야 합니다. AI가 사전 승인된 템플릿을 기반으로 회사의 표준 '면책' 문구에서 벗어난 부분을 플래그로 표시할 수 있다면, 도구의 리스크 감지 기능에 대한 사용자 신뢰도는 크게 향상될 것입니다.

Minds를 통한 리걸테크 리서치 가속화

기존의 오프라인 패널을 통해 이처럼 세분화된 사용자 리서치를 수행하는 것은 느리고 비용이 많이 들며 물류 측면에서도 까다롭습니다. 고액 연봉을 받는 법무 운영 디렉터와 기업 자문 변호사들을 수 주간의 포커스 그룹이나 설문조사에 모집하는 것은 종종 막대한 비용을 초래하고 제품 출시 주기를 지연시킵니다.

Minds는 1시간 이내에 깊이 있고 정확도 높은 타겟 오디언스 시뮬레이션을 제공함으로써 이러한 병목 현상을 해결합니다. 실제 법무 운영 데이터에 모델을 고정하고 입증된 기준 지표를 바탕으로 검증함으로써, Minds는 제품 및 마케팅 팀이 개발이나 오프라인 테스트에 예산을 쓰기 전에 새로운 기능 콘셉트, UI 디자인, 포지셔닝 메시지를 테스트할 수 있도록 지원합니다.

우리 플랫폼은 전적으로 EU 내 서버에서 운영되며 100% DSGVO를 준수하므로, 시뮬레이션 과정에서 어떠한 개인 사용자 데이터도 처리되지 않습니다. 이를 통해 리걸테크 기업들은 기존 패널 비용의 일부만으로, 응답자 모집 비용 없이 엄격하고 규정을 준수하는 시장 조사를 수행할 수 있습니다.

AI 기반 법률 소프트웨어를 개발 중이며 타겟 사용자가 자동화 기능에 어떻게 반응할지 정확히 파악하고 싶다면, 기존 리서치 방식과 Minds를 비교하여 시뮬레이션 인사이트의 속도와 깊이를 직접 확인해 보세요.

타겟 오디언스 시뮬레이션이 어떻게 제품 로드맵의 리스크를 줄이고 법률 전문가들이 신뢰하는 인터페이스를 설계하도록 돕는지 알아보려면, Minds 시뮬레이션의 라이브 데모를 확인하고 몇 분 만에 첫 연구를 시작하는 방법을 발견해 보세요.

검증 방법론에 대해 자세히 알아보고 지금 바로 타겟 오디언스 시뮬레이션을 시작하려면 Minds 가입 페이지를 방문하세요.