디스커버리 입문(2/7): 디스커버리 벤더 선정에 필수적인 세 가지 질문

그 업체 정말 괜찮을까?

일본 기업이 국제 소송에 휘말려 디스커버리 벤더를 선택해야 할 경우 어떻게 해야 할까요?

디스커버리 벤더를 선택할 때 '가장 해서는 안 되는 것'은 비용을 조금이라도 싸게 잡으려고 견적상(여기 주의!) 저렴한 가격을 제시하는 업체를 선택하는 것입니다.

'초기 대응'은 주로 변호사 선정과 디스커버리 벤더 선정, 그리고 리티게이션 홀드(증거 대상 문서 및 데이터 보호)를 의미한다. 여기서는 벤더 선정과 변호사 선정에 대해 알아보겠습니다.

' 디스커버리 입문(1/7): 디스커버리 벤더 선정은 남에게 맡기지 마세요! 에서 설명했듯이, 벤더 선정은 변호사에게만 맡기지 말고 기업의 소송 담당자와 변호사가 함께 고민하는 것이 이상적입니다. 이를 위해 할 수 있는 가장 간단하고 효과적인 방법은 변호사와 계약을 체결할 때 반드시 계약서에 '디스커버리 벤더 선정은 기업 본사에서 결정한다'는 문구를 넣는 것입니다. 이렇게 하면 변호사가 자신의 기득권을 지키기 위해 기업의 의사를 묻지 않고 벤더를 결정하는 상황을 방지할 수 있습니다.

또한, 벤더를 결정할 때 다음과 같은 질문을 던지는 것이 최소한 필요합니다.

프리딕티브 코딩은 컴퓨터가 검토 작업을 수행하는 것을 말한다.

좀 더 자세히 설명하자면, 일정한 샘플 데이타를 기반으로 미조사된 관련 파일을 자동으로 분류할 수 있는 '자동 파일 가중치 부여 기능'을 말한다.

기존에는 사람이 직접 육안으로 검토를 진행했지만, 사람이 장시간 작업하면 피로가 쌓여 작업 효율이 떨어지거나 정확도가 떨어질 수 있다. A라는 리뷰어가 평균 80%의 정확도로 체크할 수 있는 것을 B라는 리뷰어가 60%의 정확도로만 체크하거나, 같은 A라도 아침 일찍 작업한 것과 비교하면 저녁에는 정확도가 떨어질 수 있다.

컴퓨터는 지칠 줄 모른다

이 점에서 기계는 지칠 줄 모릅니다. 게다가 처리 속도도 빠르고 정확하다. 문서별로 중요도를 부여하는 등 데이터 분류에 있어서는 90% 이상의 정확도를 보인다고 한다. 업무에 따라서는 프리딕티브 코딩 머신 1대로 4,000명의 변호사와 맞먹는 속도와 정확도를 얻을 수 있다고 한다.

이 프리딕티브 코딩을 사용하면 디스커버리 비용을 확실히 낮출 수 있다. 그럼에도 불구하고 이를 사용하지 않으려는 벤더는 기술이 없거나, 검토에 따른 고가의 작업으로 인한 '맛'이 사라지기 때문에 굳이 채택하지 않는 것일 수도 있다. 그런 벤더는 후보에서 제외해야 한다.

다음으로 중요한 것은 '일본어 대응 여부'입니다. 일본에 진출한 벤더에게는 일본어 대응이 가능해야 한다는 것이 기본 전제가 되는데, 여기서는 그 품질에 대해 확인해 보도록 하겠습니다.

우선 기계뿐만 아니라 담당자가 일본어 대응이 가능한지 여부가 중요합니다. 단순히 '일본어 문서를 분석, 검토할 수 있는 시스템을 탑재하고 있다'는 것만으로는 이야기가 되지 않습니다.

일본어 대응 가능의 정의:

여기서 말하는 '일본어 대응 가능'이란 일본어를 모국어로 구사할 수 있는 사람이 프로젝트 매니저로 참여하여 기업의 사후관리까지 수행하는 것을 의미한다. 벤더 측 담당자가 일본어를 이해하지 못하는 경우, 발주처인 기업과의 커뮤니케이션은 영어로 진행하더라도 현장에서 발생하는 이상 징후를 알아차리기 어려울 수 있다. 예를 들어, 문자가 깨져있는데도 일본어 한자와 깨진 문자를 구분할 수 없다면, 다음 공정까지 문자가 깨져도 대응하지 않고 넘어갈 수도 있습니다.

또한, 키워드 검색의 단어 선정 등에서도 그 차이가 나타납니다. 이러한 작은 차이가 쌓여 결과적으로 납기나 비용의 큰 차이로 이어지는 경우가 적지 않습니다.

일본어 대응 범위와 정확도

다음으로 일본어 대응 범위와 정확도를 살펴보자.

데이터 수집부터 검토까지 일관된 일본어 대응이 불가능할 경우, 검토 전에 모든 서류를 번역해야 하는 경우가 발생하여 검토가 지연되고 비용도 비싸질 수 있습니다. 검토 전에 자료를 번역하다 보면 증거자료를 발견하지 못할 가능성도 있기 때문에 반드시 피해야 할 사항입니다.

(1)에서 소개한 '프리딕티브 코딩'에 대해서도 마찬가지입니다. 해외 벤더 중에는 '프리딕티브 코딩은 가능하지만 일본어에는 대응하지 않는다'는 곳도 있습니다. 견적을 받으려는 벤더가 일본어에 대응하는 프레디티브 코딩 기술을 보유하고 있는지 이 점을 특히 주의 깊게 확인하는 것이 좋다.

또한, 벤더가 '모든 범위에서 일본어에 대응하고 있다'고 주장하더라도 정확도는 벤더마다 차이가 있기 때문에, 정확도를 확인하기 위해서라도 시연을 요청하거나 리콜률이나 정밀도(아래 참조)를 확인해 보는 것을 추천합니다. 확인하는 것이 좋습니다.

프리딕티브 코딩이란?

프리딕티브 코딩 = 예측 부호화

인공지능 기술/텍스트 마이닝의 고도화된 분석 기능] [인공지능 기술/텍스트 마이닝의 고도화된 분석 기능

구조

학습할 교사 데이터에 따라 학습할 대상(전문지식, 집단지성)을 선택할 수 있다.

프리딕티브 코딩의 정확성을 가늠하는 지표 중 하나로 '리콜률'과 '정밀률'을 들 수 있다.

회수율(재현율) 은 검색 결과로 추출되어야 할 문서 중 실제로 올바르게 판단할 수 있는 문서의 비율을 말한다. 시스템의 포괄성을 나타내는 지표로, 관련성이 높은 자료를 나타내는 값인 '레레반트(Relevant)'의 포착률을 말합니다. 그 공식은 다음과 같이 표현됩니다.

반면, 정밀률(정확도)은 시스템에서 나온 결과에서 정말 정확한 문서를 추출할 수 있었던 비율을 말한다. 시스템의 정확도를 나타내는 지표로 '레레반트'의 판정 정확도를 나타냅니다. 그 공식은 다음과 같이 표현됩니다.

이 수치는 매우 복잡하고 일반인이 이해하기 어려울 수 있지만, 제대로 된 디스커버리 벤더라면 샘플에서 추출한 수치를 축적하고 있고, 과거 사용 사례를 제시할 수 있을 것이다.

하지만 이 수치를 애매모호하게 말하거나 데이터를 추출하지 않는 벤더는 주의해야 한다.

리콜률과 정밀성 비율

리콜 레이트(재현율)란?

프리딕티브 코딩에서 '관련성 있음'으로 추출한 문장 중 정확한 데이터를 얼마나 많이 포함하고 있는지를 나타내는 지표입니다.

정확도(정확도)란?

프리딕티브 코딩이 추출한 문장 중 정확한 데이터와 얼마나 일치하는지를 나타내는 지표.

세 가지 질문은 변호사를 판단하는 기준이 되기도 한다.

국제 소송에 익숙하지 않은 일본 기업의 경우, 디스커버리 벤더와 직접 협상하는 것이 부담스러운 경우도 있을 것이다. 또한, 변호사가 자사 임원과 친분이 있는 등 신뢰관계가 두터워 변호사가 벤더를 선정하는 것에 이의를 제기하기 어려운 경우도 있을 수 있다.

이런 경우에도 위의 세 가지 질문은 반드시 변호사에게 물어봐야 합니다. "괜찮습니다! 맡겨주세요"라고 말하는 변호사는 의심스러울 수밖에 없습니다. '괜찮다'는 말보다 구체적인 답변을 얻을 때까지 계속 질문하는 것이 중요하다. 변호사와의 대화로 해결이 되지 않는다면, 직접 벤더와 대화할 수 있게 해달라고 협상해야 한다.

만약 변호사가 완강히 거부한다면, 그 뒤에 있는 벤더의 실력과 대응력을 꼼꼼히 확인하는 동시에 변호사 자체도 재검토해 보는 것이 좋다. 즉, 벤더 선정의 잣대가 곧 변호사 선정의 잣대로도 작용할 수 있다는 뜻입니다.

이전 기사：디스커버리 입문(1/7): 디스커버리 벤더 선정은 남에게 맡기지 마라!

다음 기사：디스커버리 입문(3/7): '단가'의 디테일에 주목하라! 모르면 손해 보는 디스커버리 지원 견적의 속임수!