용어집
2020년 3월 5일
텍스트 데이터를 지식으로 변경
2020년 4월 1일
‘제3차 인공지능(AI) 붐’이라는 말이 미디어에 다루어지게 된 뒤 5년 정도가 됩니다. AI를 사용하고 있다는 서비스는 세상에 많이 있어 연일 뉴스가 되고 있습니다만, 아직 인공 지능이 어떻게 사용되고 있는지, 자신들이 어떻게 사용하면 좋을지 잘 모르겠다는 사람도 있어 생강.또, 회사에서 「인공 지능을 사용해 뭔가 해라」라고 말했지만, 막혀 버렸다, 라고 하는 이야기도 많이 듣고 있습니다.
FRONTEO는 국제소송지원과 부정조사에서 시작하여 자연언어처리를 하는 독자적인 인공지능엔진「KIBIT(키비트)」을 2012년에 개발해 7년 가까운 자사에서의 활용과 4년 이상의 외부로 AI 솔루션을 제공하고 있습니다.여기에서는, 인공지능 활용의 출발점으로부터, 친밀한 「텍스트 데이터」를 해석하는 프로세스를 알고 받고, 지식으로부터 실천에 진행되는 계기를 잡아 주셨으면 합니다.
인공지능의 활용에는 우선 '데이터'
인공지능의 강점을 준다고 하면, 「처리의 속도」를 들 수 있습니다.제3차 인공지능 붐이 일어난 것은 '빅데이터'와 '컴퓨팅 파워'의 발달 덕분으로 알려져 있지만 현대는 바로 '데이터의 세기'.옛날의 대형 컴퓨터 수준의 처리 능력을 가진 스마트폰을 1명 1명이 가지고, 그 데이터가 클라우드 상의 대규모 시스템에 모아지는 것으로, 예전에는 생각할 수 없었던 해석을 할 수 있게 되었다 있습니다. (단, 데이터가 많으면 좋은 것은 아닙니다. 나중에 설명합니다.) 이러한 데이터가 없으면, 인공 지능을 움직이는 의미도, 강점인 「처리의 속도」를 발휘하는 일도 없습니다.또 인간이 눈으로 보고, 확 판단이 가능한 정도의 내용이나 적은 양이면, 인공 지능을 사용할 필요는 없습니다. 「간단하게 사람이 볼 수 없는 대량의 데이터」를 어떻게 취급하는가가 인공지능의 활용의 시작입니다.
그림 1. 인공지능이 다루는 데이터
인공 지능이 다루는 데이터에는 여러 가지가 있습니다 <그림 1>.여기에서는 텍스트 데이터에 주목해 봅시다.당신이 "스마트 폰에서 클라우드에 수집 된 빅 데이터"를 가지고 있지 않아도 평소 일하는 동안 사용하고있는 친숙한 것도 인공 지능에주는 데이터가됩니다. FRONTEO는 2016년도부터 2018년도의 인공지능에 의한 국내 언어 해석 시장에서 점유율 1위를 달성※ 1하고 있습니다만, 이 「언어 해석」으로 취급하고 있는 데이터와는 주로 텍스트 데이터로, 그 대부분이 친숙한 것입니다.회사에서 매일 교환하고 있는 메일이나 매일 쓰고 있는 문서, 전화 대화를 텍스트로 변환한 것, 면접 기록, 인터넷 서비스에 쓰기 등 다양한 텍스트 데이터 <그림 2>가 존재하며, FRONTEO 가 독자적으로 개발한 인공 지능 「KIBIT」가 해석을 실시하고 있습니다.최근, 「디지털 트랜스포메이션(DX)」이 널리 발동되고 있습니다만, 이것은 바로 날마다 접하고 있는 친밀한 행동이나 대처를 디지털화해, ICT, IoT, AI의 힘을 사용해, 생활이나 산업, 사회의 구조와 구조를 바꾸어 가려는 움직임입니다.
그림 2. 다양한 텍스트 데이터
인공지능을 사용하는 목적, 목표로 하는 「성과」는?
다음으로 중요한 것은 인공지능을 활용하는 목적, 어떤 성과(아웃컴)를 원하는가입니다.데이터를 수집해도 무엇을 위해 어떻게 사용할지 정해지지 않으면 인공지능을 활용할 수 없습니다. “인공지능을 사용하는 것이 목적”이 되고 있는 경우나, “PoC(개념 검증)로 경향을 낼 수 있었지만, 그 다음에 어떻게 하면 좋을지 모르는” 케이스의 대부분은, 목표로 하는 “성과” 의 설정이 모호한 것을 많이 볼 수 있습니다. FRONTEO의 인공지능 KIBIT가 매일 실시하고 있는 언어 해석에서는 <그림 3>과 같은 성과를 얻는 것을 목적으로 현재 누계로 200개 이상의 기업에 활용되고 있습니다.
그림 3. 다양한 "성과"
'데이터'를 목표로 하는 '성과'가 굳어지면 다음은 최적의 기계 학습 방법을 선택합니다. <그림 4>.제3차 인공지능 붐은 「딥 러닝」이 가져온 것으로 알려져 있습니다. 「빅데이터」와 「컴퓨팅 파워」의 발달이 딥 러닝의 특성과 매치해, 종래 없었던 브레이크 스루를 가져왔습니다.한편, 딥 러닝은 만능이 아니고, 데이터의 종류나 목표로 하는 성과에 의해 특기·불특의가 있다고도 알려져 있습니다.기계 학습 기법의 선택에는, 그 밖에도 도입·가동까지 필요한 시간, 런닝 코스트, 학습 프로세스, 정밀도를 내기 위한 튜닝, 다양한 요소를 토탈로 생각해, 운용·실장까지를 전망한 설계 해야 합니다. FRONTEO가 자사 개발한 인공 지능 엔진 「KIBIT」는, 독자적인 알고리즘을 이용하고 있습니다.텍스트 데이터에 특화해, 소량의 교사 데이터로 해석을 실시할 수 있어 도입까지의 시간이 짧고, 대규모의 계산 자원이 불필요해, 처리가 가벼운 것이 특징입니다.
그림 4. 최적의 기계 학습 선택이 활용되는 포인트
이러한 준비나 선택을 하여 인공지능을 도입하면 구체적으로는 어떤 성과를 얻을 수 있을까?라고 생각할 수 있다고 생각합니다. FRONTEO는 2014년부터 기업에 인공지능 KIBIT에 의한 AI 솔루션을 제공하고 있으며, 목적이나 목표로 하는 성과에 따라 <그림 5>와 같은 결과가 나오고 있습니다.
여기까지 설명한 요소와 FRONTEO가 제공하고 있는 인공지능 활용의 영역은 <그림 6>과 같습니다.
그림 5. KIBIT를 활용한 AI 솔루션의 성과
그림 6. FRONTEO가 제공하는 인공지능 활용 영역
「자연언어처리」는, 인간이 평상시 사용하고 있는 언어를 컴퓨터로 처리하는 기술입니다. FRONTEO는 자유롭게 기술된 자연언어를 문장의 구조에 따라 분석하는 기술의 개발을 진행하고 있습니다.사회에 존재하는, 가치 있는 다양한 문장에 대응 가능한 자연언어 처리 관련 기술을 가지고 있습니다.
KIBIT는, FRONTEO가 독자 개발한 일본발의 인공 지능 엔진입니다.인간의 마음의 기미”(KIBI)와 정보량의 최소 단위인 “비트”(BIT)를 조합하여 “인간의 기미를 학습할 수 있는 인공지능”을 의미합니다.학습·평가를 담당하는 인공지능 관련 기술과 데이터 분석의 현장을 통해, 집적·체계화된 행동 정보 과학을 조합해, 사람을 대신해 판단이나 정보의 선택 방법을 재현할 수 있습니다.
