텍스트 언어처리(Text Language Processing)

1. 의의

인공지능에 쓰이는 수많은 데이터는 인간의 말이나 글이다. 특히 많은 문서, 처방전, 신문뉴스 등은 텍스트로 작성되어 있다. 이러한 텍스트를 인터넷 검색, 음성인식 스피커, 스팸메일 분류 등에 사용하고 있다.

2. 내용

자연어 인공지능는 일반적인 소리나 이미지, 영상 등이 아닌 언어로 구성된 대화나 텍스트로 이루어진 데이터가 주요 소스다. 텍스트 마이닝과 자연어 처리(Natural Language Processing/NLP)는 특히 텍스트로 작성된 데이터를 처리하는 것이다.

텍스트 마이닝은 자연어 입력 텍스트를 구조화하고, 패턴을 발견하며, 산출 결과물을 평가하고 해석하며 의미가 있는 정보를 뽑아내는 기법이고, 자연어 처리(NLP)는 텍스트를 사용하여 기계학습을 하는 인공지능 방식이다.

3. 효과

텍스트로 된 자연어 처리를 위한 흐름은 토큰화(가장 작은 언어단위로 문장 내의 텍스트를 순서대로 나눔), 어간 처리(stemming, 사랑하는 사랑스러운 사랑을 받는 사랑을 주려고 -> 사랑하다), 표제어 찾기(goes, went, gone -> go), 품사/형태소 분석(part-of-speech tagging, 문장 내에서 품사를 구분), 개체명 분석(Named entity recognition), 재조합(Chunking, 개별 정보를 모아서 하나로 재조합)의 자연어 처리(NLP)가 가능하게 된다.

이승관 성남산업단지관리공단 수석전문위원 경영학박사 경영지도사 산업카운슬러 1급 성남하이테크밸리 융합혁신기술지원센터 경영혁신분과위원장