8-0. Intro

NLP vs 텍스트 분석

• NLP: 머신이 인간의 언어를 이해하고 해석하는 데 중점
  • 기계 번역, 질의응답 시스템 등
• 텍스트 마이닝(분석): 비정형 텍스트에서 의미 있는 정보를 추출하는 것애 좀 더 중점

  • 머신러닝, 언어 이해, 통계 등을 활용해 모델을 수립하고 정보를 추출해 BI나 예측 분석 등의 분석 작업을 주로 수행

  • 활용 분야

    

8-1. 텍스트 분석 이해

• 비정형 데이터인 텍스트를 분석하는 것
• 머신러닝 알고리즘은 숫자형의 피처 기반 데이터만 입력받을 수 있음

  • 텍스트 데이터를 피처 형태로 추출하고 추철된 피처에 의미 있는 값을 부여하는 과정이 필요

    ⇒ 피처 벡터화, 피처 추출

텍스트 분석 프로세스

1. 텍스트 사전 준비작업(텍스트 전처리)
2. 피처 벡터화/추출
3. ML 모델 수립 및 학습/예측/평가

파이썬 기반의 NLP, 텍스트 분석 패키지

• NLTK(Natural Language Toolkit for Python)

  • 파이썬의 가장 대표적인 NLP 패키지

  • 그러나 수행 속도 측면에서 아쉬운 부분이 존재

    → 대량 데이터 기반에서는 활용도가 떨어짐

• Genism

  • 토픽 모델링 분야에 강세
  • Word2Vec도 지원

• SpaCy

8-2. 텍스트 전처리 - 정규화

• 텍스트를 머신러닝 알고리즘이나 NLP 어플리케이션에 입력 데이터로 사용하기 위해 클렌징, 정제, 토큰화, 어근화 등의 사전 작업을 수행하는 것

클렌징(Cleansing)

• 분석에 방해되는 불필요한 문자, 기호 등을 사전에 제거하는 작업
  • ex) HTML, XML 태그 혹은 특정 기호 등