9-1. 자연어 처리란

9-1-0. Intro

• 일상생활에서 사용하는 언어 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 과정

• 자연어 처리가 어려운 이유

  • 딥러닝에 대한 이해 + 인간 언어에 대한 지식 필요
  • 언어 종류가 다르고 그 형태가 다양함 → 임베딩이 어려움

• 자연어 처리가 가능한 영역과 발전 가능한 분야

  

9-1-1. 자연어 처리 용어 및 과정

용어정리

말뭉치(corpus)

• 자연어 처리에서 모델을 학습시키기 위한 데이터

• 자연어 연구를 위해 특정한 목적에서 표본을 추출한 집합

  

토큰(token)

• 자연어 처리를 위해서는 문서를 작은 단위로 나누는 작업이 선행되어야 함
  • 토큰(token): 문서를 나누는 단위
  • 토큰 생성(tokenizing): 문자열을 토큰으로 분리하는 작업
  • 토큰 생성 함수: 문자열을 토큰으로 분리하는 함수

토큰화(tokenization)

• 텍스트를 문장이나 단어로 분리하는 작업
• 토큰화 단계를 마치면 텍스트가 단어 단위로 분리됨

불용어(stop words)

• 문장 내에서 많이 등장하는 단어 중 분석과 관계없는 단어
• 자주 등장하기에(높은 빈도수) 분석 성능에 영향을 미칠 수 있음
  • 분석 전에 제거해 주어야 함
  • 예시) “a”, “the”, “she”, “he” 등

어간 추출(stemming)

• 단어를 기본 형태로 만드는 작업

  • 단어를 기본형으로 통일시키는 작업 등