1. Word2Vec

• 텍스트 모델의 핵심은 텍스트를 컴퓨터가 인식할 수 있도록 숫자 형태의 벡터 또는 행렬로 변환하는 것임
• 두 가지 벡터화 방식

  • One Hot Encoding( = sparse representation)

    → 장점: 단어 벡터가 0 또는 1의 값으로 구성되어 과정이 단순함

    → 단점: 텍스트 분석에서 중요한 부분 중 하나인 단어 간의 유사성을 반영하지 못함

  • Word Embedding(= dense representation)

    → One-hot Encoding의 단점 보완

    → 현대의 대부분의 자연어 처리 기법들은 (ex. Word2vec, GloVe, FastText…) Word Embedding 방식을 기반으로 발전

Word2Vec의 전체 과정

• 주요 feature

  • 중심 단어(center word)
  • 맥락 단어(context word)
  • 윈도우(window)

• Idea

  • “의미적으로 유사성을 가진 단어들은 서로 가까운 위치에 존재한다.”

  ⇒ 목적 함수(objective function)를 최대화

  

  • 중심 단어를 기준으로 양쪽으로 윈도우 크기만큼의 단어를 맥락 단어로 설정 → 원핫 인코딩을 통해 중심 단어 벡터와 맥락 단어 벡터를 생성 → 입력 벡터/출력 벡터로 사용

    

  • 맥락 벡터는 기본적으로 윈도우 개수의 2배만큼 생성됨

• 맥락 벡터 생성

1. CBOW(Continuous Bag of Words)

• 입력 벡터 = 맥락 벡터, 출력 벡터 = 중심 벡터
• 맥락 단어를 통해 중심 단어를 예측

1. SG(Skip-grams)

• 입력 벡터 = 맥락 벡터, 출력 벡터 = 중심 벡터
• 주어진 중심 단어를 통해 맥락 단어를 예측하는 방식

2. 최적화: 경사 하강법

2-1. 경사 하강법

• 비용함수 $J(\theta)$를 최소화
  • 경사 하강법은 $\theta$를 변화시키며 비용함수를 최소화하는 알고리즘