1. Human language and word meaning

• 인간의 언어는 아주 큰 컴퓨터 네트워크와 비슷함
  • 언어를 구성하는 문장/단어들은 각각의 의미를 가지고 있음
  • 이러한 단어들의 “의미” 파악을 통해 상대방과 원활한 의사소통을 할 수 있음

단어의 의미?

2. 단어의 의미를 표현하는 방법

2-1. WordNet

• 이전에는 주로 ‘단어 사전’을 생성하는 방식을 활용
  • ex> WordNet 등

• WordNet의 한계
  • WordNet은 동의어, 상하관계 언어의 집합임
  • 주관적인 판단 기준, 뉘앙스를 파악하기 어려움
  • 신조어 생성, 관리에 지속적 인력 투입이 필요
  • 단어 의미 간의 유사도와 관계를 얻기 어려움

2-2. One-hot Vector

• 기존의 NLP에서는 단어를 이산형(discrete) 객체로 취급함

  • One-Hot Vector로 표현 → 지역적(localist) 정보

    

  • 단어의 개수 = Vector의 차원

    → Vector의 차원이 기하급수적으로 늘어나는 문제

  • 벡터 차원에서 두 단어 벡터는 “orthogonal”

    → 유사도를 표현하기에 어려움

2-3. Distributional Semantics

• 단어의 문맥을 고려한 방법

  ⇒ “가까이 있는 단어일수록 비슷한 의미일 가능성이 높다.”

• fixed size window를 통해 단어를 표현할 때 주위(context)를 살펴, 비슷한 문맥에서 나타나는 비슷한 단어들끼리 유사한 벡터를 가짐

• Word Embeddings, Word Representations 라고도 함

• 벡터 공간(Vector Space)

  • 각 vector들의 배치를 2D 공간에 투영한 것
  • 정확히 투영되지는 않지만(→ 정보의 손실은 발생함) 유사한 단어가 유사한 위치에 있음을 확인할 수 있음

  

3. Word2Vec

3-1. 개념

• Word Vector을 학습에 쓰이는 프레임워크(= 알고리즘)