1. Language Model

1-1. Dependency Parsing

기존 Parser의 한계

• sparse(희소 행렬이 완성됨)
• incomplete(불완전하다.)
• expensive computation(높은 계산 비용)

Neural Dependency Parser

• 실험 결과

  

• 개선사항

  1. 분산된 표현

     

  2. Deep Learning에서의 비선형성

     • weight matrix W의 neg logloss를 최소화하는 것이 목표
     • 기존의 ML 분류기는 오직 선형의 결정 경계만 제공하였음

       • 그러나 복잡한 문제에서는 비선형성이 요구됨

         

  ⇒ 이러한 특징들은 정확도와 속도 측면에서 모두 문장 구조를 이해하는 데 도움이 되었음

  

• 구조

  

Graph-based Dependency Parser

• 모든 가능한 의존성에 대해 점수를 계산

  

• 굉장히 좋은 성능을 보임

  

• 그러나, 간단한 neural transition-based parser에 비해 속도 측면에서 불리함

  → $n^2$ 개의 가능한 dependencies가 발생하기 때문

  → 대용량 데이터 분석 시 속도의 한계가 있음

1-2. Neural Network에 대한 부가 설명

정규화(Regularization)

• 과적합(overfitting) 방지
• 모델의 일반화에 도움

Dropout