1. Named Entity Recognition(NER)

• 텍스트(문장) 내에서 단어를 찾고 분류하는 작업

  

• context window를 활용하여 간단히 구현 가능

  

  

2. Gradients

• input data가 변화 했을 때 output이 얼마만큼 변화하는지를 나타내는 값

  • 각 vector에 대한 편미분 값(partial derivatives)

• multi-input, one-output case

  • 각 input에 대한 partial derivative를 모은 vector가 gradient

    

• multi-input, multi-output case

  • gradient를 matrix 형태로 표현 → Jacobian

  • jacobian matrix는 gradients의 일반화된 형태

    

Chain Rule

• 합성함수의 derivative는 각각의 derivative의 곱으로 얻을 수 있음

  • chain rule을 multi-variable 함수에 적용하면 jacobian의 곱으로 확장 가능

    

  • chain rule을 사용하면 계산을 재사용할 수 있게 됨

    

    

Neural Net에 적용하기

1. 각각을 부분으로 나누기

   

2. Chain Rule 적용

3. Jacobian 구하기

   

Derivatives는 어떤 형태여야 할까?

1. Jacobian 형태를 최대한 유지하고, 맨 마지막에 형태 맞추기
2. 형태만을 계속 생각하며 연산하기

3. Backpropagation

• Neural Network 연산은 아래와 같은 그래프 형태로 표현할 수 있음

  

  • 앞에서부터 차례대로 그래프 연산을 진행하는 것을 forward propagation이라 함

• output부터 시작하여 역으로 gradients를 계산할 수 있음 ⇒ back propagation

  • for parameter update
  • 이때 chain rule을 활용 → 연산된 gradients를 재사용 할 수 있음