4-1. 선형 회귀

선형 모델

• 입력 특성의 가중치 합과 편향(절편)이라는 상수를 더해 예측 생성

• 선형 회귀 모델의 예측

  

• 벡터 형태로 더 간단하게 표현 가능

  

• 사이킷런에서 선형 회귀는 LinearRegression을 통해 수행

모델 훈련

• 모델이 훈련 세트에 가장 잘 맞도록 모델 파라미터를 설정하는 것
  • 모델이 훈련 데이터에 얼마나 잘 들어맞는지 측정해야 함
  • 회귀의 경우 주로 MSE 또는 RMSE를 최소화하는 파라미터(θ)를 찾음

4-1-1. 정규방정식

• 비용 함수를 최소화하는 θ값을 찾기 위한 해석적 방법

  

• LinearRegression 클래스의 동작 원리

  • scipy.linalg.lstsq() 함수 기반
    • 해당 함수는 $\mathbf{X}^+\mathbf{y}$을 계산
    • $\mathbf{X}^{+}$: $\mathbf{X}$의 유사역행렬(pseudoinverse)
    • np.linalg.pinv()을 사용해서 유사역행렬을 직접 계산할 수 있음
  • 유사역행렬 자체는 특잇값 분해(SVD) 기법을 사용해 계산
    • 표준 행렬 분해 기법 중 하나
    • 훈련 세트 행렬 $\mathbf{X}$를 3개의 행렬 곱으로 분해 ⇒ $UΣV^T$
    • 유사역행렬: $\mathbf{X}^+$ $= VΣ^+U^T$
    • 정규방정식에 비해 훨씬 더 유연하거 효율적인 방식

4-1-2. 계산 복잡도

• 알고리즘에 따라 계산 복잡도가 다름

  • ex> 정규방정식: $O({n}^{2.4})$에서 $O({n}^{3})$ 사이

  ⇒ 특성 수가 늘어나면 계산 시간 또한 증가

4-2. 경사 하강법

• 여러 종류의 문제에서 최적의 해법을 찾을 수 있는 일반적인 최적화 알고리즘
• 기본 아이디어) 비용 함수를 최소화하기 위해 반복해서 파라미터를 조정해 가는 것

• 주요 파라미터 ⇒ **스텝(step)**의 크기

  • 학습률 하이퍼 파라미터로 결정됨

    

    

• 경사 하강법의 두 가지 문제점

  • 왼쪽에서 시작: 전역 최솟값보다 덜 좋은 지역 최솟값(local minimum)에 수렴
  • 오른쪽에서 시작: 평탄한 지역을 지나기 위해 시간이 오래 걸리고 일찍 멈추게 되어 전역 최솟값에 도달하지 못함

  

• 비용 함수는 대부분 그릇 모양을 하고 있음

  • 특성들의 스케일이 매우 다르면 길쭉한 모양일 수 있음

     ⇒ 경사 하강법 사용 시 반드시 모든 특성이 같은 스케일을 갖도록 해야 함 
    

  

  ▲ 왼쪽: 경사 하강법 알고리즘이 최솟값으로 곧장 진행하고 있음 오른쪽: 처음엔 전역 최솟값의 방향에 거의 직각으로 향하다가 평평한 골짜기를 길게 돌아서 나감