3-1. MNIST

• 고등학생과 미국 인구조사국 직원들이 손으로 쓴 70000개의 작은 숫자 이미지를 모은 데이터셋

  

  • 각 이미지에는 어떤 숫자를 나타내는지 레이블 되어 O
  • 70000개의 이미지, 784개의 특성
  • 28 by 28의 이미지 데이터
  • 개개의 특성은 0(흰색) ~ 255(검은색)까지의 픽셀 강도를 나타냄

• scikit-learn 내 데이터 셋의 일반적인 구조

  • 데이터셋을 설명하는 DESCR 키
  • 샘플이 하나의 행, 특성이 하나의 열로 구성된 배열을 가진 data 키
  • 레이블 배열을 담은 target 키

• 데이터에 대한 조사를 진행하기 전 항상 train_test_split을 먼저 진행해야 함

• 훈련 세트의 경우 모든 교차 검증 폴드가 비슷해야 함

  • 하나의 fold라도 특정 숫자가 누락되면 x

  • 어떤 학습 알고리즘은 훈련 sample의 순서에 민감하게 반응

    ⇒ 데이터셋을 섞어서 이러한 문제를 해결

3-2. 이진 분류기 훈련

• 이진 분류기(binary classifier)
  • yes/no만 판별
• 이진 분류 알고리즘
  • 확률적 경사 하강법(Stochastic Gradient Descent, SGD)

    • 매우 큰 데이터셋을 효율적으로 처리할 수 있는 알고리즘

      → 한 번에 하나씩 훈련 샘플을 독립적으로 처리

    • 훈련 시 무작위성을 사용(→ 확률적)

    • sklearn.SGDClassifier

3-3. 성능 측정

3-3-1. 교차 검증을 사용한 정확도 측정

• Stratified K-Fold
  • 클래스 별 비율이 유지되도록 fold 생성 시 계층적 샘플링을 수행하는 방법
  • 매 반복에서 분류기 객체를 복제하여 훈련 fold로 훈련시키고 테스트 fold로 예측 수행
  • 이후 올바른 예측의 수를 세어 정확한 예측의 비율을 출력
• 정확도의 함정
  • MNIST 데이터셋의 경우 이미지의 10% 정도만 숫자 5이기 때문에 무조건 ‘5 아님’으로 예측하면 정확도가 90%로 평가됨
  • 불균형한 데이터셋을 다룰 때(= 어떤 클래스가 다른 것보다 월등히 많은 경우) 정확도를 분류기의 성능 측정 지표로 사용하는 것을 주의해야 함

3-3-2. 오차 행렬(Confusion Matrix)

• 클래스 A의 샘플이 클래스 B로 분류된 횟수를 세는 것

• 코드

  from sklearn.metrics import confusion_matrix
  

• 해석

  • 행: 실제 클래스, 열: 예측한 클래스

  	예측 False	예측 True
  실제 False	TN	FP
  실제 True	FN	TP

  • 완벽한 분류기인 경우 오차 행렬의 주대각선만 0이 아닌 값이 됨

• 오차 행렬을 통한 요약 지표

  • 정밀도(precision)
    • 양성 예측의 정확도
    • 정밀도 = $\frac{TP}{TP+FP}$
  • 재현율(= 민감도/ TPR, recall)
    • 분류기가 정확하게 감지한 양성 샘플의 비율
    • 재현율 = $\frac{TP}{TP+FN}$

  

3-3-3. 정밀도와 재현율

• 사이킷런 내에 함수로 구현되어 있음
  • sklearn.metrics.precision_score : 정밀도
  • sklearn.metrics.recall_score : 재현율
• F1 score
  • 정밀도와 재현율의 조화 평균
  • $\frac{2}{\frac{1}{정밀도} + \frac{1}{재현율}} = 2\times \frac{정밀도\times재현율}{정밀도+재현율} = \frac{TP}{TP+\frac{FN+FP}{2}}$
  • sklearn.metrics.f1_score
  • 정밀도와 재현율이 비슷한 경우 F1 score가 높지만, 이러한 것이 항상 바람직한 것은 아님