5-3. 전이 학습

• 일반적으로 합성곱 신경망 기반의 딥러닝 모델을 제대로 훈련시키기 위해서는 많은 양의 데이터셋이 요구됨
  • 많은 비용/시간을 요구
  • 이에 대한 해결책으로 전이 학습(transfer learning) 방법이 제안됨

전이 학습

• 이미지넷(ImageNet)과 같은 아주 큰 데이터셋을 활용하여 훈련된 모델의 가중치를 가져와 우리가 해결하려는 과제에 맞게 보정해서 사용하는 것
  • 이때 훈련된 모델을 사전 훈련된 모델(= 네트워크)이라 함

⇒ 비교적 적은 수의 데이터를 가지고도 원하는 과제를 해결할 수 있음

• 특성 추출과 미세 조정 기법이 있음

5-3-1. 특성 추출 기법

특성 추출(feature extractor)

• ImageNet 데이터셋으로 사전 훈련된 모델을 가져온 후 마지막에 완전연결층 부분만 새로 만드는 것

  • 학습 시에는 마지막 FC Layer(= 이미지의 category 결정)만 학습하고 나머지 계층들은 학습되지 않도록 하는 것

• 특성 추출은 이미지 분류를 위해 두 부분으로 구성됨

  • 합성곱 층: 합성곱 층 + 풀링층
  • 데이터 분류기(완전연결층): 추출된 특성을 입력받아 최종적으로 이미지에 대한 클래스를 분류하는 부분

  ⇒ pre-trained network의 합성곱 층(이때, 가중치는 고정)에 새로운 데이터를 통과시키고, 해당 출력을 데이터 분류기에서 훈련시킴

• 사용 가능한 이미지 분류 모델

  • Xception
  • Inception V3
  • ResNet50
  • VGG16
  • MobileNet

torchvision.transform

• 이미지 데이터를 변환하여 모델(네트워크)의 입력으로 사용할 수 있게 변환해 주는 역할

• 사용 파라미터

  transform = transforms.Compose(
                  [
                      transforms.Resize([256, 256]),
                      transforms.RandomResizedCrop(224),
                      transforms.RandomHorizontalFlip(),
                      transforms.ToTensor(),
                  ])
  

  • Resize(): 이미지 크기 조정(H * W)
    • 합성곱 층을 통과하기 위해 이미지 크기를 조정하는 전처리 과정
  • RandomResizedCrop(): 이미지를 랜덤한 크기/비율로 자름
    • 데이터 확장 용도로 활용
    • 이미지를 랜덤한 비율로 자른 후 데이터 크기를 조정
  • RandomHorizontalFlip(): 이미지를 랜덤하게 수평으로 뒤집음
  • ToTensor(): 이미지 데이터 → torch.tensor

datasets.ImageFolder

• 데이터로더가 데이터를 불러올 대상(or 경로)과 방법을 정의

• 사용 파라미터

  train_dataset = torchvision.datasets.ImageFolder(
      data_path,
      transform = transform
  )
  

  • data_path: 불러올 데이터가 위치한 경로
  • transform: 이미지 데이터에 대한 전처리