1. 합성곱 신경망

합성곱 신경망(CNN: Convolutional Neural Network)

• 데이터가 가진 특징들의 패턴을 학습하는 알고리즘
• 주로 컴퓨터 비전 분야에서 많이 활용됨

  • 이미지 분류(image classfication)

    → 그림을 보고 특정 이미지를 정해진 카테고리대로 분류하는 것

    

  • 객체 탐지(object detection)

    → 이미지에서 특정한 객체를 인식하고 해당 객체가 이미지에서 위치한 곳을 파악하는 task

    

  • 스타일 전이(style transfer)

    → 콘텐츠 이미지와 스타일 참조 이미지를 이용해 콘텐츠의 기본 형태를 유지하고 스타일을 입혀서 새로운 이미지를 생성하는 기술

1-1. 이미지 표현

• 이미지(또는 영상)를 컴퓨터가 이해할 수 있도록 숫자로 표현하는 작업이 필요함

  • 흑백 이미지의 경우 pixel 값을 숫자 0(검은색) ~ 255(흰색)으로 매핑

    

  • 컬러 이미지의 경우 RGB 채널로 구성된 3장의 이미지를 겹쳐서 숫자로 매핑

    

1-2. 합성곱(Convolutional)

• 입력 이미지에 대하여 일반적으로 정방형 크기를 가지는 커널(kernel, 필터)을 사용하여, 입력 이미지에 대한 특성을 추출하는 방법을 이름

  • 합성곱 연산을 통해서 추출된 이미지를 **특성맵(feature map)**이라 함
  • 입력 이미지와 커널이 겹치는 부분에 대해 합성곱 연산을 수행

• 합성곱 연산은 element-wise 곱셈 연산을 수행 후 값을 모두 더해 최종 결과를 도출

  • 단일 scalar 값
  • 결과는 추출된 이미지인 feature map의 좌측 상단의 첫 번째 값이 됨

  

• 합성곱 신경망이 이미지 특성 추출에 효율적인 이유는 바로 커널의 공유 가중치(shared weights) 때문임

  • 오차 역전파(back propagation) 시 일부 커널의 그래디언트만 계산하면 됨 → 연산량 감소

1-3. 채널(channel)

• 입력 이미지를 구성하는 2차원 배열의 개수

• 합성곱 연산 과정

  

  • 만약 합성곱 레이어에 출력 필터의 개수를 20개로 설정했다면, 입력 이미지의 채널 개수 3개와 출력 필터의 개수 20개가 곱해져 총 60개의 커널이 생성됨
    • 커널 1개의 size를 3 by 3으로 설정했다면 3 * 3 * 3(R, G, B) * 20 = 540개의 가중치(gradient)가 업데이트 됨
  • 추가적으로 bias가 계산됨 → 출력 필터의 개수와 동일

  ⇒ 업데이트 될 총 파라미터의 개수

  (width) * (height) * (입력 채널 수) * (출력 필터 수) + (출력 필터 수, bias)

1-4. 스트라이드(stride)

• 커널은 좌측 상단으로부터 입력 이미지를 기준으로 우측으로 이동하면서 합성곱 연산을 계속 수행하고 특성맵에 결과를 채워나감

  • 이동하는 간격을 스트라이드(stride)라고 함
  • 주로 1 또는 2로 설정

  

  • tf.Keras.Conv2D 레이어의 strides 매개변수에 지정 가능

1-5. 패딩(padding)

• 추출된 특성맵의 크기가 입력 이미지와 대비하여 줄어들지 않도록 하는 방법

  • default: padding = ‘valid’
  • 일반적으로 zero-padding을 활용
    • padding = ‘same’
    • 입력 이미지의 가장 자리를 0으로 채운 후 feature map을 추출
  • 패딩을 적용한 후 합성곱 연산을 수행하게 되면 특성 맵의 크기가 줄어들지 x

  

1-6. 특성맵(feature map) 크기

1-7. 풀링(pooling)