이미지 간 스타일 전이

CNN 기반 아키텍처

• 이미지 분류, 객체 탐지 등의 작업에서 성능이 가장 좋은 신경망 아키텍처
• 합성곱 계층은 공간 표현을 학습

콘텐츠 손실, 스타일 손실

• 각 합성곱 계층은 각각 XxY 차원을 갖는 N개의 특징 맵을 형성함

  

작동 방식

1. VGG(또는 다른 CNN) 네트워크가 주어지면 네트워크의 합성곱 계층들 중 어디에 콘텐츠 손실을 붙일 것인지 정의
   • 스타일 손실을 위해 해당 실습을 반복
2. 해당 리스트가 있으면 콘텐츠 이미지를 네트워크를 통해 전달하고 콘텐츠 손실을 계산할 합성곱 계층에서 기대 합성곱 출력(2차원 행렬)을 계산
3. 이후 스타일 이미지를 네트워크를 통해 전달하고 합성곱 계층에서 기대 그람 행렬을 계산
   • 여기서 스타일 손실이 계산됨

• 초기화 시 생성할 이미지의 시작점으로 랜덤 노이즈 행렬을 사용하거나 콘텐츠 이미지를 바로 사용할 수 있음

  • 해당 이미지를 네트워크를 통해 전달하고 사전에 선택한 합성곱 계층에서 스타일 손실과 콘텐츠 손실을 계산
  • 전체 스타일 손실을 구하기 위해 스타일 손실끼리 더하고, 전체 콘텐츠 손실을 구하기 위해 콘텐츠 손실끼리 더함

  ⇒ 두 요소를 가중합하여 전체 손실 도출

• 스타일 요소에 가중치를 더 부여하면 생성된 이미지에 스타일이 더 많이 반영되고, 그 반대의 경우도 마찬가지

  • 몇 세대만 지나면 생성된 이미지는 각각의 손실을 최소화하는 방식으로 콘텐츠와 스타일을 표현하도록 진화 → 스타일이 전이된 이미지를 생성해 냄

• 해당 아키텍처에서 풀링 계층은 평균 풀링을 채택하였음

  • 스타일 전이 시 그라데이션이 부드럽게 흐르도록 일부러 활용
  • 만든 이미지에서 픽셀 간 급격한 변화가 나타나는 것을 방지하기 위함

파이토치로 스타일 전이 구현

스타일 전이 모델 실험

시스템은 다양한 초매개변수 설정에 따라 다르게 반응함