6-1. 이미지 분류를 위한 신경망

6-1-1. LeNet-5

• 합성곱 신경망이라는 개념을 최초로 도입한 신경망 구조

• 합성곱과 다운샘플링을 반복적으로 거치면서 마지막 완전연결층에서 분류 수행

  

  

  • 개/고양이 분류 예제

    

네트워크 클래스 정의

class LeNet(nn.Module):
    def __init__(self):
        super(LeNet, self).__init__()

        self.cnn1 = nn.Conv2d(in_channels=3, out_channels=16, kernel_size=5, stride=1, padding=0) 
        self.relu1 = nn.ReLU() # activation
        self.maxpool1 = nn.MaxPool2d(kernel_size=2) 

        self.cnn2 = nn.Conv2d(in_channels=16, out_channels=32, kernel_size=5, stride=1, padding=0) 
        self.relu2 = nn.ReLU() # activation
        self.maxpool2 = nn.MaxPool2d(kernel_size=2)  

        self.fc1 = nn.Linear(32*53*53, 512) 
        self.relu5 = nn.ReLU()   
              
        self.fc2 = nn.Linear(512, 2) 
        self.output = nn.Softmax(dim=1)        
    
    def forward(self, x):
        out = self.cnn1(x) 
        out = self.relu1(out)
        out = self.maxpool1(out)
        
        out = self.cnn2(out) 
        out = self.relu2(out) 
        out = self.maxpool2(out) 
        
        out = out.view(out.size(0), -1) # flatten
        
        out = self.fc1(out) 
        out = self.fc2(out)   
                         
        out = self.output(out) # softmax() 적용 -> 확률로
        
        return out

6-1-2. AlexNet

CNN 구조(RE)

• 다음과 같이 3차원 구조를 가짐

  • 이미지 크기를 나타내기 위해 너비(width)와 높이(height)와 더불어 깊이(depth)를 가짐

  

• AlexNet은 합성곱층 총 다섯 개와 완전연결층 세 개로 구성되어 있음
  • 맨 마지막 fc layer는 카테고리 1000개를 분류하기 위해 softmax 활성화 함수를 사용하고 있음
  • GPU 두 개를 기반으로 한 병렬 구조

구조

• 입력) 227 x 227 x 3, RGB 이미지
• 출력) 각 클래스에 속할 확률, 1000 x 1 matrix

GPU 병렬 작업

• GPU-1: 주로 컬러와 무관한 정보를 추출하기 위한 커널 학습
• GPU-2: 주로 컬러와 관련된 정보를 추출하기 위한 커널 학습

네트워크 클래스 정의