4. 모델 세부 설정

4-1. 초기값 설정

• 레이어의 초기화 방법을 다르게 설정 가능

• default: GlorotUniform

• kernel_initializer 매개변수 활용

  • GlorotUniform, HeNormal 2가지가 있음

• 클래스형과 함수형으로 모두 제공

  • 클래스형

    # 클래스 인스턴스 초기화
    he_normal = tf.keras.initializers.HeNormal()
    dense = tf.keras.layers.Dense(256, kernel_initializer=he_normal, activation='relu')
    dense.get_config()['kernel_initializer']
    

  • 함수형

    dense = tf.keras.layers.Dense(256, kernel_initializer = 'he_normal', 
    															activation = 'relu')
    dense.get_config()['kernel_initializer']
    

• Keras에서 지원하는 초기화 목록

  • ‘glorot_normal’, ‘glorot_uniform’: 글로럿 초기화(Xavier 초기화)
  • ‘lecun_normal’, ‘lecun_uniform’: Yann Lecun 초기화
  • ‘he_normal’, ‘he_uniform’: He 초기화
  • ‘random_normal’, ‘random_unifom’: 정규 분포, 연속균등 분포 초기화

4-2. 규제(Regularization)

• 모델의 과대적합을 해소하기 위해 적용

  • Tensorflow Keras Layer는 기본적으로 규제를 적용하고 있지 x

  • 모델을 구성하는 레이어마다 규제 적용 가능

    → kernel_regularizer에 규제 지정

4-3. 드롭아웃(Dropout)

• 딥러닝 모델의 가장 큰 난제가 바로 과대적합 문제임

  • 딥러닝 모델의 층이 넓고 깊어질 때 모델은 훈련에 주어진 샘플에 과하게 적합하도록 학습하는 경향이 있음

    ⇒ 훈련 데이터셋에 너무 적응하여 검증 데이터셋이나 테스트 데이터셋에 대해 일반화된 성능을 갖지 못하는 문제

• 드롭아웃

  • 모델의 과대적합 문제를 해결하기 위해 제안된 아이디어

    

  • 노드의 일부 신호를 임의로 삭제하는 방법 → 모델이 학습하는 가중치 파라미터의 개수 감소

4-4. 배치 정규화(Batch Normalization)

• 각 층에서 활성화 함수를 통과하기 전 mini batch의 scale을 정규화

  • 다음 층으로 데이터가 전달되기 전에 스케일을 조정

    → 보다 안정적인 훈련 가능, 성능 향상

  

• 배치 정규화 층은 케라스에서 클래스 함수로 지원

4-5. 활성화 함수(activation function)

• 클래스 인스턴스로 선언하여 하이퍼파라미터 값을 변경하여 적용할 수 있음

  # LeakyReLU 기본 설정
  tf.keras.layers.LeakyReLU()
  
  # LeakyReLU, alpha = 0.2 로 변경
  tf.keras.layers.LeakyReLU(alpha = 0.2)
  

• 수렴 속도 향상에 기여할 수 있음

  

6. 모델 저장 및 불러오기

6-1. 모델을 파일로 저장