11-1. 파이토치를 이용한 분산 훈련

일반 방식의 MNIST 모델 훈련

• 오래 걸린다..ㅎㅎ

분산 방식의 MNIST 모델 훈련

• 단일 모델을 학습할 때 서로 다른 기계와 프로세스가 함께 작동할 수 있도록 하는 과정
• torch.multiprocessing
  • 시스템 내에서 여러 파이썬 프로세스를 생성하는 데 도움
    • 일반적으로 시스템에 있는 CPU 코어 수만큼의 프로세스를 생성할 수 있음
• torch.distributed
  • 모델을 훈련시키기 위해 함께 작동할 때 다른 시스템 간 통신할 수 있게 해주는 역할
  • init_process_group()
    • backend: 시스템 간 통신을 위해 사용되는 백엔드
    • world_size: 훈련에 사용되는 전체 프로세스 개수
    • rank: 시작된 프로세스의 rank

      • n번째 시스템의 k번째 프로세스의 랭크

        $\text{rank} = n * 4 + k$

이후 내장된 파이토치 통신 백엔드 프로그램 중 하나가 이러한 시스템 간 통신을 처리함

→ 여러 프로세스에 걸쳐 훈련 작업을 병렬 처리함

샘플러

• torch.utils.data.distributed.DistributedSampler
• 훈련 데이터셋을 world_size 수만큼의 파티션으로 분할해 분산 훈련 세션의 모든 프로세스가 똑같은 양의 데이터에서 작업하도록 함

분산 훈련

• nn.parallel.DistributedDataParallel
  • 경사 하강 알고리즘이 분산 방식으로 작동하도록 함
• 내부 작동 원리
  • 분산 환경에서 생성된 각 프로세스는 고유한 모델 복사본을 얻게 됨
  • 프로세스 당 각 모델은 자체 옵티마이저를 유지하고 전역 iteration과 동기화되는 로컬 최적화 단계를 거침
  • 각 분산 훈련 iteration에서 개별 loss 및 그에 따른 기울기가 각 프로세스에서 계산됨
    • 이후 프로세스 전반에 걸쳐 기울기 평균을 구함
  • 그런 다음 평균 기울기는 매개변수를 조정하는 각 모델 복사본에 전역으로 back propagation 됨
    • 전역 역전파 단계 때문에 모든 모델의 매개변수는 iteration마다 동일하며, 이는 자동으로 동기화됨

11-2. CUDA로 GPU 상에서 분산 훈련