10-0. 모델의 운영 이관

productionization

• 모델을 운영(production) 환경에 적용하는 것
  • 훈련을 마치고 테스트된 모델(객체)을 별도의 환경으로 가져오는 방법
  • 이때 모델은 환경에서 들어오는 데이터에 대해 예측하거나 추론하는 데 사용됨
• 모델을 운영 시스템에 배포하는 것
  • 모델 추론 함수를 정의하는 것으로 시작하여 모델 마이크로서비스를 사용하는 방법을 모두 포함

10-1. 파이토치에서 모델 서빙

<aside> 📌 프로세스

1. 일부 입력 데이터와 이전에 훈련시켜 저장한 파이토치 모델의 위치가 주어지면 예측할 수 있는 추론 파이프라인을 구축
2. 들어오는 데이터 요청을 받아 예측을 반환할 수 있는 모델 서버에 추론 파이프라인을 배치
3. 모델 서버 개발 발전 → 도커(Docker)를 활용한 모델 마이크로서비스

</aside>

10-1-1. 파이토치 모델 추론 파이프라인 생성

훈련된 모델 저장 및 로딩

• 특정 데이터에 대한 정답을 추론하기 위해 훈련시킨 모델을 나중에 재사용할 수 있도록 모델을 저장 → 모델 서빙(serving)
  • (재)훈련 없이 다른 파일에서 앞서 훈련시킨 모델을 사용

모델 저장 및 복원 방식

1. 전체 모델 객체 저장(권장 x)

   torch.save(model, PATH_TO_MODEL)
   

   model = torch.load(PATH_TO_MODEL)
   

   • 그러나 해당 방식은 모델 매개변수뿐 아니라 소스 코드에 사용된 모델 클래스 및 디렉터리 구조까지 저장함
     • 클래스 signature 또는 directory 구조 변화에 취약

2. 모델 매개변수만 저장

   torch.save(model.state_dict(), PATH_TO_MODEL)
   

   • 이후 모델 복원 시 먼저 빈 모델 객체를 하나 인스턴스화하고 다음과 같이 모델 객체에 모델 매개변수를 로딩

   model = ConvNet()
   model.load_state_dict(torch.load(PATH_TO_MODEL))
   

추론 파이프라인 구축

단계

1. 데이터 전처리
2. 모델 추론
   • 신경망의 경우 forward pass(순전파)에 해당
3. 후처리
   • 모델의 예측을 다른 애플리케이션에서 사용할 수 있도록 하는 과정
   • 문자열의 경우 직렬화가 가능한 형식이기에 모델 예측을 서버와 애플리케이션 간에 쉽게 전달할 수 있음

10-1-2. 기본적인 모델 서버 구축

플라스크로 모델 서버 구축하기

• 들어오는 요청(이미지 데이터의 입력)을 리스닝하는 서버 런칭하기
  • 샘플 이미지를 보내 서버에 요청할 파이썬 스크립트 작성
  • 플라스크 서버는 이미지에 대해 모델 추론을 실행하고 후처리된 예측을 출력