2-1. LLM 활용 방법

2-1-1. 파인튜닝(fine-tuning)

• 기존의 LLM을 특정한 작업이나 상황에 맞게 조금 더 훈련시키는 과정

  • 이미 학습된 LLM을 특별한 상황에 더 잘 맞게 ‘가르치는’ 과정

  

• 전이 학습(transfer-learning)

  • 한 분야에서 배운 지식을 다른 분야의 문제 해결에 사용하는 방법
  • 파인튜닝보다는 좀 더 포괄적인 의미

2-1-2. RAG(Retrieval-Augmented Generation)

• 자연어 처리 분야에서 사용되는 기술로, 정보 검색과 생성을 결합한 인공지능 모델
  • 복잡하고 정보가 필요한 질문에 답변하기 위해 설계된 방법
• 크게 두 단계로 구성됨
  1. 정보 검색(retrieval) 단계
     • 질문: 사용자로부터 질문 입력
     • 퀴리(문서 검색): 대규모의 문서 데이터베이스나 콘텐츠 저장소에서 질문과 관련된 문서/정보 검색
     • 정보 검색 결과: 검색 결과 중에서 가장 관련성 높은 문서와 사용자의 질문을 결합하여 LLM에 전달
  2. 텍스트 생성(generation) 단계

     • 정보 전달: 선택된 문서의 내용을 모델에 전달

       → 모델은 문서의 정보를 활용하여 질문에 대한 의미를 이해함

     • 텍스트 생성: 모델은 전달받은 정보를 바탕으로 질문에 대한 답변을 생성함

       → 해당 과정은 LLM에 의해 처리됨

       → 문서에서 얻은 지식과 모델이 이미 학습한 정보를 결합하여 답변 제공

2-1-3. 퓨샷 러닝(few-shot learning)

• 매우 적은 양의 데이터로 학습햐는 능력

  ⭐ 모델이 기존에 학습한 지식을 바탕으로 매우 제한된 예시로부터 새로운 작업에 빠르게 적응하도록 함

• 활용 가능한 데이터의 양에 따라 zero-shot, one-shot, few-shot learning으로 나눔

  • zero-shot: 모델이 학습 과정에서 전혀 보지 못한 데이터에 대해 예측을 수행할 수 있는 것
  • one-shot: 단 하나의 예시만 학습 후 데이터에 대해 예측을 수행하는 경우
  • few-shot: 매우 적은 예시만 학습 후 데이터에 대해 예측을 수행하는 경우

⇒ 특정 작업이나 분야에서 충분한 양의 학습 데이터를 확보하기 어려울 때 유용함

2-2. LLM 활용 시 주의 사항

정보 필터링

• 사용자의 질문은 반드시 필터링이 필요함

법적 규제

• 산업 특성상 규정되는 법규 및 권고 사항을 준수하여야 함

할루시네이션(hallucination)