12-1. 강화 학습이란

강화 학습(Reinforcement Learning)

• 머신 러닝/딥러닝의 한 종류로, 어떤 환경에서 어떤 행동을 했을 때 그것이 잘된 행동인지 잘못된 행동인지를 판단하고 **보상(or 벌칙)**을 주는 과정을 반복해서 스스로 학습하게 하는 분야
• 목표) 환경과 상호 작용하는 에이전트를 학습시키는 것
  • 학습을 통해 누적 보상을 최대화하는 policy를 탐색
• 강화 학습의 문제들은 마르코프 결정 과정(MDP)으로 표현
  • 이는 모두 마르코프 프로세스(MP)에 기반을 두고 있음
  • 강화 학습은 마르코프 결정 과정에 학습 개념을 추가한 것

용어정리

1) 환경(environment)

• 에이전트가 다양한 행동을 해 보고, 그에 따른 결과를 관측할 수 있는 시뮬레이터

ex) 게임기

2) 에이전트(agent)

• 환경에서 행동하는 주체
• 상태(state)라고 하는 다양한 상황 안에서 행동(action)을 취하며 조금씩 학습해 나가는 주체
  • 행동에 대한 응답으로 양(+)이나 음(-) 또는 0의 보상(reward)를 돌려받음

ex) 게임을 하는 사람

3) 상태(state)

Grid World에서는 상태 = 좌표

• 에이전트가 관찰할 수 있는 상태의 집합

  cf) 관찰(observation): 세계에 대한 부분적인 설명

  • 자신의 상황에 대한 관찰
  • 세계에 대한 완전한 설명

• 에이전트의 상태는 시간에 따라 달라짐

  • $S_t = s$ $\{s \in S\}, S$: set of all states

    시간 t에서 에이전트의 상태

4) 행동(action)

• 에이전트가 상태 $S_t$에서 취할 수 있는 동작
  • $A_t = a \{a \in A \}, A$: set of all actions