0. 강화 학습(Reinforcement Learning)

• 머신 러닝/딥러닝의 한 종류로, 어떤 환경에서 어떤 행동을 했을 때 그것이 잘된 행동인지 잘못된 행동인지를 판단하고 보상(or 벌칙)을 주는 과정을 반복해서 스스로 학습하도록 하는 분야

  

  ex) 게임: 게임기(환경) ↔ 게임자(에이전트)

• 목표

  • 환경과 상호 작용하는 에이전트를 학습시키는 것

용어정리

1) 환경(environment)

• 에이전트가 다양한 행동을 해 보고, 그에 따른 결과를 관측할 수 있는 시뮬레이터

2) 에이전트(agent)

• 환경에서 행동하는 주체
• 상태(state)라고 하는 다양한 상황 안에서 행동(action)을 취하며 조금씩 학습해 나가는 주체
  • 행동에 대한 응답으로 양(+)이나 음(-) 또는 0의 보상(reward)를 돌려받음

3) 상태(state)

• 에이전트가 관찰 가능한 상태의 집합
  • 자신의 상황에 대한 관찰
  • 세계에 대한 완전한 설명

cf) 관찰(observation): 세계에 대한 부분적인 설명

• 에이전트의 상태는 시간에 따라 달라짐
  • $S_t = s$ $\{s \in S\}$ ← 시간 t에서 에이전트의 상태

4) 행동(action)

• 에이전트가 상태 $S_t$에서 가능한 행동
  • $A_t = a \{a \in A \}$

5) 궤적(trajectory, episode)

• 에이전트가 거친 모든 state와 action의 궤적
  • $\tau = (s_0, a_0, s_1, a_1, \cdot\cdot\cdot)$

6) 보상(reward)

• 에이전트의 행동에 대한 보상
  • $r_t = R(s_t, a_t, s_{t+1})$