Ordinary day

(파이썬과 케라스로 배우는 강화학습을 읽고 요약정리 한 것입니다.) 1. 근사함수 Function Approximation앞에서 봤던 문제들은 간단한 문제였지만 대부분은 상태가 다양하고 환경이 변한다.그럼 이런 경우엔 에이전트는 강화학습을 통해 어떻게 학습할까? 이전에 봤던 다이내믹 프로그래밍은계산 복잡도: 상태 공간의 크기가 커지는 경우차원의 저주: 상태의 차원이 늘어나는 경우환경에 대한 완벽한 정보 필요: 보상, 상태변환확률(모델)을 정확히 알아야 함이런 한계가 존재했었고, 몬테카를로, 살사, 큐러닝으로 3번의 문제를 해결할 수 있었다.(몬테카를로, 살사, 큐러닝은 model-free로, 샘플링을 통해 학습)그렇다면 1과 2는 어떻게 해결해야 할까? 기존의 강화학습 알고리즘에서는 각 상태에 대한 정보..

(파이썬과 케라스로 배우는 강화학습을 읽고 요약정리 한 것입니다.) 1. 시간차 예측 Temporal Difference Prediction이전에 살펴본 몬테카를로 예측의 단점은 실시간이 아니라는 점이다. 몬테카를로는 하나의 에피소드가 끝날 때까지 기다려야하며, 에피소드의 끝이 없거나 길이가 길다면 이 방법은 적합하지 않다.이를 해결할 수 있는 방법이 시간차 예측 TD Prediction 이다. 시간차 예측은 타임스텝마다 가치함수를 업데이트하는 방법이다.시간차 예측에서 매 타임스텝마다 에이전트는 현재의 상태 S에서 행동을 하나 선택하고 보상 R을 받고 다음 상태 S'를 알게 된다.그렇다면 에이전트는 현재 가지고 있는 가치함수 리스트에서 다음 상태에 해당하는 가치함수 V(S')를 가져올 수 있고, 바로 R..

(파이썬과 케라스로 배우는 강화학습을 읽고 요약정리 한 것입니다.) 1. 가치 이터레이션 Value Iteration이전에 Policy Iteration 에서는 벨만 기대 방정식을 이용했다. 정책과 가치함수가 명확히 분리돼 있었기 때문에. 확률적인 정책을 고려하여 가치함수를 계산하려면 기댓값을 사용할 수 밖에 없고, 그래서 벨만 기대 방정식을 사용했다. 만약 policy를 현재 가치함수가 최적이라고 가정하고 이에 대해 결정적인 형태의 정책을 적용한다면 어떨까? 결과적으로 이 과정은 문제될 것이 없다. (다이내믹 프로그래밍을 이용할 것이므로) 결국 무수히 반복하게 되면 최적의 가치함수에 도달할 것이다. 이렇게 접근하여 계산을 하는 것이 가치 이터레이션 Value Iteration 이다. 가치 이터레이션의 ..