Ordinary day

(파이썬과 케라스로 배우는 강화학습을 읽고 요약정리 한 것입니다.) 1. 케라스현재 가장 널리 쓰이는 딥러닝 프레임워크는 텐서플로우이다. 케라스는 텐서플로우를 감싸는 또 다른 프레임워크이다.앞에서 input, hidden, output 의 레이어를 정의했었는데 케라스의 소스로 표현한다면 아래와 같이 나타낼 수 있다. model.add(Dense(30, input_dim=15, activation='relu'))model.add(Dense(30, activation='relu'))model.add(Dense(1, activation='linear')) 모델(Sequential model)은 add() 함수로 레이어를 연결할 수 있다.Dense() 의 첫번째 파라미터는 노드 수를 의미한다.input_dim ..

(파이썬과 케라스로 배우는 강화학습을 읽고 요약정리 한 것입니다.) 1. 근사함수 Function Approximation앞에서 봤던 문제들은 간단한 문제였지만 대부분은 상태가 다양하고 환경이 변한다.그럼 이런 경우엔 에이전트는 강화학습을 통해 어떻게 학습할까? 이전에 봤던 다이내믹 프로그래밍은계산 복잡도: 상태 공간의 크기가 커지는 경우차원의 저주: 상태의 차원이 늘어나는 경우환경에 대한 완벽한 정보 필요: 보상, 상태변환확률(모델)을 정확히 알아야 함이런 한계가 존재했었고, 몬테카를로, 살사, 큐러닝으로 3번의 문제를 해결할 수 있었다.(몬테카를로, 살사, 큐러닝은 model-free로, 샘플링을 통해 학습)그렇다면 1과 2는 어떻게 해결해야 할까? 기존의 강화학습 알고리즘에서는 각 상태에 대한 정보..

(파이썬과 케라스로 배우는 강화학습을 읽고 요약정리 한 것입니다.) 1. 시간차 예측 Temporal Difference Prediction이전에 살펴본 몬테카를로 예측의 단점은 실시간이 아니라는 점이다. 몬테카를로는 하나의 에피소드가 끝날 때까지 기다려야하며, 에피소드의 끝이 없거나 길이가 길다면 이 방법은 적합하지 않다.이를 해결할 수 있는 방법이 시간차 예측 TD Prediction 이다. 시간차 예측은 타임스텝마다 가치함수를 업데이트하는 방법이다.시간차 예측에서 매 타임스텝마다 에이전트는 현재의 상태 S에서 행동을 하나 선택하고 보상 R을 받고 다음 상태 S'를 알게 된다.그렇다면 에이전트는 현재 가지고 있는 가치함수 리스트에서 다음 상태에 해당하는 가치함수 V(S')를 가져올 수 있고, 바로 R..