Ordinary day

gradient descent를 사용하여 cost function 값을 최소화 해보자 gradient descent를 사용해서 가중치w 값을 업데이트 할 수 있다. w := w + ∆w 여기서 w의 변화량(∆w)은 (-) 기울기 값에 learning rate η을 곱한 값으로 정의된다. ∆w = −η∆J(w) cost function의 기울기를 계산하려면 각각의 w와 관련하여 cost function의 편미분을 계산해야한다. 그리고 w 업데이트 값 wj을 아래와 같은 수식으로 나타낼 수 있다. 모든 w를 동시에 업데이트하기 때문에 Adaline learning rule은 다음과 같다. w := w + ∆w 파이썬으로 Adaptive Linear Neuron 구현하기 퍼셉트론과 Adaline은 매우 유사하..

파이썬에서 perceptron learning algorithm 구현 import numpy as np class Perceptron(object): """Perceptron classifier. Parameters ------------ eta : float Learning rate (between 0.0 and 1.0) n_iter : int Passes over the training dataset. Attributes ----------- w_ : 1d-array Weights after fitting. errors_ : list Number of misclassifications (updates) in each epoch. """ def __init__(self, eta=0.01, n_iter=..

Training Machine Learning Algorithms for Classification perceptron 과 adaptive linear 사용해서 classification 구현해보자. 이 장의 주제는 다음과 같다. - 머신러닝 알고리즘을 위한 직관 설계 - NumPy 같은 관련 라이브러리 사용 - 파이썬으로 linear classification algorithms 구현 인공 뉴런 (Artificial Neurons) - 기계 학습의 초기 역사 Warren McCullock 과 Walter Pitts 1943년에 MCP뉴런이라는 단순한 뇌세포의 개념을 처음으로 발표했다. McCullock 과 Pitts는 그런 신경 세포를 두개의 출력을 가진 단순한 논리 게이트로 설명했다. 여러 신호가 수..

1. Gradient descent 이전에 cost function에 대해 학습했었다. 우리의 목표는 J(θ0, θ1)값 (이제는 이 값을 cost라고 칭하겠다)을 최소화하는 파라미터를 찾는 것이다. 3차원 cost function이 아래와 같이 그려져 있다고 할 때, 우리는 임의의 위치에서 시작하여 θ0과 θ1의 값을 조금씩 변경하면서 cost가 감소하는 방향으로 따라가보자. 이렇게 파라미터 값을 변경하면서 cost가 감소하는 gradient를 선택하고 이 과정을 반복한다면 해당 영역에서 최소값에 수렴할 수 있을 것이다. (시작하는 위치에 따라 수렴하는 값이 조금씩 차이가 있을 수 있다.) 위의 표현을 수식으로 정리해보면 아래와 같이 나타낼 수 있다. := 의 의미는 대입한다는 뜻 α 의 값은 lear..