Ordinary day

1. Classification 예) 이메일 - 스팸분류, 온라인상거래 - 상품평의 긍/부정 분류, 종양 - 악성 분류 y∈{0,1} : binary class (0이면 부정, 1이면 긍정)y∈{0,1,2,3} : multi-class 임계값이 0.5인 것을 알고 있을 때, linear regression으로 분류하게 된다면 위의 그래프와 같을 것이다. 그러나 데이터가 추가될 경우, 더 좋지 않은 그래프가 그려질 수 있다. 따라서 classification의 문제에서는 linear regression 방법은 좋지 않다. 2. Hypothesis Representation linear regression을 사용했을 때 hθ(x)=θTx 였는데, logistic regression으로 사용하기 위해 식을 약..

gradient descent를 사용하여 cost function 값을 최소화 해보자 gradient descent를 사용해서 가중치w 값을 업데이트 할 수 있다. w := w + ∆w 여기서 w의 변화량(∆w)은 (-) 기울기 값에 learning rate η을 곱한 값으로 정의된다. ∆w = −η∆J(w) cost function의 기울기를 계산하려면 각각의 w와 관련하여 cost function의 편미분을 계산해야한다. 그리고 w 업데이트 값 wj을 아래와 같은 수식으로 나타낼 수 있다. 모든 w를 동시에 업데이트하기 때문에 Adaline learning rule은 다음과 같다. w := w + ∆w 파이썬으로 Adaptive Linear Neuron 구현하기 퍼셉트론과 Adaline은 매우 유사하..

파이썬에서 perceptron learning algorithm 구현 import numpy as np class Perceptron(object): """Perceptron classifier. Parameters ------------ eta : float Learning rate (between 0.0 and 1.0) n_iter : int Passes over the training dataset. Attributes ----------- w_ : 1d-array Weights after fitting. errors_ : list Number of misclassifications (updates) in each epoch. """ def __init__(self, eta=0.01, n_iter=..

Training Machine Learning Algorithms for Classification perceptron 과 adaptive linear 사용해서 classification 구현해보자. 이 장의 주제는 다음과 같다. - 머신러닝 알고리즘을 위한 직관 설계 - NumPy 같은 관련 라이브러리 사용 - 파이썬으로 linear classification algorithms 구현 인공 뉴런 (Artificial Neurons) - 기계 학습의 초기 역사 Warren McCullock 과 Walter Pitts 1943년에 MCP뉴런이라는 단순한 뇌세포의 개념을 처음으로 발표했다. McCullock 과 Pitts는 그런 신경 세포를 두개의 출력을 가진 단순한 논리 게이트로 설명했다. 여러 신호가 수..

1. Model representation supervised learning: 데이터에서 각 예시에 대해 적절한 답이 주어짐. Regression: 실제 출력값(real-valued output) 예측 Classification: 이산값(discreate-valued output) 예측 예를 들어 집값 data에서 data set 개수를 m, 집 크기를 x, 집 값을 y로 둔다고 해보자. m=training data 개수, x=input(value/feature), y=output(value/feature value) 라고 할 수 있다. (x, y) = 어떤 데이터 set의 한 예시라고 한다면, (xi, yi) = i번째 데이터 라고 할 수 있다.(지수 표시가 아님!) 집 크기(x) 집 값(y) 210..