[ML개념] Linear regression

regression : 예측하는 문제를 풀고 싶다  

Linear : hypothesis => 우리가 예측하는 문제가 선형의 트렌드를 따를것으로 예측하자. 즉, y = Wx+b 에서 데이터의 경향을 잘보여주는 W와 b를 찾는 문제로 볼 수 있다. 

so how can we find a W and b ? 

=> W와 b 값이 데이터를 잘 표현하고 있다는 것을 정량화해줄 도구가 필요하다 

==> cost function ! : 예측한 함수와 실제데이터 사이의 오차를 계산 

==> 즉 좋은 예측 모델이란 !? cost function값을 작게 만드는 예측모델 파라미터(W,b)를 찾는 과정 !!

 

 

How to minimize the cost function?  == find a local minima ! (optimization problem)

=> method 1. calculate the value where derivative become zero (find a closed-formula)

=> method 2. iterative algorithm : gradient descent algorithm

• Start with initial guesses - Start at 0,0 (or any other value) 

• Each time you change the parameters, you select the gradient which reduces cost(W, b) the most possible

• Repeat until you converge to a local minimum

학습과정을 요약하자면 define model (hypothesis) -> define cost (loss) function -> optimize cost function 의 과정으로 볼수있다. 

 

출처 : https://hunkim.github.io/ml/lec2.pdf