[ML개념] Linear regression
regression : 예측하는 문제를 풀고 싶다
Linear : hypothesis => 우리가 예측하는 문제가 선형의 트렌드를 따를것으로 예측하자. 즉, y = Wx+b 에서 데이터의 경향을 잘보여주는 W와 b를 찾는 문제로 볼 수 있다.
so how can we find a W and b ?
=> W와 b 값이 데이터를 잘 표현하고 있다는 것을 정량화해줄 도구가 필요하다
==> cost function ! : 예측한 함수와 실제데이터 사이의 오차를 계산
==> 즉 좋은 예측 모델이란 !? cost function값을 작게 만드는 예측모델 파라미터(W,b)를 찾는 과정 !!
How to minimize the cost function? == find a local minima ! (optimization problem)
=> method 1. calculate the value where derivative become zero (find a closed-formula)
=> method 2. iterative algorithm : gradient descent algorithm
• Start with initial guesses - Start at 0,0 (or any other value)
• Each time you change the parameters, you select the gradient which reduces cost(W, b) the most possible
• Repeat until you converge to a local minimum
학습과정을 요약하자면 define model (hypothesis) -> define cost (loss) function -> optimize cost function 의 과정으로 볼수있다.