[ML개념] binary classification / logistic regression

hypothesis 

to classify binary category (e.g. 0 or 1), we need a losistic function

=> 어떠한 실수값 (-inf, inf)을 넣어도 0과 1사이에서 분류가 가능하다 :))

=> linear regression에서 sigmoid 함수를 씌운 형태 

Cost function 

=> MSE로 정의하면 saddle point가 많아서 gradient descent 알고리즘을 쓰기 어렵다 

=> cross-entropy loss !  (difference between two probability distribution) 컨셉을 이용하자 

=> 잘예측하면 값이 작고, 예측값과멀어질수록 값이 커지는 (오차가 커짐) 경향을 잘 반영함 

 

 

출처: https://github.com/heartcored98/Standalone-DeepLearning/blob/master/Lec2/Lec2-A_before_class.pdf