Gradient Descent Implementation for Logistic Regression (로지스틱 회귀를 위한 경사 하강) | Supervised Machine Learning: Regression and Classification

Coursera Machine Learning Specialization > Supervised Machine Learning: Regression and Classification > Classification

 

 

https://youtu.be/6SZUnXEHCns

 

Logistic Regression에 대해 다시 복기해보자. Linear Regression과 동일하게, w와 b값을 찾는 것 인데, sigmoid 함수 안에 e의 마이너스 지수로 이용된 wx + b 에서의 w(vector 이다), b의 조합을 찾아야 한다. 이전 시간에, Loss function을 이용해서 Cost를 계산하는 방법에 대해 배워봤다. 그렇다면 w와 b의 값은 어떻게 바꿔나갈 수 있을까? Linear Regression에서 했던 것처럼, Logistic Regression에도 역시 Gradient Descent(경사 하강법)으로 이를 해결할 수 있다.

 

https://youtu.be/6SZUnXEHCns

 

일전에 우리는 Cost Function을 배웠다. 여기서 w와 b값은 어떻게 변화할까? Linear Regression과 같은 방식으로 접근할 수 있다. 바로, 현재 w에서 학습률(Learning Rate), 알파(a)에 J(w,b)의 Derivative 값을 곱해준 값을 빼주면 되고, 이는 w 벡터에 있는 모든 값, 그리고 b에도 동시에 해줘서 업데이트 해주어야 한다. 궁금증이 생긴다.

 

그렇다면 Linear Regression과 같이 계산이 되어지는게 아닐까? 이는 함수가 다른 형태이기 때문에 "아니다" 라고 할 수 있다. Sigmoid 형태의 함수를 쓰는 Logistic Regression이기 때문이다. 하지만 몇가지 같은점이 있다. Gradient Descent를 모니터링 할 때, Learning Curve의 최소값을 찾는다는 점, Linear Regression과 마찬가지로 Vectorization을 통해서 간단한 코딩과 병렬 처리를 통한 빠른 계산을 취할 수 있다는 점, 그리고 Feature Scaling도 동일하게 할 수 있다는 점이 같은 맥락이다.

 

 

Reference

https://youtu.be/6SZUnXEHCns