Gradient Descent for Linear Regression (선형회귀를 위한 경사 하강법) | Supervised Machine Learning: Regression and Classification

Coursera Machine Learning Specialization > Supervised Machine Learning: Regression and Classification > Introduction to Machine Learning

 

선형회귀와 Cost Function을 다시 살펴보자.

https://youtu.be/RGL_XUjPkGo

 

Linear Regression모델은 다음과 같다. w와 b값을 바꿔가면서 최종적으로 가장 좋은 Performance를 보여주는 최종 값을 찾는것이다. 그런데 여기서 어떻게 이 모델이 좋은 모델이라고 판단할 수 있는가? 바로 Cost Function을 이용해서, 할 수 있었다. 실제 값과 모델이 추측한 값의 차이들을 비교해서 좋은 w, b값들을 찾아가는게 바로 학습의 과정이었다. 그렇다면 w와 b값은 어떤 방식으로 변화시켜나가나? 바로 Gradient Descent, 경사 하강법을 이용해서 적절한 Learning Rate를 이용해 그 다음 w, b값을 계산해서 사용하고, Minimum을 찾아나가는 방식으로 진행할 수 있다. 

 

https://youtu.be/RGL_XUjPkGo

w와 b에 대한 Derivitive를 계산하여 넣어주면, Gradient Descent Algorithm은 위와 같이 표현할 수 있다. 이렇게 구한 w와 b의 값을 Linear Function에 동시에 업데이트를 해주면 된다.

 

 

https://youtu.be/RGL_XUjPkGo

선형 회귀에서 Squared Error Cost Function을 이용해서 Minimum을 찾아나가보면, Global Minimum은 하나 뿐이다.