경사하강법
-
Multiclass Classification | Neural Network Advanced OptimizationMachine Learning/Stanford ML Specialization 2024. 4. 2. 08:54
Coursera Machine Learning Specialization > Supervised Machine Learning: Advanced Learning Algorithms > Neural Network Intuition Gradient Descent Gradient descent(그레디언트 디센트, 경사하강법)은 ML에서 널리 사용되는 최적화 알고리즘인데, Cost Function을 최소화 하는데 사용할 수 있는 다른 최적화 알고리즘도 있다. 우리가 그동안 봐왔던 Gradient descent보다 훨씬 더 나은 방법이다. 경사하강법보다 빠르게 트레이닝 할 수 있는 방법이 어떤게 있는지 알아보자. Gradient Descent 에서는, 어떤 지점에서 시작해서, 학습률 알파를 잘 조정해서, 위의 공..
-
Gradient descent for multiple linear regression (다중 선형회귀의 경사 하강법) | Supervised Machine Learning: Regression and ClassificationMachine Learning/Stanford ML Specialization 2023. 10. 30. 21:34
Coursera Machine Learning Specialization > Supervised Machine Learning: Regression and Classification > Regression with multiple input variables 지난번 배운 Gradient Descent와 Vectorization을 모두 이용해서 Multiple Linear Regression(다중 선형회귀)의 Gradient Descent(경사 하강법)에 대해서 알아보자. Vector Notation 기존의 notation을 사용하면 w들을 표현할 때, feature가 여러개라면, w1, w2, ..., wn과 같은 방식으로 표현해야 했다. 또한 모델의 표현도 복잡하다. w들과 b는 아래와 같이 표현할 수..
-
Learning Rate (학습률, 알파) | Supervised Machine Learning: Regression and ClassificationMachine Learning/Stanford ML Specialization 2023. 10. 27. 18:58
Coursera Machine Learning Specialization > Supervised Machine Learning: Regression and Classification > Introduction to Machine Learning Learning Rate(학습률)이라는것이 있다. 지난 시간 Gradient Descent(경사 하강법)에 대해 공부할 때, w값을 바꾸어가면서 계산했는데, 새로운 w값을 찾을 때, 알파(a)값을 바꿔서 J(w)의 Derevitive 값을 곱해줬었다. 여기서 알파(a)가 바로 학습률, Learning Rate이다. 너무 작지도 크지도 않은 Learning Rate를 선택하는것은 아주 중요하다. Too Large or Small Learning Rate 만약, 알파..