Machine Learning/Stanford ML Specialization
-
Neural Network Layer | Advanced Learning AlgorithmMachine Learning/Stanford ML Specialization 2024. 1. 27. 09:49
Coursera Machine Learning Specialization > Supervised Machine Learning: Advanced Learning Algorithms > Neural Network Intuition 현대 ML분야에서 대부분의 Neural Networks들은 뉴런 Layers들로 구성되어 있다. 그렇다면 이 계층을 어떻게 구성하면 좋을까? 이 계층 구성하는 방법을 이용해서 구성하고 나면, 이 모든것을 취합해서 대규모 신경망을 형성할 수 있다. Neural Network가 어떻게 작동하는지 알아보자. 아래와 같은 뉴런 네트워크가 있다고 가정해보자. 1개의 layer가 있는 네트워크이고, 그 layer에서 나온 결과값을 출력하는 구조이다. 가운데 3개의 뉴런이 있는 "은닉 레이어..
-
Recognizing Images | Advanced Learning AlgorithmMachine Learning/Stanford ML Specialization 2023. 11. 14. 21:50
Coursera Machine Learning Specialization > Supervised Machine Learning: Advanced Learning Algorithms > Neural Network Intuition 앞서서 Neural Network를 이용해서 Classification하는 방법에 대해 알아봤다. 그렇다면 이 아이디어를 Image를 이용한 Computer Vision에 어떻게 적용할 수 있을까? Face Recognition을 개발하는 중 이라면, 다음과 같은 작업이 필요하다. 먼저, 아래와 같이 어떤 인물(?)의 이미지를 데이터화하는게 필요하다. 아래 이미지를 보자. 비를 맞고있는 피카츄이다. 이 그림이 만약 1000 pixel x 1000 pixel 이라고 한다면, 이는 ..
-
Demand Prediction | Advanced Learning AlgorithmMachine Learning/Stanford ML Specialization 2023. 11. 14. 21:12
Coursera Machine Learning Specialization > Supervised Machine Learning: Advanced Learning Algorithms > Neural Network Intuition Logistic Regression을 다시 살펴보자. Sigmoid 함수를 이용해서 알맞은 z를 찾는데, 이 z는 w, x, 그리고 b를 이용해서 계산한다. 그리고 threashold(위 이미지에서는 0.5이다)를 정해서, 1이 될 확률 또는 0이 될 확률을 예측하는 알고리즘이다. 여기서 이 모델을 f(x)가 아닌 a라고도 하는데 이는 activation의 약자이고, 이것은 실제 뇌과학에서 뉴런이 신호를 보낼 때 쓰는 단어이다. 만약 이 모델이 티셔츠의 가격을 이용해서 top s..
-
Neurons and the brain (뉴런과 뇌) | Advanced Learning AlgorithmsMachine Learning/Stanford ML Specialization 2023. 11. 13. 22:38
Coursera Machine Learning Specialization > Supervised Machine Learning: Advanced Learning Algorithms > Neural Network Intuition Neural Networks 생물학적 뇌가 학습하고 생각하는 방식을 모방할 수 있는 소프트웨어를 개발해보자! 하고 과학자들이 생각해낸것이 Neural Network의 시작이었다. 요즘에도 Artificial Neural Network(인공 신경망)이라고 불러지는데, 뇌 신경망을 인공적으로 구현했다는 의미에서 불려진다고 한다. 그 시작은? 1980년대에서 1990년초까지, 뇌를 mimic(흉내내는) 알고리즘이 시초였다. 우편번호를 판독하거나, 손으로 쓴 수표에 있는 달러 수치를 읽..
-
Regularized Linear Regression(정규화 선형 회귀) | Supervised Machine Learning: Regression and ClassificationMachine Learning/Stanford ML Specialization 2023. 11. 7. 22:41
Coursera Machine Learning Specialization > Supervised Machine Learning: Regression and Classification > Classification 앞에서 배운 Regularization을 이용해서 Linear Regression에 적용하면 어떻게 될까? 정규화 선형 회귀(Regluarized Linear Regression)을 위한 경사 하강법(Gradient Descent)에 대해서 알아보자. b값에 대해서는 Regularization을 할 필요 없기때문에, 아래 수식을 반복해서 경사하강을 진행하면 된다. 기존의 수식에서 w값을 업데이트 할 때, Squared Error Cost 뿐만 아니라, Loss Function을 이용해서 Reg..
-
Cost Function with Regularization (비용함수와 정규화) | Supervised Machine Learning: Regression and ClassificationMachine Learning/Stanford ML Specialization 2023. 11. 7. 00:02
Coursera Machine Learning Specialization > Supervised Machine Learning: Regression and Classification > Classification 가장 기본적으로 Regularization할 수 있는 방법은 높은 차항을 가진 변수의 parameter를 아주 작게 설정하는것이다. 예를 들어 4차항의 수식이라고 한다면, 1, 2차항은 기존과 같은 Cost Function을 이용하고, 3, 4차항은 아주 작은 숫자를 이용해서 아주 미세하게 input을 주지만 많은 영향을 주지는 않게 해서 overfitting을 피할 수 있다. 위에서 보여준대로, w3과 w4를 Regularization을 할 수 있다. 이런식으로 어떤 Parameter에 패널..
-
Addressing overfitting (과적합 문제 해결) | Supervised Machine Learning: Regression and ClassificationMachine Learning/Stanford ML Specialization 2023. 11. 6. 23:25
Coursera Machine Learning Specialization > Supervised Machine Learning: Regression and Classification > Classification 과적합 문제를 그렇다면 어떻게 해결할 수 있을까? 해결 방법에는 여러가지가 있다. Collect More Training Examples 첫번째, 충분한 예제가 있다면 고차 다항식도 과적합 문제를 일으키지 않는다. 데이터가 너무 없다면, 그 사이 공백의 데이터에 맞는 굴곡이 많은 함수가 그려질 수 있다. 만약, training example을 충분히 모아서 고차 다항식으로 트레이닝 한다면, 그 공백들을 메꿔주면서 많은 example을 만족시키고, 또한 미래의 예측을 대비해 적절하게 genera..
-
The Problem of Overfitting (과적합 문제) | Supervised Machine Learning: Regression and ClassificationMachine Learning/Stanford ML Specialization 2023. 11. 6. 22:02
Coursera Machine Learning Specialization > Supervised Machine Learning: Regression and Classification > Classification 골디락스와 곰 세마리 골디락스와 곰 세마리라는 동화가 있다. 골디락스는 어쩌다가 곰의 집에 들어가게 되는데, 그 집에는 모든 물건이 세개씩 있었다. 아빠곰을 위한 가장 큰 것, 엄마곰을 위한 중간 사이즈, 그리고 아기 곰을 위한 작은것, 모든게 세가지였다. 골디락스가 스프를 먹을 때, 첫번째 큰 그릇의 스프는 엄청 뜨거웠고, 두번째 중간사이즈 스프는 차가웠고, 마지막 그릇에 있는것은 딱 적당~ 하게 좋았다. https://youtu.be/QvnGq8wrj9E?t=250 Overfitting과 ..