Machine Learning
-
What is Pandas?Machine Learning/Pandas 2024. 1. 17. 18:33
Pandas(팬더스)는 데이터 분석을 위한 Python 패키지 중 가장 중요하다고 해도 과언이 아니다. 다양한 형태로 읽고 쓸수 있는 기능은 Data Science 실무자(practitioners)들에게 다재다능한 도구를 제공한다. 정확하게 Pandas란 무엇일까? 표 형식의 데이터를 다루기 위한 Python 데이터 패키지이다. Row와 Column의 형태로 된 데이터, 일명 DataFrame으로 불린다. 이 DataFrame은 엑셀시트로 생각할 수 있다. Pandas의 기능에는 데이터 변환(row sorting, taking subsets), 평균과 같은 통계 계산, DataFrame의 재구성 및 DataFrame 결합등이 포함된다. Pandas는 다른 유명한 Data Sceince 패키지들과도 잘 작..
-
Recognizing Images | Advanced Learning AlgorithmMachine Learning/Stanford ML Specialization 2023. 11. 14. 21:50
Coursera Machine Learning Specialization > Supervised Machine Learning: Advanced Learning Algorithms > Neural Network Intuition 앞서서 Neural Network를 이용해서 Classification하는 방법에 대해 알아봤다. 그렇다면 이 아이디어를 Image를 이용한 Computer Vision에 어떻게 적용할 수 있을까? Face Recognition을 개발하는 중 이라면, 다음과 같은 작업이 필요하다. 먼저, 아래와 같이 어떤 인물(?)의 이미지를 데이터화하는게 필요하다. 아래 이미지를 보자. 비를 맞고있는 피카츄이다. 이 그림이 만약 1000 pixel x 1000 pixel 이라고 한다면, 이는 ..
-
Demand Prediction | Advanced Learning AlgorithmMachine Learning/Stanford ML Specialization 2023. 11. 14. 21:12
Coursera Machine Learning Specialization > Supervised Machine Learning: Advanced Learning Algorithms > Neural Network Intuition Logistic Regression을 다시 살펴보자. Sigmoid 함수를 이용해서 알맞은 z를 찾는데, 이 z는 w, x, 그리고 b를 이용해서 계산한다. 그리고 threashold(위 이미지에서는 0.5이다)를 정해서, 1이 될 확률 또는 0이 될 확률을 예측하는 알고리즘이다. 여기서 이 모델을 f(x)가 아닌 a라고도 하는데 이는 activation의 약자이고, 이것은 실제 뇌과학에서 뉴런이 신호를 보낼 때 쓰는 단어이다. 만약 이 모델이 티셔츠의 가격을 이용해서 top s..
-
Neurons and the brain (뉴런과 뇌) | Advanced Learning AlgorithmsMachine Learning/Stanford ML Specialization 2023. 11. 13. 22:38
Coursera Machine Learning Specialization > Supervised Machine Learning: Advanced Learning Algorithms > Neural Network Intuition Neural Networks 생물학적 뇌가 학습하고 생각하는 방식을 모방할 수 있는 소프트웨어를 개발해보자! 하고 과학자들이 생각해낸것이 Neural Network의 시작이었다. 요즘에도 Artificial Neural Network(인공 신경망)이라고 불러지는데, 뇌 신경망을 인공적으로 구현했다는 의미에서 불려진다고 한다. 그 시작은? 1980년대에서 1990년초까지, 뇌를 mimic(흉내내는) 알고리즘이 시초였다. 우편번호를 판독하거나, 손으로 쓴 수표에 있는 달러 수치를 읽..
-
Regularized Linear Regression(정규화 선형 회귀) | Supervised Machine Learning: Regression and ClassificationMachine Learning/Stanford ML Specialization 2023. 11. 7. 22:41
Coursera Machine Learning Specialization > Supervised Machine Learning: Regression and Classification > Classification 앞에서 배운 Regularization을 이용해서 Linear Regression에 적용하면 어떻게 될까? 정규화 선형 회귀(Regluarized Linear Regression)을 위한 경사 하강법(Gradient Descent)에 대해서 알아보자. b값에 대해서는 Regularization을 할 필요 없기때문에, 아래 수식을 반복해서 경사하강을 진행하면 된다. 기존의 수식에서 w값을 업데이트 할 때, Squared Error Cost 뿐만 아니라, Loss Function을 이용해서 Reg..
-
Cost Function with Regularization (비용함수와 정규화) | Supervised Machine Learning: Regression and ClassificationMachine Learning/Stanford ML Specialization 2023. 11. 7. 00:02
Coursera Machine Learning Specialization > Supervised Machine Learning: Regression and Classification > Classification 가장 기본적으로 Regularization할 수 있는 방법은 높은 차항을 가진 변수의 parameter를 아주 작게 설정하는것이다. 예를 들어 4차항의 수식이라고 한다면, 1, 2차항은 기존과 같은 Cost Function을 이용하고, 3, 4차항은 아주 작은 숫자를 이용해서 아주 미세하게 input을 주지만 많은 영향을 주지는 않게 해서 overfitting을 피할 수 있다. 위에서 보여준대로, w3과 w4를 Regularization을 할 수 있다. 이런식으로 어떤 Parameter에 패널..
-
Addressing overfitting (과적합 문제 해결) | Supervised Machine Learning: Regression and ClassificationMachine Learning/Stanford ML Specialization 2023. 11. 6. 23:25
Coursera Machine Learning Specialization > Supervised Machine Learning: Regression and Classification > Classification 과적합 문제를 그렇다면 어떻게 해결할 수 있을까? 해결 방법에는 여러가지가 있다. Collect More Training Examples 첫번째, 충분한 예제가 있다면 고차 다항식도 과적합 문제를 일으키지 않는다. 데이터가 너무 없다면, 그 사이 공백의 데이터에 맞는 굴곡이 많은 함수가 그려질 수 있다. 만약, training example을 충분히 모아서 고차 다항식으로 트레이닝 한다면, 그 공백들을 메꿔주면서 많은 example을 만족시키고, 또한 미래의 예측을 대비해 적절하게 genera..
-
The Problem of Overfitting (과적합 문제) | Supervised Machine Learning: Regression and ClassificationMachine Learning/Stanford ML Specialization 2023. 11. 6. 22:02
Coursera Machine Learning Specialization > Supervised Machine Learning: Regression and Classification > Classification 골디락스와 곰 세마리 골디락스와 곰 세마리라는 동화가 있다. 골디락스는 어쩌다가 곰의 집에 들어가게 되는데, 그 집에는 모든 물건이 세개씩 있었다. 아빠곰을 위한 가장 큰 것, 엄마곰을 위한 중간 사이즈, 그리고 아기 곰을 위한 작은것, 모든게 세가지였다. 골디락스가 스프를 먹을 때, 첫번째 큰 그릇의 스프는 엄청 뜨거웠고, 두번째 중간사이즈 스프는 차가웠고, 마지막 그릇에 있는것은 딱 적당~ 하게 좋았다. https://youtu.be/QvnGq8wrj9E?t=250 Overfitting과 ..