Machine Learning
-
ML Intro | Iris Analysis - Training Data & Testing DataMachine Learning/ML with Python Library 2024. 1. 24. 22:05
지난번, 데이터 적재 과정을 마지고 나서, 이제 본격적으로 데이터를 전처리하는 과정으로 넘어가보자. 어떤 전처리가 필요할까? 지도학습을 완성시키기 위해서는 모델을 트레이닝하는것도 중요하지만, 테스팅 데이터를 따로 준비해두고, 트레이닝한 모델의 성능이 얼마나 좋은지를 판단할 수 있도록 하는 과정도 꼭 필요하다. 여기서 중요한점이 있다. 바로 모델을 만들 때 쓴 데이터는 평가 목적으로 사용하지 말아야한다는 것이다. 만약 트레이닝 데이터와 테스팅 데이터가 일치한다면, 새로운 사항들이 주어졌을 때, 이 모델은 어떠한 새로운것에 대해서는 잘 작동하지 않을수도 있다. 그렇기 때문에 우리가 가진 150개의 데이터를 두 그룹으로 나눈다. 하나는 모델을 만들 때 사용하며, 이것을 훈련 데이터(Training Data) ..
-
ML Intro | Iris Analysis - Import Data and CheckMachine Learning/ML with Python Library 2024. 1. 23. 19:02
Scikit Learn을 사용해서 첫번째 ML 어플리케이션을 만들어보자. 바로 Iris의 품종을 예측하는 모델인데, 꽃잎(petal)과 꽃받침(sepal)의 폭과 길이를 cm 단위로 측정한 값과 전문가들이 setosa, versicolor, virginica종으로 분류한 iris의 데이터도 가지고 이 값들을 이용해 어떤 품종인지 구분, 즉 Classification하는 어플을 만들것이다. 그래서 iris(붓꽃)의 종류는 클래스(class)라고 한다. 그리고 iris의 하나하나 특징은 레이블(label)이라고 한다. 먼저 코랩에서 sklearn에서 제공해주는 iris데이터를 import해서 살펴보았다. from sklearn.datasets import load_iris iris_dataset = load..
-
Introduction to Machine Learning with PythonMachine Learning/ML with Python Library 2024. 1. 22. 19:58
새해를 맞아 다시한번 머신러닝 프로젝트를 구상한다. 매년 배우려고 해도, 쌓여가는 업무에 제대로 된 모델을 만들어본 적 없었다. 2024년에는 반드시 해내고 내겠다는 다짐으로 커뮤니티에서 추천을 많이 하는 책을 샀다. 표지만 봐도 믿고 산다는 파충류 책이었다. 이 책을 정독하고 follow 하면서 ML의 엔트로피를 줄이고자 한다. https://www.yes24.com/Product/Goods/42806875 파이썬 라이브러리를 활용한 머신러닝 - 예스24 사이킷런 핵심 개발자에게 배우는 머신러닝 이론과 구현 현업에서 머신러닝을 연구하고 인공지능 서비스를 개발하기 위해 꼭 학위를 받을 필요는 없다. 사이킷런(scikit-learn)과 같은 훌륭한 머신 www.yes24.com 그렇다면, 머신러닝으로 어떤..
-
What is Pandas?Machine Learning/Pandas 2024. 1. 17. 18:33
Pandas(팬더스)는 데이터 분석을 위한 Python 패키지 중 가장 중요하다고 해도 과언이 아니다. 다양한 형태로 읽고 쓸수 있는 기능은 Data Science 실무자(practitioners)들에게 다재다능한 도구를 제공한다. 정확하게 Pandas란 무엇일까? 표 형식의 데이터를 다루기 위한 Python 데이터 패키지이다. Row와 Column의 형태로 된 데이터, 일명 DataFrame으로 불린다. 이 DataFrame은 엑셀시트로 생각할 수 있다. Pandas의 기능에는 데이터 변환(row sorting, taking subsets), 평균과 같은 통계 계산, DataFrame의 재구성 및 DataFrame 결합등이 포함된다. Pandas는 다른 유명한 Data Sceince 패키지들과도 잘 작..
-
Recognizing Images | Advanced Learning AlgorithmMachine Learning/Stanford ML Specialization 2023. 11. 14. 21:50
Coursera Machine Learning Specialization > Supervised Machine Learning: Advanced Learning Algorithms > Neural Network Intuition 앞서서 Neural Network를 이용해서 Classification하는 방법에 대해 알아봤다. 그렇다면 이 아이디어를 Image를 이용한 Computer Vision에 어떻게 적용할 수 있을까? Face Recognition을 개발하는 중 이라면, 다음과 같은 작업이 필요하다. 먼저, 아래와 같이 어떤 인물(?)의 이미지를 데이터화하는게 필요하다. 아래 이미지를 보자. 비를 맞고있는 피카츄이다. 이 그림이 만약 1000 pixel x 1000 pixel 이라고 한다면, 이는 ..
-
Demand Prediction | Advanced Learning AlgorithmMachine Learning/Stanford ML Specialization 2023. 11. 14. 21:12
Coursera Machine Learning Specialization > Supervised Machine Learning: Advanced Learning Algorithms > Neural Network Intuition Logistic Regression을 다시 살펴보자. Sigmoid 함수를 이용해서 알맞은 z를 찾는데, 이 z는 w, x, 그리고 b를 이용해서 계산한다. 그리고 threashold(위 이미지에서는 0.5이다)를 정해서, 1이 될 확률 또는 0이 될 확률을 예측하는 알고리즘이다. 여기서 이 모델을 f(x)가 아닌 a라고도 하는데 이는 activation의 약자이고, 이것은 실제 뇌과학에서 뉴런이 신호를 보낼 때 쓰는 단어이다. 만약 이 모델이 티셔츠의 가격을 이용해서 top s..
-
Neurons and the brain (뉴런과 뇌) | Advanced Learning AlgorithmsMachine Learning/Stanford ML Specialization 2023. 11. 13. 22:38
Coursera Machine Learning Specialization > Supervised Machine Learning: Advanced Learning Algorithms > Neural Network Intuition Neural Networks 생물학적 뇌가 학습하고 생각하는 방식을 모방할 수 있는 소프트웨어를 개발해보자! 하고 과학자들이 생각해낸것이 Neural Network의 시작이었다. 요즘에도 Artificial Neural Network(인공 신경망)이라고 불러지는데, 뇌 신경망을 인공적으로 구현했다는 의미에서 불려진다고 한다. 그 시작은? 1980년대에서 1990년초까지, 뇌를 mimic(흉내내는) 알고리즘이 시초였다. 우편번호를 판독하거나, 손으로 쓴 수표에 있는 달러 수치를 읽..
-
Regularized Linear Regression(정규화 선형 회귀) | Supervised Machine Learning: Regression and ClassificationMachine Learning/Stanford ML Specialization 2023. 11. 7. 22:41
Coursera Machine Learning Specialization > Supervised Machine Learning: Regression and Classification > Classification 앞에서 배운 Regularization을 이용해서 Linear Regression에 적용하면 어떻게 될까? 정규화 선형 회귀(Regluarized Linear Regression)을 위한 경사 하강법(Gradient Descent)에 대해서 알아보자. b값에 대해서는 Regularization을 할 필요 없기때문에, 아래 수식을 반복해서 경사하강을 진행하면 된다. 기존의 수식에서 w값을 업데이트 할 때, Squared Error Cost 뿐만 아니라, Loss Function을 이용해서 Reg..