지도학습 | Linear Regression (선형회귀)

회귀의 경우, 일반화된 예측 함수는 다음과 같다.

y = w0x0 + w1x1 + w2x2 + ... + wpxp + b

 

여기서 w와 x는 특성의 갯수만큼 생기며, 위의 예제에서는 p+1개의 특성이 있다고 생각할 수 있다. 특성이 한개인 Linear Regression 모델은 다음과 나타낼 수 있다.

y = w0x0 + b

 

mglearn예시를 가지고 Linear Regression에서 위에서 정의한 선을 어떻게 그려내는지 확인해보자.

!pip install mglearn
import mglearn

mglearn.plots.plot_linear_regression_wave()

 

 

위와같은 Linear가 그려졌고, w(weight)과 b(bias)값은 아래와 같이 측정되었다.

w[0]: 0.393906 b: -0.031804

 

 

이렇게 특성이 하나일 땐 직선이지만, 두개일 땐 평면이 되며, 더 높은 차원(많은 특성)에서는 초평면, 즉 hyperplane이 되는게 Regression Model의 특징이다. 앞에 봤던 KNeighborsRegressor를 비교하면, 직선을 사용한 예측이 조금 덜 정확한것처럼 보인다. 어느정도는 사실이지만, 특성이 많은 데이터셋이라면, Regression 모델도 훌륭한 성능을 낼 수 있다.

 

 

 

 

Reference

https://www.yes24.com/Product/Goods/42806875

파이썬 라이브러리를 활용한 머신러닝 - 예스24

https://colab.research.google.com/drive/1fzSiPpwbTUplw6G0PJSpGaVBWx5CEMIZ?usp=sharing