회귀 알고리즘과 모델 규제(2) - 선형 회귀

👀2주차 220117 ~ 220123 공부기록

 

📍 본 포스팅은 <혼자 공부하는 머신러닝+딥러닝> 책을 바탕으로 작성함을 알립니다.

---

✅Ch.03-2 선형 회귀

 

KNN알고리즘의 한계는 이웃의 개수로 예측을 하는 것이다. 위 그래프는, 기존 데이터와는 다른 데이터를 넣었을 때 발생하는 문제점을 보여준다. 초록색 삼각형(❇️)은 길이를 50으로 예측했을 때 알고리즘이 예측한 무게이다. 주황색 마름모(🔶)는 예측값 주변에서 가장 가까운 이웃 3개이다. (이웃의 개수를 3개 설정하였다.) 길이가 길어짐에 비례하여 무게가 늘어나는 것이 아니라 이웃의 샘플로 예측하기 때문에, 길이가 500이여도 무게를 약 1000으로 예측할 것이다.

주변의 샘플을 기준으로 예측하기 때문에, 길이를 100으로 설정하였을 때도 위의 그래프와 다를 게 없는 x축을 보여준다. 이를 해결하기 위해서, 더 큰 데이터를 추가해도 되지만 번거롭다. 데이터를 추가하는 방법보다는 다른 알고리즘으로 예측을 해보자.

---

🔥 선형 회귀 (linear regression)

선형 회귀는 특성과 타깃 사이의 관계를 모델링하는 회귀분석 기법이다. 특성이 하나면 직선 방정식이 되어 단순 선형 회귀(simple linear regression)이다. 둘 이상의 설명 변수에 기반한 경우에는 다중 선형 회귀라고 한다.

선형 회귀는 알려지지 않은 파라미터는 데이터로부터 추정한다. 기존 데이터를 훈련하면, LinearRegression클래스는 기울기인 a와 y절편인 b를 값을 찾는다. 이 값으로 후에 독립 변수 x의 데이터로 y를 예측할 수 있다.

---

❓어떻게 기울기와 y절편을 찾나요?

from sklearn.linear_model import LinearRegression
lr = LinearRegression()

#선형 회귀 모델을 훈련
lr.fit(train_input, train_target)

LinearRegression은 사이컷런의 선형 회귀 클래스로, 내부에서 기울기와 y절편을 계산한다.

모델 내부에서 알고리즘이 값을 찾는 것을 모델 파라미터라고 한다. 

print(lr.coef_, lr.intercept_)
#[39.01714496] -709.0186449535477

coef_와 intercept_가 기울기와 y절편이자 모델 파라미터이다.

* coef_ 속성 이름에서 알 수 있듯이 머신러닝에서 기울기를 종종 계수(coefficient) 또는 가중치(weight)라고 한다.

---

(좌)KNN (우)선형회귀

KNN 회귀 알고리즘은 50cm의 무게를 1033으로 예측했고, 선형 회귀 알고리즘은 1241로 예측을 하였다. 좌측이 예상한 값보다는 우측이 예상한 값이 더 신뢰성이 높다. 하지만 우측 그래프를 자세히 본다면 이상한 점을 느낄 수 있다. 우측 그래프의 좌측 하단을 보면, 그래프는 한 없이 내려가서 음수로 간다. 기존 데이터는 직선 그래프보다는 휘어진 곡선 그래프가 더 가깝다. 곡선 그래프를 그리기위해서는 2차 방정식의 그래프를 그려야 하고 이를 다항 회귀라고 한다.

---

🔥 다항 회귀(Polynomial Regression)

다항 회귀는 다항식을 사용하여 특성과 타깃 사이의 관계를 나타낸다.

lr = LinearRegression()
lr.fit(train_poly, train_target)

print(lr.predict([[50**2, 50]]))

#[1573.98423528]

위 코드블럭은 x = 50 을 대입했을 때, 알고리즘이 y를 1573으로 예측함을 보여준다.

print(lr.coef_, lr.intercept_)

#[  1.01433211 -21.55792498] 116.05021078278276

다항식의 x², x 그리고 y절편을 출력한 값이다. 

x²의 계수(a)는 1.01433211, x의 계수(b)는 -21.55792498, y절편은 116.05021078278276이다.

구한 값들을 수식화하면 위와 같이 나타낼 수 있다.

단순 선형 회귀의 문제를 보완하여 더 나은 다중 회귀 그래프를 그려보았다.

#구간별 직선을 그리기 위해 15에서 49까지 정수 배열을 만든다.
point = np.arange(15, 50)

#훈련 세트의 산점도를 그린다.
plt.scatter(train_input, train_target)

#15에서 49까지 2차 방정식 그래프를 그린다.
plt.plot(point, 1.01*point**2 - 21.6*point + 116.05)

#50cm 농어 데이터
plt.scatter(50, 1573, marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

다중 회귀 그래프 코드이다. 위 코드에서는 arange() 함수를 사용하여 짧은 직선을 이어서 마치 곡선처럼 표현하였다.

---

🔥넘파이 브로드캐스팅

기본적으로 NumPy에서는 모양이 다른 배열끼리는 연산이 불가능하다. 하지만 브로드캐스팅은 모양이 다른 배열들 간의 연산이 어떤 조건을 만족했을 때 가능해지도록 배열을 자동적으로 변환하는 것이다.

 

브로드캐스팅이 가능한 조건

1. 차원의 크기가 1일 때 : 두 배열 간의 연산에서 최소한 하나의 배열의 차원이 1이라면 가능하다.

2. 차원의 짝이 맞을 때 : 차원에 대해 축의 길이가 동일하면 브로드캐스팅이 가능하다.

 

아래 이미지는 array를 차원에 따라 어떤 모양을 하고 있고 축(axis)은 어떻게 구성되었는지 알 수 있는 이미지이다.

axis를 설정할 때 잘 이해가 안 됐었는데 블로그 작성자분께서 친절하게 넣어주셨다.

---

[참고자료]

 

선형 회귀, 다항 회귀 이미지 사용

https://wikidocs.net/73484

B4. 다항 회귀분석(Polynomial Regression)

 

선형 회귀에 대해 알고 싶다면?

https://ko.wikipedia.org/wiki/%EC%84%A0%ED%98%95_%ED%9A%8C%EA%B7%80

선형 회귀 - 위키백과, 우리 모두의 백과사전

 

넘파이 브로드캐스팅에 대해서 자세한 설명을 하고 있다

https://sacko.tistory.com/16

Python 기초 - NumPy Broadcasting 이해하기 (2)