회귀 알고리즘과 모델 규제(1) - K-최근접 이웃 회귀

👀2주차 220117 ~ 220123 공부기록

 

📍 본 포스팅은 <혼자 공부하는 머신러닝+딥러닝> 책을 바탕으로 작성함을 알립니다.

---

⭐ Ch. 03(03-1) 2번 문제 출력 그래프

knr = KNeighborsRegressor()

x = np.arange(5, 45).reshape(-1, 1)

for n in [1, 5, 10]:
  knr.n_neighbors = n
  knr.fit(train_input, train_target)
  prediction = knr.predict(x)

  plt.scatter(train_input, train_target)
  plt.plot(x, prediction)
  plt.title('n_neighbors = {}'.format(n))
  plt.xlabel('length')
  plt.ylabel('weight')
  plt.show()

 

⭐모델 파라미터에 대해 설명하기

모델 파라미터는 선형 회귀가 찾은 가중치처럼 머신러닝 모델이 특성에서 학습한 파라미터를 말한다.

즉, 머신러닝 모델이 데이터(특성)을 가지고 내부에서 정하는 변수를 말한다.

A model parameter is a configuration variable that is internal to the model and whose value can be estimated from data. OR A model parameter is a variable of the selected model which can be estimated by fitting the given data to the model. In the above plot, these two parameters(m and c) are estimated by fitting a straight line to the data by minimizing the RMSE. Hence, these parameters are called the model parameters.

---

✅Ch.03-1 K-최근접 이웃 회귀

지도 학습 알고리즘은 크게 분류와 회귀로 나뉘는데, 오늘 공부할 것은 "회귀(regression)"이다.

• 분류 : 샘플을 몇 개의 클래스 중 하나로 분류 → 이웃의 레이블 개수를 확인 후 다수결
• 회귀 : 임의의 어떤 숫자를 예측하는 문제 → 이웃들의 평균

 

🔥결정계수(R²)

결정계수(R²)는 대표적인 회귀 문제의 성능 측정 도구이다.

(0 ≤ R² ≤ 1) : 1에 가까울수록 좋고, 0에 가꾸울수록 성능이 나쁜 모델이다. (예측이 평균 정도를 예측한다면 1이 되어서 결정계수는 0에 가까워진다. 반대로, 예측이 타깃에 가까워질수록 분자가 0에 가까워지기 때문에, 결정계수는 1에 가까워진다.)

#K-최근접 이웃 회귀 모델 훈련
knr.fit(train_input, train_target)

print(knr.score(test_input, test_target))

#0.992809406101064

KNN 회귀 모델을 훈련시킨 후 score로 테스트세트의 성능을 확인할 수 있다. 분류의 경우는 정확하게 분류한 개수의 비율을 출력한다. 즉, 정확도이다. 회귀는 임의의 숫자를 예측하는 문제이기 때문에 정확하게 숫자나 개수를 맞힌다는 것은 거의 불가능에 가깝다. 결정계수는 회귀식이 얼마나 정확한지를 나타내는 숫자이다.

 

🔥과대적합 VS 과소적합

 

Regression에서 (1)번 사진은 과소적합(underfitting)이다. 빨간색(훈련)보다 초록색(테스트)의 점수가 높거나 두 점수 모두가 너무 낮은 경우이다. 과소적합은 모델이 너무 단순하거나 데이터의 크기가 작아서 데이터의 내재된 구조를 학습하지 못할 때 발생한다. 모델이 너무 단순하여 훈련 세트에 적절히 훈련되지 않음을 뜻한다.

 

(3)번 사진은 과대적합(overfitting)이다. 초록색(훈련)이 빨간색(테스트)보다 점수가 더 잘나오는 경우를 말한다. 즉 훈련 세트에만 잘 맞는 모델이라서 테스트 세트와 후에 실전에서는 잘 작동하지 않는다. (모델 이상의 복잡도가 필요 이상으로 높다. 즉, 지나치게 잘 맞아서 테스트 세트에서 높은 성능을 보여주기 어렵다.) 

 

🎈 과소적합 해결 방법

- 모델이 단순해서 생긴 문제이기 때문에 모델을 조금 더 복잡하게 만든다. (복잡도가 더 높은 모델 사용)

- (가중치 규제 완화) K-NN 알고리즘으로 모델을 더 복잡하게 만드는 방법은 이웃의 개수K를 줄이는 것이다. (이웃의 개수를 줄이면 훈련 세트에 있는 국지적인 패턴에 민감해지고, 이웃의 개수를 늘리면 데이터 전반에 있는 일반적인 패턴을 따르기 때문)

 

🎈 과대적합 해결 방법

- 모델의 복잡도를 낮춘다. (훈련 샘플을 더 모을 수 없는 경우, 모델이 훈련 세트에 집착하지 않도록 가중치를 제한)

- 훈련 데이터를 더 많이 모은다.

- 정규화(적당한 복잡도를 가지는 모델을 자동적으로 찾아주는 기법)

 

---

🔥scikit-learn

- KNeighborsRegrssor : K-최근접 이웃 회귀 모델을 만드는 사이킷런 클래스이다. (분류모델은 KNeighborsClassfier)

from sklearn.neighbors import KNeighborsRegressor

knr = KNeighborsRegressor()

- mean_absolute_error : 회귀 모델의 평균 절댓값 오차를 계산한다. 결정계수를 구할 때, 추가적으로 타깃과 예측한 값 사이의 차이를 구하면 어느 정도 예측이 벗어났는지 가늠이 쉽기 때문에 사용. mean_absolute_error는 타깃과 예측의 절댓값 오차를 평균하여 반환한다.

from sklearn.metrics import mean_absolute_error

#테스트 세트에 대한 예측 만들기
test_prediction = knr.predict(test_input)

#테스트 세트에 대한 평균 절댓값 오차를 계산
mae = mean_absolute_error(test_target, test_prediction)
print(mae)

 

* 사이킷런에 사용할 훈련 세트는 2차원 배열이어야 한다. 그 이유는 사이킷런에서 기본적으로 자신의 인풋 X가 2d로 들어올 것을 상정하고 있다.

X : {array-like, sparse matrix}, shape (n_samples, n_features)
Input data, where n_samples is the number of samples and n_features is the number of features.

 

🔥numpy

- reshape : 배열의 크기를 바꾸는 메서드이다. 바꾸고자 하는 배열의 크기를 매개변수로 전달한다. (단, 바꾸기 전후의 배열 원소 개수는 동일해야 한다.) 즉, 배열 차원(dimension)을 재구조화 및 변경하고자 할 때 사용한다.

#reshape() 메서드 연습
test_array = np.array([1, 2, 3, 4])
test_array = test_array.reshape(2, 2)
print(test_array)

"""
[[1 2]
 [3 4]]
"""

 

*배열의 크기를 자동으로 지정하는 기능 : 크기에 -1을 지정한다. -1로 지정하면, 나머지 원소 개수로 모두 채우라는 의미

• reshape(-1, 정수) : 열 개수만큼 자동으로 구조화
• reshape(정수, -1) : 행의 정수만큼 행이 생성되어서 자동으로 구조화
• reshape(-1) : -1만 단독으로 있을 경우 1차원 배열을 반환

---

[참고자료]

기계학습 이미지 참고

https://velog.io/@choihana/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EC%9E%85%EB%AC%B8-%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EB%B6%84%EB%A5%98%ED%95%98%EA%B8%B0

머신러닝 입문 - 머신러닝 분류하기

 

회귀에서 결정계수가 궁금하다면?

https://math100.tistory.com/120

결정계수란?

 

과대적합, 과소적합에 대해서 완전한 이해가 가능

https://m.blog.naver.com/qbxlvnf11/221324122821

머신러닝 - 과대적합(overfitting)과 과소적합(underfitting), 정규화

 

본 스터디의 내용에 대해 자세한 설명과 깔끔한 정리

https://velog.io/@arittung/DeepLearningStudyDay4

k-최근접 이웃 회귀 (KNN-Regression)

 

사이킷런에 사용할 훈련데이터가 2차원 배열이어야 하는 이유

https://datamasters.co.kr/55

[debugging] Expected 2D array, got 1D array instead

https://scikit-learn.org/stable/modules/generated/sklearn.impute.SimpleImputer.html

sklearn.impute.SimpleImputer

 

선형회귀에서 2차원 배열을 써야하는 이유 : 일차식을 계산할 때 2차원 벡터나 행렬을 사용하고, 2차원 행렬을 훈련 데이터로 쓰면 역행렬을 써서 회귀선의 기울기와 절편을 구하기 쉽다.

https://aimb.tistory.com/135

선형회귀에서 2차원 array를 사용하는 이유

 

reshape() 메서드에 대해 완전 잘 설명되어 있음.

https://domybestinlife.tistory.com/149

[Python] numpy.reshape의 -1 의미 및 기능

 

모델 파라미터의 의미가 궁금하다면?

https://www.geeksforgeeks.org/difference-between-model-parameters-vs-hyperparameters/

Difference Between Model Parameters VS HyperParameters - GeeksforGeeks

 

모델 파라미터와 하이퍼파라미터의 차이점이 궁금하다면?

https://machinelearningmastery.com/difference-between-a-parameter-and-a-hyperparameter/

What is the Difference Between a Parameter and a Hyperparameter?