23.02.05 앙상블

Studying here🏠맥심플랜트 한남

 

머신러닝을 거의 다 공부해간다. 남은 건 앙상블과 나이브 베이즈, 앙상블은 더 뭔가 본격적인 머신러닝 같아서 공부가 끝나가는 성취감 + 머신러닝의 세계에 흠뻑 빠져들어가는 것 같아서 즐겁다. 그러므로 오늘도 기분 좋게 글을 써보자.

 

앙상블(Ensemble)

---

앙상블은 분석에 필요한 데이터를 여러 번 사용하거나 여러 분석 모델을 사용하는 기법이다. 즉 하나의 분석 데이터에 여러 분석 모델을 적용하거나 여러 개의 분석 데이터에 하나의 분석 모델을 적용해서 도출된 결과들을 종합, 하나의 강력한 모델을 만드는 것이다.
그러므로 일반적으로 단일 분석 모델을 사용하는 것보다 성능이 뛰어나고 데이터 분석 콘테스트에서도 상위권에 대부분 앙상블 기법을 사용한 모델이 있다고 한다. 
단점은 속도가 오래 걸리고 결과 해석이 어려울 수 있다는 점.

 

(**앙상블에 대해 책이나 일부 블로그 글을 보면 약한 검출기를 모아 강한 검출기를 만든다고 한다. 이 '약한 검출기' 라는 것이 뭔지 이해가 안 됐는데, 앙상블 특성이 여러 개의 분석 모델의 결과를 합치니까 그중 각각의 모델들을 약한 검출기라고 말하는 것 같다. 약하다고 하는 이유는 그것들을 종합해서 강한 검출기로 만들기 때문에 반대의 의미를 주기 위해서인 것 같고.

그냥 일반적인 검출기의 결과를 종합해서 더 강한 검출기를 만든다고 하면 안되나? 약하다고 하니까 이제까지 배운 분석 모델들이 다 결함이 있는 모델로 보인다)

 

 

 

1) 종류

 

1- 보팅 

보팅은 하나의 데이터에 여러 종류의 머신러닝을 사용해 도출한 결과들을 사용하는 기법이다.

(tmi이지만 '파이썬 한 권으로 끝내기' 책을 보면서 공부하고 있는데 데린이인 내가 봐도 틀린 내용이 종종 보이고 심한 경우에는 개념을 복붙을 해놓은 것이 보여서 좀 킹받는다...😡 앙상블에서도 배깅 개념 설명하면서 그 안에 보팅이 있고.. 배깅과 보팅은 내가 보기에는 전혀 다른 개념이고 구글에 검색해도 각각 카테고리로 분리해서 설명하는데 왜 책에서는 묶어서 설명하지.. 잘 모르겠다)

 

보팅에는 하드 보팅과 소프트 보팅 두 가지 종류가 있는데, 하드 보팅은 도출된 결과들을 다수결로 따져서 더 많은 class 값을 최종 결과값으로 판정한다. 소프트 보팅은 도출된 결과의 확률의 평균을 따져서 더 높은 평균을 가진 class값을 최종 결과값으로 판정한다. 각각 predict값과 predict_proba 값을 사용해 판정한다고 생각하면 이해가 훨씬 더 쉬울 것이다.

 

 

 

2- 배깅

여러 개의 샘플 데이터를 여러 개의 단일한 분석 모델에 입력하여 도출된 값을 사용하는 기법. 기본 알고리즘은 의사결정나무를 사용한다. 도출된 값으로 최종 class를 판단할 때는 보팅을 사용한다. 배깅 기법을 사용하는 대표적인 분석 모델이 랜덤 포레스트이다.

 

 

 

3- 부스팅

배깅이 여러 개의 분석 모델을 병렬적으로 처리했다면 부스팅은 이 과정을 순차적으로 처리한다. 첫번째 분석을 진행하고 실제 값과 차이가 있는 결과는 보정해서 두 번째 분석을 진행한다. 이런 과정으로 최대한 정확도를 올린다. 

*다만 부스팅을 사용하게 되면 훈련 데이터에 과적합될 우려가 있다.

 

4- 랜덤포레스트

배깅과 부스팅보다 샘플 데이터에 더 많은 무작위성을 주어 모델에 학습한 결과를 도출하는 기법. 수많은 의사결정트리를 사용한다. 언뜻 보면 배깅과 차이가 없어 보인다. 배깅도 똑같이 붓스트랩으로 데이터 추출하고 알고리즘 기본값이 의사결정트리로 되어있다. 차이점은 이렇다고 한다.

 

*** 배깅과 랜덤포레스트의 차이

랜덤포레스트는 배깅과 같이 알고리즘으로 의사결정트리를 사용하되, 트리 내에서 분할이 고려될 때마다 전체의 독립변수를 분할 조건으로 보지 않고 선택된 일부의 독립변수만을 기준으로 분할한다. 
만약 데이터에 매우 강한 설명변수 a와 그렇지 않은 적당한 설명변수들 b, c, d...가 있다고 하면, 배깅의 의사결정트리들은 초반에 대부분 a를 기준으로 분할하게 될 것이고 결국 샘플 데이터가 다르더라도 결과치가 비슷하게 나올 것이다. 이럴 경우 그 값들을 종합하여 도출하는 것은 분산을 줄이는 데에 도움이 되지 않는다고 한다.
반면에 랜덤포레스트의 의사결정트리들은 분할하기 위한 기준을 정하기 위한 독립변수 그룹이 제각각이기 때문에 결과값을 종합할 때 변동성이 적어지고 더 안정적이게 된다. 즉 랜덤포레스트의 분할 기준이 독립변수 전체일 경우 배깅의 결과값과 같다. 

 

3) 주요 속성 : 함수에서 주로 사용하는 속성만 정리해봤다

n_estimators : 분류기의 수. 기본값은 100개이고 증가하면 할수록 더 많은 분석을 하게 되어서 정확도가 증가한다.
base_estimator : (bagging, boosting)사용할 알고리즘. 기본값은 의사결정나무이다.

feature_importances_ : (boosting)독립변수별 중요도 출력

 

 

 

4) 코드

 

1- 보팅 : 사이킷런의 유방암 데이터를 가지로 분석해보았다.

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

cancer = pd.read_csv('/Users/eve/Downloads/jupyter notebook/files/classification/breast-cancer.csv')


print(cancer.info())


# cancer
plt.figure()
sns.histplot(x='diagnosis', data=cancer, hue=cancer['diagnosis'])

sns.relplot(x='area_mean', y='texture_mean', hue='diagnosis', data=cancer)

결측치는 없는 것 같다

 

diagnosis를 종속변수로 지정하고 데이터 분할(7:3)

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import BaggingClassifier

clf = BaggingClassifier(base_estimator=DecisionTreeClassifier())

pred = clf.fit(train_x, train_y).predict(test_x)

from sklearn.metrics import classification_report
from sklearn.metrics import confusion_matrix

clf_report = classification_report(test_y, pred)

cm = confusion_matrix(test_y, pred)

 

배깅과 배깅의 알고리즘에 사용할 의사결정나무를 호출한다. 그리고 모델에 훈련/검증 데이터를 입력해 예측값을 도출한다.

정확도 및 성능 평가 지표를 확인하기 위해 classification_report를 호출했다. 이거 하나면 정확도, 정밀도, 재현율 등등을 한 번에 다 확인할 수 있어서 일일이 호출하는 것보다 훨씬 편하다.

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import BaggingClassifier

clf = BaggingClassifier(base_estimator=DecisionTreeClassifier())

pred = clf.fit(train_x, train_y).predict(test_x)

from sklearn.metrics import classification_report
from sklearn.metrics import confusion_matrix

clf_report = classification_report(test_y, pred)

cm = confusion_matrix(test_y, pred)

헉.. 너무 정확하게 나온다

 

원래 책에서는 모든 독립변수를 사용하지 않고 2개만 골라서 사용했는데, 나는 모든 변수를 입력하니까 결과가 너무 잘 나온다..... 처음에는 잘못한 줄 알았는데 다른 데이터를 넣으니까 정상값으로 나오는 걸 보니 이 유방암 데이터가 수가 적기도 하고 품질이 좋아서 그런 것 같다. 아니면 앙상블이 이렇게 엄청난 모델이라는 반증인가?ㅋㅋ

 

 

out of bag이라는 개념이 있다. 배깅을 하기 위해 훈련/검증 데이터에서 샘플 데이터를 뽑을 때 붓스트래핑(bootstraping, 단순랜덤추출)이라는 방법을 사용하는데, 이 방법을 사용해 데이터를 추출하면 약 63%의 데이터만 샘플링되고 나머지 37%는 죽은 데이터이다. 이 데이터들만 모아서 따로 학습하거나 예측하도록 모델을 생성할 수 있다. 이 데이터를 사용하기 위해서는 배깅을 선언할 때 oob_score=True로 지정해주어야만 가능하다.

아래 코드는 위의 유방암 원본 데이터를 그대로 학습시키고 정확도만 출력한 것이다. 이것도 역시 정확도는 1로 나온다.

clf_oob = BaggingClassifier(base_estimator=DecisionTreeClassifier(), oob_score=True)

oob = clf_oob.fit(X, y).oob_score_

print(oob) # -> 1.0

 

 

이번에는 회귀 데이터를 가지고 분석해보자. 분류와 기본적인 틀이 대부분 유사하므로 한 코드로 정리한다. 데이터는 차량 스펙에 따른 가격 데이터를 사용했다.

import pandas as pd

carprice = pd.read_csv('/Users/eve/Downloads/jupyter notebook/files/regression/CarPrice_Assignment.csv')


foruse = carprice.select_dtypes(['number'])
X_features = foruse.columns.difference(['car_ID', 'symboling', 'price'])


X = foruse[X_features]
y = carprice['price']


train_x, test_x, train_y, test_y = train_test_split(X, y, train_size=0.7,
                                                   random_state=1)


from sklearn.tree import DecisionTreeRegressor
from sklearn.ensemble import BaggingRegressor


reg = BaggingRegressor(base_estimator=DecisionTreeRegressor(), oob_score=True)

pred = reg.fit(train_x, train_y).predict(test_x)

from sklearn.metrics import mean_squared_error, mean_absolute_error

print('mae : {0}'.format(mean_absolute_error(test_y, pred)))
print('mse : {0}'.format(mean_squared_error(test_y, pred)))

 

 

 

2- 부스팅

부스팅은 에이다부스트(adaboost)라는 라이브러리를 사용한다. 데이터는 배깅에서와 같이 유방암 데이터를 사용해 분석했다.

import pandas as pd
cancer = pd.read_csv('/Users/eve/Downloads/jupyter notebook/files/classification/breast-cancer.csv')

cancer = cancer.iloc[:, 1:10]
cancer['diagnosis'] = np.where(cancer['diagnosis']=='M', 1, 0)

X = cancer.drop(columns=['diagnosis'])
y = cancer['diagnosis']

train_x, test_x, train_y, test_y = train_test_split(X, y, train_size=0.7,
                                                   random_state=1, stratify=y)


from sklearn.ensemble import AdaBoostClassifier
from sklearn.metrics import accuracy_score


clf = AdaBoostClassifier(base_estimator=DecisionTreeClassifier())

pred = clf.fit(train_x, train_y).predict(test_x)
pred_proba = clf.fit(train_x, train_y).predict_proba(test_x)[:, 1]

cr = classification_report(test_y, pred)
cm = confusion_matrix(test_y, pred)

print(cr)
print('\n')
print(cm)

배깅보다는 살짝 성능이 떨어지는 것 같다.

부스팅에는 배깅에는 없는 독립변수별 중요도 메서드가 있다.

imp = clf.feature_importances_

fig = plt.figure(figsize=(15, 6))
plt.bar(x=X.columns, height=imp)

concave points가 결과값에 가장 많이 영향을 미치는 것을 알 수 있다.

(tmi : concave point는 세포에 움푹 패인 자국이 있는 횟수라고 한다)

 

 

 

회귀도 배깅 회귀와 마찬가지로 차량의 스펙 대비 가격 데이터를 사용하였으므로 중복되는 부분은 생략.

from sklearn.ensemble import AdaBoostRegressor
from sklearn.tree import DecisionTreeRegressor

rg = AdaBoostRegressor(base_estimator=None)

pred = rg.fit(train_x, train_y).predict(test_x)

from sklearn.metrics import mean_absolute_error, mean_squared_error

print(round(mean_absolute_error(test_y, pred),2))
print(round(mean_squared_error(test_y, pred), 2))

print('acc:{0}%'.format(round(rg.score(test_x, test_y)*100, 2)))

역시 배깅보다는 조금 더 성능이 떨어지는 것 같다.

 

 

 

3- 랜덤 포레스트

X = cancer.drop(columns=['diagnosis'])
y = cancer['diagnosis']

train_x, test_x, train_y, test_y = train_test_split(X, y, train_size=0.7, random_state=1,
                                                  stratify=y)

from sklearn.ensemble import RandomForestClassifier

clf = RandomForestClassifier(n_estimators=500, min_samples_split=5)

pred = clf.fit(train_x, train_y).predict(test_x)
pred_proba = clf.fit(train_x, train_y).predict_proba(test_x)

clf.score(test_x, test_y)

import matplotlib.pyplot as plt
from sklearn.metrics import confusion_matrix, accuracy_score, precision_score, recall_score
from sklearn.metrics import classification_report, plot_roc_curve, roc_auc_score

clf_report = classification_report(test_y, pred)
print(clf_report)

fig = plt.figure(figsize=(10, 6))
plot_roc_curve(clf, test_x, test_y)
plt.show()

auc_score = roc_auc_score(test_y, pred_proba[:, 1])
print(auc_score)

imp = clf.feature_importances_
collst = X.columns

fig = plt.figure(figsize=(15, 6))
plt.bar(x=collst, height=imp)
plt.show()

분석 과정은 다른 알고리즘과 똑같고, 성능 평가 지표를 여러가지로 표현해 봤다. 

roc그래프와 auc score를 보니 꽤 높은 예측 정확도를 가지고 있음. 독립변수 중에는 역시 concave points가 제일 강력한 영향도를 가지고 있으나 bagging이나 boosting 분석을 할 때와 달리 다른 변수들도 영향력이 생긴 것을 볼 수 있다. 아마 랜덤포레스트의 특성상 분할 기준 변수 그룹을 계속 바꾸기 때문에 이렇게 나오는 것 같다.

 

 

회귀 방식도 비슷하다. 

usedata = carprice.select_dtypes('number')

X = usedata.drop(columns=['price'])
y = usedata['price']

train_x, test_x, train_y, test_y = train_test_split(X, y, train_size=0.7, random_state=1)

from sklearn.ensemble import RandomForestRegressor

rg = RandomForestRegressor(n_estimators=500, max_depth=5)

pred = rg.fit(train_x, train_y).predict(test_x)

print('acc score :\t{0}'.format(round(rg.score(test_x, test_y),2)))

from sklearn.metrics import mean_absolute_error, mean_squared_error

print('mae :\t{0}'.format(mean_absolute_error(test_y, pred)))
print('mse :\t{0}'.format(mean_squared_error(test_y, pred)))
print('rmse :\t{0}'.format(np.sqrt(mean_squared_error(test_y, pred))))

 

결과는 배깅과 비슷하면 조금 더 향상된 것 같다. 정확도는 거의 비슷하지만 분산이 많이 줄은 것 같다.

 

 

---

이렇게 앙상블 파트를 마친다.. 이거 쓰느라고 반나절은 쓴 것 같은데 그래도 복습을 하니까 모르는 부분도 한번 더 짚고 넘어갈 수 있었으니 만족!