23.01.28 SVM 서포트 벡터 머신

Studying here🏠 스타벅스 서울대입구역점

 

 

ADP를 준비하면서 데이터 분석을 본격적으로 공부한지 한달이 다 되어 가는 것 같다.

 

처음에는 새로운 개념 천지여서 고생스러웠는데 요즘은 개념들을 지그시 보고 있으면 금방금방 아하 이런거군 하고 넘어가게 되서 공부하는 게 조금 재미있다. 여전히 본 적도 없는 기호들이 춤추는 통계식은 어렵지만.. 그래도 열심히 공부해서 3월에 바로 합격하는 기대를 조금 걸어본다 ㅎㅎ

 

 

이번 글에서는 서포트 벡터 머신을 공부하려고 한다.

 

1) 정의

SVM(서포트 벡터 머신)이란?? 새로운 데이터가 입력되었을 때 기존 데이터를 활용해 분류하는 방법이다. 다른 분석 방법에는 없는 유래가 있는데, 처음 시작은 최대 마진 분류기 -> 성능을 강화한 SVC(Classifier) -> 비선형 클래스도 처리할 수 있는 SVM으로 발전했다.
기본적인 원리는 똑같다. 두 데이터를 분류할 수 있는 가장 적절한 초평면을 구하는 것이다.

먼저 초평면이 무엇일까..? 로지스틱 회귀 때도 한번 나왔던 개념이다. 그때는 초평면 x=0이라고 퉁치고 지나갔는데 여기서는 너무나 중요해서 그냥 넘어갈 수가 없다. 책에서는 이렇게 설명한다.

수식을 세워보자. 2차원 공간에서는 b0+b1x1+b2x2=0을 만족하는 x1과 x2가 이루는 선이 초평면이 된다. 

plt.axvline(x=0)
plt.xlim([-5, 5])

이런 식인가?

그 다음, 3차원 공간에서는 b0+b1x1+b2x2+b3x3=0을 만족하는 x1과 x2과 x3가 이루는 면..?이 초평면이 된다. 

 

⚠️SVM과 초평면을 검색하면 대부분 초평면은 두 공간을 나누는 거라고만 설명하고 자세하게는 써있는 곳이 없어서, 초평면에 대해서만 검색해 봤더니 괜찮은 자료가 많았다. 간단하게 정리하면,
2차원 공간을 나누는 초평면은 선으로 ax+by+c=0을 만족해야 한다. 
3차원 공간을 나누는 초평면은 면으로 ax+by+cz+d=0을 만족해야 한다. 
이러면 이해가 훨씬 쉬웠다. 일단 뭔지도 모를 x1 x2가 아니라 구체적으로 축 변수라는 걸 알게 되니 잘 와닿는다.

 

 

그러면 다음 단계로 '가장 적절한 초평면'이 무엇일까? 이 답변은 그림 한 장으로 이해할 수 있다. 

왼쪽은 데이터를 둘로 나눌 수 있는 여러가지 초평면. 오른쪽은 가장 적절한 초평면이다. 초평면과 가장 가까이에 있는 데이터들을 서포트 벡터라고 하므로 서포트 벡터와 가장 거리가 먼 초평면이 가장 적절하다고 할 수 있다.

 

 

2) 종류 

 

1- 서포트 벡터 분류기

모든 데이터가 초평면에 의해 완벽하게 분류될 수는 없기 때문에 항상 적용할 수는 없다. 또 완벽하게 분류하더라도 과적합, 이상치에 민감 등  단점이 있다. 그래서 SVC는 데이터를 분류하되 일부 데이터들이 반대쪽에 있는 것을 허용한다. 이 허용치는 하이퍼파라미터로 관리하며 값이 0이면 허용하지 않는다.

 

 

2- 서포트 벡터 머신

비선형 데이터일 경우에 사용. 커널이라는 기술을 활용해 데이터를 고차원으로 변환해 분리하는 방법이라고 한다.

2차원의 비선형 데이터를 3차원으로 변환해 분리함(이해 안감..)

 

2-1- 코드로 짜보기

iris 데이터로 실습해보자

from sklearn.datasets import load_iris

iris = load_iris()

df_iris = pd.DataFrame(iris.data, columns=iris.feature_names)
df_iris['result'] = iris.target

sns.pairplot(data=df_iris, hue='result')

독립변수에 따른 result 값의 분포

 

데이터를 훈련/검증 세트로 분할해준다. 그리고 서포트벡터머신은 미세한 이상치에도 영향을 받기 때문에 데이터를 정규화하면 조금 더 명확한 결정 경계를 구할 수 있다.  

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler


x=df_iris.drop(columns=['result', 'sepal width (cm)', 'petal width (cm)'])
y=df_iris['result']


train_x, test_x, train_y, test_y = train_test_split(x, y, train_size=0.7, stratify=y)


stScaler = StandardScaler()

stScaler.fit(train_x, train_y)
train_x_scaled = stScaler.transform(train_x)

sns.pairplot(data=pd.concat([pd.DataFrame(train_x), train_y], axis=1), hue='result')

스케일링한 훈련 데이터의 산점도

 

svc 분류모델을 import하고 훈련 데이터로 예측, 검증 데이터로 예측값을 구한다. 모델의 속성 C는 예외를 허용하는 정도이고 높아질수록 많은 예외를 허용하게 된다(선을 넘어 반대쪽으로 가 있는 결과값들을 허용)

from sklearn.svm import SVC

clf = SVC(C=0.5)
clf.fit(train_x_scaled, train_y)

test_x_scaled=stScaler.transform(test_x)

pred = clf.predict(test_x_scaled)

 

예측값과 실제값을 비교해 성능을 평가해 보자. 

from sklearn.metrics import confusion_matrix, accuracy_score, precision_matrix, recall_matrix, f1_score

print(confusion_matrix(test_y, pred))
print(accuracy_score(test_y, pred))
print(precision_score(test_y, pred, average='macro'))
print(f1_score(test_y, pred, average='macro'))

 

종속변수가 3개 이상인 경우에는 정확도를 제외한 성능 평가 함수를 사용할 때 average라는 속성에 별도의 값을 지정해 주어야 한다. 왜냐하면 속성의 기본값이 binary(이진 분류)로 되어있기 때문에 3개 이상의 종속 변수를 계산할 수 없기 때문이다. 그럼 다른 속성은 무엇이 있을까?

macro : 종속변수별로 매트릭스를 계산해 성능평가점수를 구한 뒤 그 값들의 평균을 계산한다
micro : 각 레이블의 매트릭스를 계산하고 가중이 되지 않는 평균을 찾는다(*가중이 되지 않는 평균을 찾는다는 게 뭐야?)
            ➡️ macro가 각각의 매트릭스로 계산했다면 micro는 종속변수 전체의 오차행렬에서 평균을 계산한다.
weightend : 종속변수의 클래스별 분포를 고려해 평균을 구한다.
(*==클래스별 분포가 많이 차이나는 경우에는 micro나 weightend를 활용하면 좋겠다.)

 

 

 

 

 

3- 서포트 벡터 회귀

앞에 두개는 분류기, 같은 원리이지만 회귀도 가능하다. 가운데 선을 중심으로 양쪽의 희미한 선이 마진 거리이고 이 안에 최대한 많은 점이 들어가도록 중심선 식을 구하는 것이 목적이다.

SVR의 하이퍼 파라미터는 이따가 또 쓰겠지만 그래프로 먼저 알아보자. 그림처럼 회귀선과 허용 범위를 넘어선 점을 마진 오류라고 인식하고 허용 최대 범위에서 가장 먼 서포트 벡터와의 거리가 속성으로 쓰인다.

 

3-2-코드로 짜보기

 

별도로 주어진 데이터 없이 간단하게 데이터를 만들어서 해보자. 독립변수는 0~1 사이의 불규칙한 값에 5를 곱해 만든다.

오류 값을 만들기 위해 종속변수 데이터에 일정 순서마다 이상 데이터를 넣어준다.

import numpy as np

X = np.sort(5 * np.random.rand(40, 1), axis=0)
y = np.sin(X)

y[::5] += 3*(0.5-np.random.rand(8)) 

print(X[0:10])

 

서포트 벡터 회귀모델을 사용할 때 주로 조정하는 속성은 kernel, C, gamma, epsilon으로 이것만 알아보자.

C는 분류모델과 마찬가지로 예외 허용의 정도이고 클수록 허용 정도가 낮아진다.
gamma : 가우시안 커널 함수의 계수(???)로 의미 자체는 하나의 데이터 샘플이 행사하는 영향력의 거리이고 값이 클수록 거리가 짧아진다. 
epsilon : 회귀식을 중심으로 데이터 포인트를 허용하는 거리
kernel : 사용할 커널 함수를 고른다. rbf(radial basis function), linear(선형회귀), poly(다항회귀) 등등
(*svr을 사용할 때 rbf함수를 제일 많이 쓴다고 한다.)

 

다양한 커널 함수가 있으니 말한 것들로 모두 분석해보자

from sklearn.svm import SVR

svr_rbf = SVR(kernel='rbf', C=100, gamma=0.1, epsilon=0.1)
svr_lin = SVR(kernel='linear', C=100, gamma='auto', epsilon=0.1)
svr_poly = SVR(kernel='poly', C=100, gamma='auto', epsilon=0.1)

svr_rbf.fit(X, y)
svr_lin.fit(X, y)
svr_poly.fit(X, y)

rbf_pred = svr_rbf.predict(X)
lin_pred = svr_lin.predict(X)
poly_pred = svr_poly.predict(X)

 

분류모델처럼 똑같이 성능 평가도 해보자

from sklearn.metrics import mean_absolute_error, mean_squared_error

preds = [rbf_pred, lin_pred, poly_pred]
kernel = ['rbf', 'Linear', 'Polynomial']
evls = ['mae', 'mse', 'rmse']


df_result = pd.DataFrame({'kernel':kernel})


for nm, pred in zip(kernel, preds):
    mae = mean_absolute_error(y, pred)
    mse = mean_squared_error(y, pred)
    rmse = np.sqrt(mse)
    
    df_result.loc[df_result['kernel']==nm, 'mae'] = round(mae, 2)
    df_result.loc[df_result['kernel']==nm, 'mse'] = round(mse, 2)
    df_result.loc[df_result['kernel']==nm, 'rmse'] = round(rmse, 2)

print(df_result)

rbf의 성능이 월등히 좋은 것을 알 수 있다... 남들 좋다는데는 다 이유가 있나보다.

 

 

 

끝!

 

회귀모델은 대충 넘파이로 데이터 만들어서 한 것이 아쉽다. 조만간 복습할 때 케글에서 쓸만한 데이터를 긁어와서 다시 분석해봐야겠다