23.02.11 Naive Bayes 나이브 베이즈

 

Studying here🏠스타벅스 더종로R점

 

 

나이브베이즈(naive-bayes)

---

나이브 베이즈는 베이즈 정리를 기반으로 하는 분석 모델. 전체의 확률 분포 대비 특정 클래스에 속할 확률을 정리함.
예를 들어 메일의 스팸 기준을 판정한다면, 스팸메일에 복권이라는 단어가 들어있을 확률을 안다면 스팸메일에 복권이라는 단어가 들어있을 때 스팸메일일 확률을 구할 수 있는 것이다.
간단하고 빠르기 때문에 추정 확률을 쉽게 구할 수 있다.
단점은 모든 독립변수의 상관성을 무시하기 때문에 결과가 왜곡될 수 있다.

데이터가 적을 때나 미래를 예측할 때 자주 사용한다.

 

1) 베이즈 정리

사건 A, B가 있을 때, B가 일어난 뒤에 A가 일어난 확률을 구한다.

그런데 지금 알고 있는 것은 A, B가 각각 일어날 확률, A가 일어났을 때 B가 일어날 확률이다. 이 데이터를 가지고 구하고자 하는 것을 계산하는 공식을 말한다.

 

이런 가정이 있다고 해보자

언뜻 보면 맞는 소리 같지만, 두 집단의 모집합이 다르다는 것을 생각해 보면 금방 오류를 알 수 있다. 사고로 사망한 사람을 100명이라고 치면, 40명은 안전띠를 매지 않아 죽은 것이다. 그럼 60명은 안전띠를 매고서도 죽은 것이다. 그런데 전체 운전자 중에 안전띠를 매지 않은 사람은 몇명일까? 그리고 안전띠를 맨 사람은? 이 비율을 알면 확실하게 오류를 지적할 수 있다. 

 

위의 베이즈 정리와 연결지어 생각했을 때 안전띠를 매는 안전띠를 매는 사건을 P(A)라고 하고 사고를 당할 확률을 P(B)라고 생각해 보자.

그러면 P(A|B)는 0.6이 된다. 이때 질문대로 우리가 궁금한 것은 안전띠를 맸을 때 죽을 확률 P(B|A) 이다. 이것을 베이즈 정리로 구할 수 있다. 또 전체 운전자 중 95%가 안전띠를 맸고 5%가 안전띠를 매지 않았다고 가정하면, 40명은 5%의 40명이고 60명은 95%의 60명인 것이다. 또 전체 운전자 1만명 중 1명 꼴로 사고를 당한다고 가정하면 전자는 5000명 중 40명이 죽는 것이고 후자는 95000명 중 60명이 죽는 것이다. 그럼 확률도 엄청 차이가 나겠지???

그리고 P(A)는 0.95, P(B)는 0.0001이 된다.

 

이제 위의 공식을 사용해서 계산해보자. 

안전띠를 맸을 때 사고를 당할 확률 P(B|A)는 '(사고를 당했을 때 안전띠를 맸을 확률*사고를 당할 확률)/ 안전띠를 맬 확률' 이라고 할 수 있다. 즉 0.6*0.0001/0.95=0.000063이 된다.(약 16000명당 1명)

반대로 안전띠를 안 맸을 때 사고를 당할 확률은 P(A)=0.5로 계산하면 된다. 계산하면 0.0008(1250명당 1명)

그러므로 안전띠를 맸을 때 안전할 확률은 안전띠를 매지 않았을 때에 비해 10배 이상 높다고 할 수 있다.

 

이 원리를 사용해서, 두 사건이 독립적으로 발생한다고 가정했을 때 사전 확률과 각 사건의 확률로 사후 확률을 추정해 분류하는 것이다.

 

 

2) 라플라스 스무딩

나이브 베이즈 분류를 보정하는 기법. 특정 사건이 아예 발견되지 않을 경우 값이 0으로 결과값이 에러가 발생할 수 있기 때문에 모든 데이터에서 사건의 발생 횟수에 기본값을 입력해 보정해준다.

 

 

 

 

 

3) 종류 : 종속변수 클래스의 형식이나 값 분포에 따라 나뉜다.

 

아니 베르누이/다항분포/가우시안의 형식을 말하는게 독립변수야, 종속변수야?

책에서는 가우시안 말할 때 독립변수에 연속형, 종속변수에 범주형을 넣었음. 가우시안은 ㅇ녀속형데ㅣ이ㅌ이기때문에 

똑같이 따지면 베르누이는 독립변수가 이산형이고 종속변수가 범주형이라는 말임. 

근데 베르누이에 사용하는 데이터셋은 독립변수에 범주형데이터 넣고 종속변수에 이산형을 넣음. 뭐임?

 

사이트를 보니 베르누이는 영화평가데이터를 쓰면 x에 평, y에 긍/부정 이산형 데이터가 들어감.

 

1-Bernouli

종속변수가 범주형(이산형)인 경우(0, 1로 분류)

스팸메일 구분 : 특정 데이터의 출현 여부에 따라 스팸메일인지 정상인지 분류

 

 

2-Multinomial

종속변수가 범주형인 경우. 데이터의 출현 횟수에 따라 값을 달리하는 경우.

영화리뷰 : 특정 데이터들의 출현 횟수에 따라  긍정, 부정 분류

 

 

3-Gussian

독립변수가 연속형인 경우. 독립변수의 분포가 정규분포인 것을 가정하고 분석

 

 

 

4) 코드

 

1- Bernouli

데이터는 스팸 메일 분류 데이터를 사용했다.

import pandas as pd

spam = pd.read_csv('/Users/eve/Downloads/jupyter notebook/files/spam.csv', encoding='latin1')

spam.head()

spam.info()

v1이 종속변수, v2가 독립변수가 될 것 같다.

결측치를 보니 2,3,4열은 거의 데이터가 없으므로 제외한다. v2를 독립변수, v1을 종속변수로 해서 분석해야겠다.

 

sklearn의 CounterVectorizer 함수를 쓰면 여러 단어가 들어있는 데이터를 쪼개서 각각 벡터로 저장할 수 있다. 

사용하는 방법은 인코딩 함수를 쓰는 것처럼 훈련 데이터를 학습(fit)한 다음 훈련/검증 데이터에 각각 transform해주면 단어별로 쪼갤 수 있다. 이렇게 한 뒤에는 데이터가 출현 횟수에 따른 숫자형으로 변환된다. 한번 출현했으면 0, 두번 출현했으면 1 이런 방식이다. 

그런 뒤에 inverse_transform을 사용하면 변환되기 이전 데이터를 확인할 수 있다.

spam_1 = spam.drop(columns=['Unnamed: 2', 'Unnamed: 3', 'Unnamed: 4'])

X = spam_1['v2']
y = spam_1['v1']

from sklearn.model_selection import train_test_split

train_x, test_x, train_y, test_y = train_test_split(X, y, train_size=0.7, random_state=1, stratify=y)



# 컬럼의 데이터 단어 개수만큼 잘라 벡터 생성
from sklearn.feature_extraction.text import CountVectorizer

cv = CountVectorizer(binary=True)

train_xcv = cv.fit_transform(train_y)

encoded_input = train_xcv.toarray()


inv = cv.inverse_transform(encoded_input)

print(inv[0])
#출력-> ['couple' 'down' 'give' 'me' 'minutes' 'my' 'sure' 'to' 'track' 'wallet' 'yeah']

 

베르누이 나이브 베이즈 함수를 선언하고 학습/예측하기

from sklearn.naive_bayes import BernoulliNB

bnb = BernoulliNB()

bnb.fit(train_xcv, train_y)

test_xcv = cv.transform(test_x)
pred = bnb.predict(test_xcv)

print("acc score : {0}%".format(round(bnb.score(test_xcv, test_y), 2)*100))

from sklearn.metrics import classification_report

cr = classification_report(test_y, pred)
print(cr)

성능 평가 지표는 우수한 것 같다. 

 

 

2-multinomial

import pandas as pd

imdb = pd.read_csv('/Users/eve/Downloads/jupyter notebook/files/자연어/IMDB Dataset.csv')

print(imdb.head())

 

독립변수가 감상평, 종속변수가 긍정/부정이다. 

X = imdb['review']
y = imdb['sentiment']

imdb['sentiment'] = np.where(imdb['sentiment']=='positive', 1, 0)


from sklearn.model_selection import train_test_split

train_x, test_x, train_y, test_y = train_test_split(X, y, train_size=0.5, random_state=1,
                                                   stratify=y)


from sklearn.feature_extraction.text import CountVectorizer


cv = CountVectorizer(binary=False)

train_xcv = cv.fit_transform(train_x)

 

낱말 하나하나를 봐야 하는 자연어 처리는 항상 단어들을 다 벡터로 나누어줘야 한다. 그리고 예측값과 실제값 비교해보고 성능평가해보기.

from sklearn.naive_bayes import MultinomialNB

mnb = MultinomialNB()
mnb.fit(train_xcv, train_y)

test_xcv = cv.transform(test_x)
pred = mnb.predict(test_xcv)

from sklearn.metrics import classification_report, confusion_matrix

cm = confusion_matrix(test_y, pred)
cr = classification_report(test_y, pred)

print(cr)

print(cm)

(*근데 이 데이터가 다항분포로 분석하는게 맞는지 모르겠다. 스팸인지 아닌지는 예를 들어 복권이라는 단어가 있는지 아닌지로 판단한다 치면 모델에 데이터를 넣기만 하면 복권이라는 단어가 지표라고 힌트를 안 줘도 그렇게 분석을 할 수 있는 건가? 다항분포는 단어의 횟수를 측정해서 한다면... 스팸 처리하는건 모르겠고 반대로 베르누이로 감상평 예측할 수 있지 않나? 긍정인 평에는 겹치는 단어들이 많을 테니까. 다항분포에 대해서 조금 더 공부할 필요성이 있겠다. 단어 반복 횟수 측정해서 예측한다는거 말곤 원리를 모르니까 이해가 안 되는 것 같다)

 

 

 

3- Gussian

우주 관측결과에 따라 은하인지 별인지 분류한 데이터를 사용했다. 학습할 때 별이나 은하가 어떤 특성을 가지고 있는지 학습하면 예측 시 이런 특성일 때 별인지 은하인지 알 수 있는 것.

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

sky = pd.read_csv('/Users/eve/Downloads/jupyter notebook/files/classification/Skyserver.csv')

sky.head()

종속변수가 class이고 범주는 STAR, GALAXY, Q50이다. 나머지는 독립변수이고 모두 연속형이므로 가우시안 나이브 베이즈를 적용해야 한다.

from sklearn.model_selection import train_test_split

X = sky.drop(columns=['class'])
y = sky['class']

train_x, test_x, train_y, test_y = train_test_split(X, y, train_size=0.7,
                                                   random_state=1)

from sklearn.naive_bayes import GaussianNB

gnb = GaussianNB()

pred = gnb.fit(train_x, train_y).predict(test_x)

print('acc score :\t{0}%'.format(round(gnb.score(test_x, test_y), 2)))

 

정확도는 0.8이다.