23.02.14 통계 분석 프로세스와 t-test

Studying here🏠디벙크 합정 

 

길고 길었던 머신러닝을 끝내고 이제 통계분석을 시작한다. 이것도 마찬가지로 현재 공부하는 책 기준으로 비슷한 페이지량이다. 하지만 머신러닝과 겹치는 부분도 있고(선형회귀) 새로운 개념은 머신러닝보다는 적어서 최대한 빨리 끝내는 것을 목표로 하고 있다. 얼른 끝내고 심화 책으로 넘어가자!!

 

 

통계 분석과 t-test

---

1. 통계는 [어떤 집단, 조사나 실험, 결과 요약]으로 말할 수 있겠다. 

통계 분석은 이 요약된 결과를 분석해 새로운 사실을 도출해내는 거라고 생각하면 좋을 것 같다.

 

2. 통계의 기본적인 개념을 같이 알아봤다.

1) 가설

귀무가설 : 기존의 주장

대립가설 : 실험으로 하고자 하는 새로운 주장

 

2) 검정 : 어느 가설이 옳은지 판단하는 행위

양측검정 - 귀무가설 : a이다/ 대립가설 : a가 아니다

단측검정 - 귀무가설 : a와 같거나 작다, 크다/ a보다 작다, 크다  ex) 사과의 무게는 100g보다 작거나 같다/ 사과의 무게는 100g보다 크다

 

가설 검정의 과정 : 어느 분포를 사용할지 선택(t, x-square, ...)하고 그 분포의 통계량을 구해서 값을 기준으로 가설을 판단한다. 

 

 

3. 검정 

 

검정에 대해 방법론적으로 조금 더 깊이 알아본다.

 

 

1) t-test : t분포를 사용해 검정

모집단의 평균값이나 한 집단 내 클래스 간 차이를 알기 위해 사용. 분산값을 이용한다.

예시 : a집단과 b집단이 있는데 표본을 추출해 나이의 평균값을 구해보니 10살 차이가 났다. 그러면 모집단을 비교해도 10살 차이가 날까?

 

1-일표본 t-test : 단일 집단의 데이터를 특정 값과 비교

ex - 올해 수확한 사과의 무게 목록이 있는데 2.6kg라고 주장한다. 이 주장이 맞는지 검증해보자

가정 : 정규성

가설

귀무가설 : 모평균의 값은 *이다

대립가설 : 모평균의 값은 *가 아니다

 

2-대응표본 t-test : 단일 집단의 두 그룹에 대한 비교

ex - 쌍커풀 수술 전후의 보이는 눈 크기 평균 비교

가정 : 정규성

가설

귀무가설 : 두 그룹의 평균이 같다 

대립가설 : 두 그룹의 평균이 다르다

 

3-독립표본 t-test : 두 개의 독립된 집단의 평균 비교

가정 : 정규성, 등분산성(집단이 2개 이상일 때부터 검정 필요)

가설

귀무가설 : 두 집단의 평균이 같다

대립가설 : 두 집단의 평균이 다르다

 

 

이외에도 분산분석, 교차분석, 회귀분석 등 다양하게 있는데 그건 이후의 글에서 각각을 주제로 써보겠다.

그럼 이제 t-test를 파이썬으로 써보자.

 

---

 

4. 코드

 

1- 일표본 t-test

데이터는 고양이의 성별과 무게, 길이에 대한 데이터이다.

import pandas as pd

cats = pd.read_csv('/Users/eve/Downloads/jupyter notebook/files/stat/cats.csv')

cats.head()

성별은 명목형, 무게와 길이는 연속형 변수으로 되어있다.

이 데이터에 대해 기존에는 고양이의 몸무게가 2.6kg라는 인식이 있었다. 근데 어떤 실험자가 이런 주장을 했다. 이 목록에 있는 고양이들은 평균 몸무게가 2.6kg이 아니야!

 

그러면 다음과 같은 가설을 세우고 검정을 할 수 있다.

귀무가설 : 고양이의 평균 몸무게가 2.6kg이다

대립가설 : 고양이의 평균 몸무게가 2.6kg가 아니다

 

검정하기 전에 데이터의 정규성과 등분산성을 만족하는지 확인해야 한다. 먼저 정규성 검정은 샤피로 테스트를 통해 알 수 있다.

이 테스트도 검정의 일종이므로 정해진 가설 내용이 있다.

귀무가설 : 정규성을 만족한다.

대립가설 : 정규성을 만족하지 않는다.

b = cats['Bwt']

normal = shapiro(b)
print('test statistic : {0}'.format(normal[0]))
print('p-value : {0}'.format(normal[1]))

검정 통계량은 0.95로 이 모델을 매우 신뢰할 수 있는 것으로 확인할 수 있다.

또 p-value 값이 유의수준 0.05보다 낮은 것으로 보아 데이터가 정규성을 만족하지 않는 것을 볼 수 있다.

 

눈으로도 정규성 검정 결과를 확인해보자. 먼저 같은 값끼리 groupby를 해준다.

cats_Bwt_cnt = pd.value_counts(cats['Bwt'].values, sort=False)

import matplotlib.pyplot as plt
import seaborn as sns

plt.figure()
sns.barplot(x=cats_Bwt_cnt.index, y=cats_Bwt_cnt.values)

왼쪽으로 좀 쏠려있는 것 같다. 이것 때문에 정규성이 깨진 것이 아닐까?

 

 

일표본 t-test 중 정규성을 만족하지 못한다면 위 그림과 같이 윌콕슨 테스트를 통해 검정을 이어서 진행할 수 있다. 만약 정규성을 만족한다면 아래 t-test 함수를 사용하면 된다.

wc = wilcoxon(cats['Bwt']-2.6, alternative='two-sided')

print('\nt-test stats')
print('test statistic : {0}'.format(wc[0]))
print('p-value : {0}'.format(wc[1]))

p-value가 유의수준 0.05보다 낮으므로 고양이의 몸무게 평균은 2.6kg가 아님을 알 수 있다.

 

 

혹시 정규성을 만족한다면? 아래 함수를 사용하면 된다

t1 = ttest_1samp(b, popmean=2.6)
print('\nt-test 1samp stats')
print('test statistic : {0}'.format(t1[0]))
print('p-value : {0}'.format(t1[1]))

대립가설을 만족하긴 하네.. 결과는 같지만 실제로 검정할 때는 윌콕슨 함수를 써야함!

 

 

 

2- 대응표본 t-test

이 데이터는 수면제 복용 전과 후의 수면 시간의 차이를 정리해놓은 것이다.

df_ba = pd.DataFrame({'before':[7, 3, 4, 5, 2, 1, 6, 6, 5, 4],
                      'after':[8, 4, 5, 6, 2, 3, 6, 8, 6, 5]})

 

1과 마찬가지로 가설을 수립해보자.

귀무가설 : 수면제 복용 전/후로 수면 시간의 차이는 없다.

대립가설 : 수면제 복용 전/후로 수면 시간의 차이는 있다.

print(shapiro(df_ba['before']))
print(shapiro(df_ba['after']))

둘 다 귀무가설을 만족하므로 정규성을 만족한다고 할 수 있다!

 

 

 

 

 

3-독립표본 t-test

일표본 검정에서 했던 고양이 데이터를 다시 가져와서, 이번에는 수컷과 암컷 고양이의 몸무게 차이가 있는지 알아보자

import pandas as pd

cats = pd.read_csv('/Users/eve/Downloads/jupyter notebook/files/stat/cats.csv')

female = cats.loc[cats['Sex']=='F', 'Bwt']
male = cats.loc[cats['Sex']=='M', 'Bwt']

귀무가설 : 성별간 몸무게 차이가 없다.

대립가설 : 성별간 몸무게 차이가 있다.

 

그리고 일표본, 대응표본과 달리 이번에는 정규성, 등분산성 검정을 모두 해야 한다.

정규성 검정은 중심극한정리에 의해 데이터 수가 30개 이상이므로 만족한다고 가정하고 넘어간다

eval = stats.levene(female, male)
print(eval)

어? p-value가 유의수준 0.05보다 낮으므로 귀무가설을 기각한다. 즉 등분산성을 만족하지 못한다.

그럼 위 그림에 따라 함수를 바꾸어 처리하면 된다. 등분산성 검정이 실패했으므로 오른쪽 함수를 적용하자. 

ind = stats.ttest_ind(female, male, equal_var=False)
ind

p-value가 유의수준 0.05보다 낮으므로 두 집단의 평균은 차이가 있다고 할 수 있다.