[통계] 가설과 p- value

통계를 공부하면서 모평균 추정 등 여러가지 추정을 하게된다.

여러가지 가설검정을 파이썬으로 검정하는 방법을 포스팅하기 전에 가설검정이란 무엇인가를 정리하고자 한다.

 

통꼐에서는 기본적으로 전수조사가 되지 않기때문에 

샘플링이 필수적으로 들어가게된다.

 

일반적 수학적증명과는 다른 점이 있다. 

 

수학적증명은 100% 이지만

통계적증명은 100% 확신할 수 없다.

그래서 신뢰도라는 말이 따라 붙는 것이다 통계적 가설은 언제나 틀렸을 확률을 내포한다.

 

 

 

귀무가설 null hypothesis (H1) : 대립가설에 반대되는 가설

대립가설 alternative hypothesis(H0) : 모집단에 대하 새롭게 제기된 이론이나 주장 -> 표본을 통해 입증하고자 하는 가설

 

표본을 통해 대립가설을 지지할 통계적증거가 있는지를 확인하는 과정을 가설검정이라고 한다.

 

1. 가설

 

	H0 accept	H0 reject
H0 True	바른 결정	제 1종 오류 : α
H0 False	제 2종 오류 : β	바른 결정

α = P(H0 reject |H0 true)

1종 오류를 범할 확률 알파 : 귀무가설이 사실인데 귀무가설을 기각시키는경우 = 유의수준

β = P(H0 accept |H0 false)

2종 귀무가설이 거짓인데 귀무각설을 채택하는 경우

 

좋은 가설검정이란 이 두가지 오류가 일어날 확률을 최소화는 것이다.

일반적으로 두종류의 오류는 반비례관계여서 둘다 줄이기는 쉽지않다.

보통 1종 오류를 범했을떄 큰손실이 발생하는 경우가 많기 때문에 alpha를 줄이는 방향으로 하는 것이 옳다.

 

그의 예로 가장 많이 드는 문제는 신약의 문제이다. 어떤 회사가 신약을 개발한다고 했을 때

 

H0 : 기존약과 신약이 차이가 없다.

H1 : 신약이 기존약보다 더 좋다.

위의 가설이 있다고라면 

 

제 1종 오류 : 별차이가 없어도 신약추진

제 2종 오류 : 신약이 효과가 있음에도 개발을 안함

 

1종 오류를 범했을 때 회사의 입장에서 손실이 생긴다는 것이다.

 

보통 1종 오류의 최대 허용한계(유의수준) (0.01,0.05,0.1)를 정해놓고 그 안에서

제 2종 오류를 최소화해주는 방법으로 가설을 검정하게된다.

 

가설 검정을 위해서는 보통 모집단의 분포를 추론하게 된다.

2. p-value

 

 

p-value : 귀무가설에서 주장한 바가 옳을 확률

 

 예를 들어

H0 : mu = 95 

H1 : mu >95

 

모평균이 95이다라는 가설하에 샘플링한 데이터의 평균이 120, 표준편차가 5일 경우 

평균이 95인 모집단에서 본다면 우연이 여러번 발생한 것이다.

우연이 여러번발생했다면 처음에 생각했던 가설이 아닐 수 있다는 것이다.

 

만약 낙제생이라고 평가했던 학생 A가 열 번의 시험에서  100점을 받는경우 사실 저 학생은 낙제생이 아닐 것이라고 생각하는 논지와 같다.

 

우연히 발생할 가능성이 매우 희박한 사건이 실제로 발생했을 경우, 그것은 우연이 아니라고 생각하는 경향이 있고,

p-value 역시 그와 같은 개념이라고 할 수 있다.

 

위의 예로 말하면 실제로 모평균이 95인 모집단에서 평균이 120인 샘플링을 할 확률이 p-value인 것이다. 낮으면 가설이 틀렸을거다 높으면 그렇게 나올만 하다 이렇게 되는 거다.

두번째 예로는 A 가 열 번의 시험에서 우연히 100점을 맞을 확률이 p-value이다. 확률이 낮다면 사실 A는 낙제생이 아닐 거야라고 말하는 것이다.

 

p-value가 낮으면 귀무가설이 틀렸다는 말이라고 할 수 있다.

 

0.05이상이라면 아마 우연으로 나온것일 것이다.

0.05이하이면 우연이 아닐 수도 있을 것이다.

 

귀무가설이 맞을 수도있다.-> 대립가설이 맞다고하지 못한다 -> 귀무가설을 기각하지 못한다.

 

위의 개념을 적용하면서 확률을 추정하기 위해서 보통 모집단이 어떤 분포를 따를 것이라고 하고 시작한다. 그래서 가설검정에 앞서 어떤 분포를 따르는지 확정짓는것이 중요ㅕ하다.

 

 

통계에서는 확신에 찬 말을 해서는 안된다.