수리통계학 (53) - 최강력검정

지난 글에서는 최소충분통계량에 대해 써보았습니다.

이번 글에서는 가설검정에 관한 개념들을 써보려고 합니다.

 

우선 가설검정을 설명하기 위해서, 확률벡터 $ \mathbf{X}=(X_1,X_2,...,X_n)' $ 를 생각하고

이를 바탕으로 아래와 같은 가설의 진위를 판별하는 상황을 생각해보겠습니다.

$ H_0 : \mathbf{\theta} \in w_0 $ vs. $ H_1 : \mathbf{\theta}\in w_1 $

위와 같이 모수의 값을 유일하게 정해놓는 대신

여러 값들의 가능성을 내포하고 있는 가설을 복합가설(composite hypothesis)이라고 합니다.

반면, 한 개의 고정된 모수값을 제시하는 가설은 단순가설(simple hypothesis)이라고 부릅니다.

 

이제 가설검정 절차를 설명해보겠습니다.

앞선 글에서는 어떤 집합 $ C $ 를 기각역으로 설정하고 상기한 가설검정 절차를 다음과 같이 수행했습니다.

$ H_0 $ 기각 $ \text { if } \mathbf{X} \in C $
$ H_0 $ 유지 $ \text { if } \mathbf{X} \in C^c $

그리고 귀무가설 $ H_0 $ 가 맞는데도 불구하고 이를 기각하는 오류는 제1종 오류라고 불렀고

$ H_0 $ 가 틀렸음에도 이를 기각하지 않는 오류를 제2종 오류라고 불렀습니다.

한편, 제1종 오류를 저지를 확률(유의수준)은 $ \underset{\mathbf{\theta}\in w_0}{\text{max}}\,P_{\mathbf{\theta}}(\mathbf{X} \in C) $ 와 같이 계산했습니다.

보통 제1종 오류가 제2종 오류보다 더 심각한 결과를 초래하기 때문에

유의수준은 연구자가 특별히 염두에 둔 숫자로 정해지는 것이 보통입니다.

반면, 제2종 오류를 저지를 확률은 $ P_{\mathbf{\theta}}(\text{type II error})=1-P_{\mathbf{\theta}}(\mathbf{X} \in C) $ (for all $ \mathbf{\theta} \in w_1 $) 으로 계산됩니다.

따라서 주어진 유의수준 하에서 제2종 오류를 저지를 확률을 최소화하기 위해서는

$ P_{\mathbf{\theta}}(\mathbf{X} \in C) $ 의 확률이 $ w_1 $ 에 포함된 모든 원소 $ \mathbf{\theta} $ 에 대해 극대화되어야 합니다.

이러한 확률을 계산해주는 함수를 검정력 함수라고 부르고, $ \gamma_C(\mathbf{\theta}) $ 와 같이 표기합니다.

위의 검정력 함수는 기각역 $ C $ 에 따라 결정됩니다.

따라서 검정력 함수를 극대화하는 기각역 $ C $ 가 존재한다면, 제2종 오류를 저지를 확률이 최소가 됨을 알 수 있습니다.

우선 귀무가설과 대립가설이 모두 단순가설인 경우( $ H_0:\mathbf{\theta}=\mathbf{\theta'} $ vs. $ H_1:\mathbf{\theta}=\mathbf{\theta''} $ )를 가정한다면

아래와 같은 조건을 만족하는 기각역 $ C $ 는 검정력을 극대화하는 것을 알 수 있습니다.

(i) $ P_\mathbf{\theta'}(\mathbf{X}\in C)=\alpha $
(ii) $ P_{\mathbf{\theta''}}(\mathbf{X}\in C)={\text{max}}_{P_\mathbf{\theta'}(\mathbf{X}\in A)=\alpha}P_{\mathbf{\theta''}}(\mathbf{X}\in A) $

위의 식을 만족하는 기각역은 최적기각역(best critical region)이라고 부릅니다.

 

한편, 최적기각역 $ C $ 는 아래와 같은 조건식을 통해 구할 수도 있습니다.

(i) $ L(\mathbf{\theta'};\mathbf{x})/L(\mathbf{\theta''};\mathbf{x})\leq k $ for all $ \mathbf{x} \in C $
(ii) $ L(\mathbf{\theta'};\mathbf{x})/L(\mathbf{\theta''};\mathbf{x}) \geq k $ for all $ \mathbf{x} \in C^c $
(iii) $ \alpha = P_{H_0}(\mathbf{X} \in C) $

어떤 양수 $ k $ 에 대해 상기한 세 가지 조건을 모두 만족시키는 $ C $ 는 최적기각역이 됩니다.(네이만-피어슨 정리)

그 이유는 다음과 같습니다.

우선 함수 $ f(\mathbf{B};\mathbf{\theta}) $ 를 $ f(\mathbf{B};\mathbf{\theta}):=\int_{\mathbf{x}\in\mathbf{B}}L(\mathbf{\theta};\mathbf{x})dx_1...dx_n=P_{\mathbf{\theta}}(\mathbf{X}\in\mathbf{B}) $ 와 같이 정의하겠습니다.

상기한 함수는 $ \alpha $ 의 유의수준을 갖는 임의의 기각역 $ A $ 에 대해 아래와 같은 관계식을 만족합니다.

$ f(C;\mathbf{\theta''})-f(A;\mathbf{\theta''})=f(C \cap A;\mathbf{\theta''})+f(C \cap A^c;\mathbf{\theta''})-f(A \cap C;\mathbf{\theta''})-f(A \cap C^c;\mathbf{\theta''})=f(C \cap A^c;\mathbf{\theta''})-f(A \cap C^c;\mathbf{\theta''}) $

한편, 상기한 조건식에 따르면 아래와 같은 부등식이 성립함을 알 수 있습니다.

$ f(C \cap A^c;\mathbf{\theta''})\geq (1/k)f(C \cap A^c;\mathbf{\theta'}) $
$ f(A \cap C^c;\mathbf{\theta''})\leq (1/k)f(A \cap C^c;\mathbf{\theta'}) $

위의 부등식들은 아래와 같이 정리할 수 있습니다.

$ f(C \cap A^c;\mathbf{\theta''})-f(A \cap C^c;\mathbf{\theta''}) \geq (1/k)f(C \cap A^c;\mathbf{\theta'})-(1/k)f(A \cap C^c;\mathbf{\theta'}) $

그리고 위 부등식의 우변은 다음과 같이 정리할 수 있습니다.

$ (1/k)f(C \cap A^c;\mathbf{\theta'})-(1/k)f(A \cap C^c;\mathbf{\theta'})=(1/k)(f(C \cap A^c;\mathbf{\theta'})-f(A \cap C^c;\mathbf{\theta'}))=(1/k)(f(C;\mathbf{\theta'})-f(A;\mathbf{\theta'}))=(1/k)(\alpha-\alpha)=0 $

따라서 아래와 같은 부등식이 성립함을 알 수 있습니다.

$ f(C;\mathbf{\theta''})-f(A;\mathbf{\theta''})=f(C \cap A^c;\mathbf{\theta''})-f(A \cap C^c;\mathbf{\theta''})\geq 0 $

따라서 임의의 기각역 $ A $ 에 대해 $ P_{\mathbf{\theta''}}(\mathbf{X}\in C)=f(C;\mathbf{\theta''})\geq f(A;\mathbf{\theta''})=P_{\mathbf{\theta''}}(\mathbf{X}\in A) $ 의 부등식이 성립하고

$ C $ 는 최적의 기각역이 됨을 알 수 있습니다.

 

한편, 위에서처럼 단순가설로만 구성된 가설검정의 사례에서는

최적기각역 $ C $ 로 구한 검정력 함수 $ \gamma_C(\mathbf{\theta}) $ 는 $ \gamma_C(\mathbf{\theta})\geq \alpha $ 의 부등식을 만족합니다.

왜냐하면 $ \mathbf{X} $ 를 고려하지 않고 $ \alpha $ 의 확률로 $ H_0 $ 를 기각하는 가설검정 절차를 시행해도

$ \alpha $ 의 값을 갖는 검정력 함수를 얻을 수 있기 때문입니다.

 

이제 귀무가설과 대립가설이 모두 복합가설로 주어진 경우를 살펴보고 글을 마치겠습니다.

$ H_0 : \mathbf{\theta} \in w_0 $ vs. $ H_1 : \mathbf{\theta}\in w_1 $

우선 위와 같은 가설을 유의수준 $ \alpha $ 로 검정하는 절차가 아래와 같은 부등식을 충족한다고 해보겠습니다.

$ P_{\mathbf{\theta}}(\mathbf{X}\in C)\geq \alpha $ for all $ \mathbf{\theta} \in w_1 $

만약 대립가설이 참인데도 불구하고 $ \mathbf{X} $ 가 기각역에 포함될 확률이 $ \alpha $ 보다 작다면

귀무가설을 기각하고 대립가설을 채택하는 선택이 합당하지 않을 수도 있게 됩니다.

그래서 대립가설이 참일 때 위의 부등식을 만족하는 가설검정절차는 불편성을 충족한다고 표현합니다.

한편, 윗글에서 정의한 최적기각역 $ C $ 는 대립가설이 단순가설인 경우를 가정하고 구한 것입니다.

복합가설의 경우에는 대립가설에서 모수가 가질 수 있는 값에 따라서 최적기각역이 달라질 수도 있습니다.

그런데 어떤 최적기각역 $ C $ 가 대립가설에서 모수가 가질 수 있는 모든 값 $ \mathbf{\theta}\in w_1 $ 에 대해

유의수준 $ \alpha $ 하에서의 검정력 함수 $ \gamma_C(\mathbf{\theta}) $ 를 극대화한다고 해보겠습니다.

이때, 상기한 기각역 $ C $ 를 활용한 가설검정절차는 최강력검정(UMP test, uniformly most powerful)이라고 부릅니다.

 

이번 글에서는 최강력검정에 대해 써보았습니다.

다음 글에서는 우도비검정에 대해 써보겠습니다.