수리통계학 (53) - 최강력검정

지난 글에서는 최소충분통계량에 대해 써보았습니다.

이번 글에서는 가설검정에 관한 개념들을 써보려고 합니다.

 

우선 가설검정을 설명하기 위해서, 확률벡터 $\mathbf{X}=(X_1,X_2,...,X_n)'$ 를 생각하고

이를 바탕으로 아래와 같은 가설의 진위를 판별하는 상황을 생각해보겠습니다.

$H_0 : \mathbf{\theta} \in w_0$ vs. $H_1 : \mathbf{\theta}\in w_1$

위와 같이 모수의 값을 유일하게 정해놓는 대신

여러 값들의 가능성을 내포하고 있는 가설을 복합가설(composite hypothesis)이라고 합니다.

반면, 한 개의 고정된 모수값을 제시하는 가설은 단순가설(simple hypothesis)이라고 부릅니다.

 

이제 가설검정 절차를 설명해보겠습니다.

앞선 글에서는 어떤 집합 $C$ 를 기각역으로 설정하고 상기한 가설검정 절차를 다음과 같이 수행했습니다.

$H_0$ 기각 $\text { if } \mathbf{X} \in C$
$H_0$ 유지 $\text { if } \mathbf{X} \in C^c$

그리고 귀무가설 $H_0$ 가 맞는데도 불구하고 이를 기각하는 오류는 제1종 오류라고 불렀고

$H_0$ 가 틀렸음에도 이를 기각하지 않는 오류를 제2종 오류라고 불렀습니다.

한편, 제1종 오류를 저지를 확률(유의수준)은 $\underset{\mathbf{\theta}\in w_0}{\text{max}}\,P_{\mathbf{\theta}}(\mathbf{X} \in C)$ 와 같이 계산했습니다.

보통 제1종 오류가 제2종 오류보다 더 심각한 결과를 초래하기 때문에

유의수준은 연구자가 특별히 염두에 둔 숫자로 정해지는 것이 보통입니다.

반면, 제2종 오류를 저지를 확률은 $P_{\mathbf{\theta}}(\text{type II error})=1-P_{\mathbf{\theta}}(\mathbf{X} \in C)$ (for all $\mathbf{\theta} \in w_1$) 으로 계산됩니다.

따라서 주어진 유의수준 하에서 제2종 오류를 저지를 확률을 최소화하기 위해서는

$P_{\mathbf{\theta}}(\mathbf{X} \in C)$ 의 확률이 $w_1$ 에 포함된 모든 원소 $\mathbf{\theta}$ 에 대해 극대화되어야 합니다.

이러한 확률을 계산해주는 함수를 검정력 함수라고 부르고, $\gamma_C(\mathbf{\theta})$ 와 같이 표기합니다.

위의 검정력 함수는 기각역 $C$ 에 따라 결정됩니다.

따라서 검정력 함수를 극대화하는 기각역 $C$ 가 존재한다면, 제2종 오류를 저지를 확률이 최소가 됨을 알 수 있습니다.

우선 귀무가설과 대립가설이 모두 단순가설인 경우( $H_0:\mathbf{\theta}=\mathbf{\theta'}$ vs. $H_1:\mathbf{\theta}=\mathbf{\theta''}$ )를 가정한다면

아래와 같은 조건을 만족하는 기각역 $C$ 는 검정력을 극대화하는 것을 알 수 있습니다.

(i) $P_\mathbf{\theta'}(\mathbf{X}\in C)=\alpha$
(ii) $P_{\mathbf{\theta''}}(\mathbf{X}\in C)={\text{max}}_{P_\mathbf{\theta'}(\mathbf{X}\in A)=\alpha}P_{\mathbf{\theta''}}(\mathbf{X}\in A)$

위의 식을 만족하는 기각역은 최적기각역(best critical region)이라고 부릅니다.

 

한편, 최적기각역 $C$ 는 아래와 같은 조건식을 통해 구할 수도 있습니다.

(i) $L(\mathbf{\theta'};\mathbf{x})/L(\mathbf{\theta''};\mathbf{x})\leq k$ for all $\mathbf{x} \in C$
(ii) $L(\mathbf{\theta'};\mathbf{x})/L(\mathbf{\theta''};\mathbf{x}) \geq k$ for all $\mathbf{x} \in C^c$
(iii) $\alpha = P_{H_0}(\mathbf{X} \in C)$

어떤 양수 $k$ 에 대해 상기한 세 가지 조건을 모두 만족시키는 $C$ 는 최적기각역이 됩니다.(네이만-피어슨 정리)

그 이유는 다음과 같습니다.

우선 함수 $f(\mathbf{B};\mathbf{\theta})$ 를 $f(\mathbf{B};\mathbf{\theta}):=\int_{\mathbf{x}\in\mathbf{B}}L(\mathbf{\theta};\mathbf{x})dx_1...dx_n=P_{\mathbf{\theta}}(\mathbf{X}\in\mathbf{B})$ 와 같이 정의하겠습니다.

상기한 함수는 $\alpha$ 의 유의수준을 갖는 임의의 기각역 $A$ 에 대해 아래와 같은 관계식을 만족합니다.

$f(C;\mathbf{\theta''})-f(A;\mathbf{\theta''})=f(C \cap A;\mathbf{\theta''})+f(C \cap A^c;\mathbf{\theta''})-f(A \cap C;\mathbf{\theta''})-f(A \cap C^c;\mathbf{\theta''})=f(C \cap A^c;\mathbf{\theta''})-f(A \cap C^c;\mathbf{\theta''})$

한편, 상기한 조건식에 따르면 아래와 같은 부등식이 성립함을 알 수 있습니다.

$f(C \cap A^c;\mathbf{\theta''})\geq (1/k)f(C \cap A^c;\mathbf{\theta'})$
$f(A \cap C^c;\mathbf{\theta''})\leq (1/k)f(A \cap C^c;\mathbf{\theta'})$

위의 부등식들은 아래와 같이 정리할 수 있습니다.

$f(C \cap A^c;\mathbf{\theta''})-f(A \cap C^c;\mathbf{\theta''}) \geq (1/k)f(C \cap A^c;\mathbf{\theta'})-(1/k)f(A \cap C^c;\mathbf{\theta'})$

그리고 위 부등식의 우변은 다음과 같이 정리할 수 있습니다.

$(1/k)f(C \cap A^c;\mathbf{\theta'})-(1/k)f(A \cap C^c;\mathbf{\theta'})=(1/k)(f(C \cap A^c;\mathbf{\theta'})-f(A \cap C^c;\mathbf{\theta'}))=(1/k)(f(C;\mathbf{\theta'})-f(A;\mathbf{\theta'}))=(1/k)(\alpha-\alpha)=0$

따라서 아래와 같은 부등식이 성립함을 알 수 있습니다.

$f(C;\mathbf{\theta''})-f(A;\mathbf{\theta''})=f(C \cap A^c;\mathbf{\theta''})-f(A \cap C^c;\mathbf{\theta''})\geq 0$

따라서 임의의 기각역 $A$ 에 대해 $P_{\mathbf{\theta''}}(\mathbf{X}\in C)=f(C;\mathbf{\theta''})\geq f(A;\mathbf{\theta''})=P_{\mathbf{\theta''}}(\mathbf{X}\in A)$ 의 부등식이 성립하고

$C$ 는 최적의 기각역이 됨을 알 수 있습니다.

 

한편, 위에서처럼 단순가설로만 구성된 가설검정의 사례에서는

최적기각역 $C$ 로 구한 검정력 함수 $\gamma_C(\mathbf{\theta})$ 는 $\gamma_C(\mathbf{\theta})\geq \alpha$ 의 부등식을 만족합니다.

왜냐하면 $\mathbf{X}$ 를 고려하지 않고 $\alpha$ 의 확률로 $H_0$ 를 기각하는 가설검정 절차를 시행해도

$\alpha$ 의 값을 갖는 검정력 함수를 얻을 수 있기 때문입니다.

 

이제 귀무가설과 대립가설이 모두 복합가설로 주어진 경우를 살펴보고 글을 마치겠습니다.

$H_0 : \mathbf{\theta} \in w_0$ vs. $H_1 : \mathbf{\theta}\in w_1$

우선 위와 같은 가설을 유의수준 $\alpha$ 로 검정하는 절차가 아래와 같은 부등식을 충족한다고 해보겠습니다.

$P_{\mathbf{\theta}}(\mathbf{X}\in C)\geq \alpha$ for all $\mathbf{\theta} \in w_1$

만약 대립가설이 참인데도 불구하고 $\mathbf{X}$ 가 기각역에 포함될 확률이 $\alpha$ 보다 작다면

귀무가설을 기각하고 대립가설을 채택하는 선택이 합당하지 않을 수도 있게 됩니다.

그래서 대립가설이 참일 때 위의 부등식을 만족하는 가설검정절차는 불편성을 충족한다고 표현합니다.

한편, 윗글에서 정의한 최적기각역 $C$ 는 대립가설이 단순가설인 경우를 가정하고 구한 것입니다.

복합가설의 경우에는 대립가설에서 모수가 가질 수 있는 값에 따라서 최적기각역이 달라질 수도 있습니다.

그런데 어떤 최적기각역 $C$ 가 대립가설에서 모수가 가질 수 있는 모든 값 $\mathbf{\theta}\in w_1$ 에 대해

유의수준 $\alpha$ 하에서의 검정력 함수 $\gamma_C(\mathbf{\theta})$ 를 극대화한다고 해보겠습니다.

이때, 상기한 기각역 $C$ 를 활용한 가설검정절차는 최강력검정(UMP test, uniformly most powerful)이라고 부릅니다.

 

이번 글에서는 최강력검정에 대해 써보았습니다.

다음 글에서는 우도비검정에 대해 써보겠습니다.