수리통계학 (54) - 우도비검정(完)

지난 글에서는 최강력검정에 대해 써보았습니다.

이번 글에서는 우도비검정에 대해 써보겠습니다.

 

사실 우도비검정은 가설검정에 통상적으로 많이 쓰이는 세 가지 방법 중 하나입니다.

그 세 가지 방법은 아래와 같은 것들입니다.

1. 우도비검정(likelihood ratio test)
2. 라그랑지 승수검정(Lagrange multiplier test)
3. 왈드검정(Wald test)

이 세 검정방법은 각기 다른 통계변수를 활용해서 가설을 검정합니다.

그러나 임의표본의 크기가 무한대로 커지면, 이 세 검정은 같은 검정결과를 가져다줍니다.

다시 말해, 이 세 가지 검정은 점근적으로 동등하다고 할 수 있습니다.

그러나 지면관계상 위의 검정들을 모두 소개하는 것은 쉽지 않을 듯하여

개념적으로 가장 간단한 우도비검정을 소개하고 글을 마치겠습니다.

 

앞선 글에서 최적기각역 $C$ 를 설정하는 방법의 하나로서 네이만-피어슨 정리를 언급한 바 있습니다.

이의 설명을 위해서 단순가설 두 개가 대립하는 가설검정의 사례를 먼저 살펴보겠습니다.

$H_0 : \mathbf{\theta} = \mathbf{\theta_1}$ vs. $H_1 : \mathbf{\theta} = \mathbf{\theta_2}$

그리고 iid한 확률변수들로 구성된 확률벡터 $\mathbf{X}=(X_1,X_2,...,X_n)'$ 를 생각하고

이 확률벡터의 실현된 값은 $\mathbf{x}$ 로 표기하겠습니다.

한편, 이들의 우도함수는 $L(\mathbf{\theta};\mathbf{x})$ 로 주어져있다고 가정하겠습니다.

그리고 상기한 모수(혹은 다른 통계변수) $\mathbf{\theta}$ 가 가질 수 있는 모든 값을 모아놓은 집합을 $\mathbf{\Theta}$ 라고 하겠습니다.

이제 아래와 같은 통계변수를 새로이 정의해보겠습니다.

$\Lambda_{LR}(\mathbf{x}):=L(\mathbf{\theta_1},\mathbf{x})/L(\mathbf{\theta_2},\mathbf{x})$

네이만-피어슨 정리는 $\Lambda_{LR}(\mathbf{x}) \leq k \Leftrightarrow \mathbf{x}\in C$ 및 $\alpha=P_{\mathbf{\theta_1}}(\mathbf{x} \in C)$ 를 만족하는

기각역 $C$ 는 최적기각역이 됨을 시사하고 있습니다.

그리고 위와 같이 구한 최적기각역을 활용한 가설검정은 최강력검정이 됩니다.

따라서 단순가설 두 개가 대립하는 상황에서의 우도비검정은 아래와 같이 수행할 수 있습니다.

$H_0$ 기각 $\text{ if } \Lambda_{LR}(\mathbf{x}) \leq k$
$H_0$ 유지 $\text{ otherwise }$

상기한 가설검정은 네이만-피어슨 정리에 따라 최강력검정이 됨을 알 수 있습니다.

 

그런데 위와 같은 가설검정은 우도비함수 $\Lambda_{LR}(\mathbf{x})$ 가 특정한 성질을 충족한다면 보다 간편하게 수행할 수 있습니다.

예를 들어, $\Lambda_{LR}(\mathbf{x})$ 가 어떤 통계변수 $y:=u(\mathbf{x})$ 의 단조함수라고 해보겠습니다.

그렇다면 이 통계변수 $y$ 는 우도비함수의 대리변수로 활용할 수 있게 됩니다.

구체적인 설명을 위해서, 일반성을 잃지 않고 $\Lambda_{LR}(\mathbf{x})$ 가 $y=u(\mathbf{x})$ 의 강단조감소함수로 주어진다고 해보겠습니다.

그리고 이 함수는 $g(y)=\Lambda_{LR}(\mathbf{x})$($g'(\cdot)< 0$) 와 같이 표현하겠습니다.

이제 상기한 우도비검정에서 등장하는 부등식은 아래와 같이 다시 쓸 수 있습니다.

$\Lambda_{LR}(\mathbf{x})=L(\mathbf{\theta_1},\mathbf{x})/L(\mathbf{\theta_2},\mathbf{x})=g(y)\leq k$

그런데 위 식의 제일 오른쪽에 놓인 부등호 관계는 아래와 같은 관계식을 충족합니다.

$g(y)\leq k \Leftrightarrow y \geq g^{-1}(k)$

결론적으로, 상기한 성질을 만족하는 우도함수의 경우에는 아래와 같은 검정이 최강력검정이 됩니다.

$H_0$ 기각 $\text{ if } y(\mathbf{x}) \geq g^{-1}(k)$
$H_0$ 유지 $\text{ otherwise }$

위와 같이 우도비함수가 어떤 통계변수 $u(\mathbf{x})$ 의 단조함수로 주어지는 것을 가리켜

단조우도비 성질(mlr, monotone likelihood ratio)을 충족한다고 표현합니다.

 

그렇다면 복합가설 두 개가 서로 대립하는 상황에서는 우도비검정을 어떻게 수행하는가 하는 질문도 할 수 있습니다.

설명을 위해서, 아래와 같은 두 가설이 대립하는 상황을 상정해보겠습니다.

$H_0 : \mathbf{\theta} \in w_1$ vs. $H_1 : \mathbf{\theta} \in w_2$

안타깝게도, 복합가설 두 개가 대립하는 일반적인 상황에서는 상기한 검정절차를 그대로 활용할 수는 없습니다.

하지만 표본크기가 충분히 크다는 전제하에서 위의 가설검정을 수행할 수 있는 방법이 있습니다.

우선 다음과 같은 우도비함수를 새로이 정의하겠습니다.

$\Lambda_{LR}(\mathbf{x}):=-2\ln[\underset{\mathbf{\theta}\in w_1}{\text{sup}}L(\mathbf{\theta},\mathbf{x})/\underset{\mathbf{\theta}\in w_2}{\text{sup}}L(\mathbf{\theta},\mathbf{x})]$

위의 우도함수는 $l(\mathbf{\theta_i}):=\ln [\underset{\mathbf{\theta}\in w_i}{\text{sup}}L(\mathbf{\theta},\mathbf{x})]$($i=1,2$)  함수를 활용하면 아래와 같이 간략히 쓸 수도 있습니다.

$\Lambda_{LR}(\mathbf{x})=-2[l(\mathbf{\theta_1})-l(\mathbf{\theta_2})]$

위와 같이 정의된 우도비함수는 어떤 확률분포를 따를 것인지 쉽게 짐작할 수 없을 것만 같습니다.

그러나 임의표본이 무한히 커진다면, 상기한 우도비함수는 (귀무가설 하에서) 아래와 같은 확률분포로 분포수렴합니다.

$-2[l(\mathbf{\theta_1})-l(\mathbf{\theta_2})]\,|\,\mathbf{\theta}\in w_1 \overset{d}{\rightarrow} \chi^2(\dim(\Theta)-\dim(w_1))$(윌크스 정리)

윌크스 정리는 상기한 우도비함수가 어떤 카이제곱분포로 분포수렴함을 알려줍니다.

그리고 이 카이제곱분포의 자유도는 $\mathbf{\theta}$ 가 가질 수 있는 모든 값을 포함하는 집합 $\Theta$ 의 차원에서

귀무가설 하의 $\mathbf{\theta}$ 값들을 포함하는 집합 $w_1$ 의 차원을 서로 뺀 값이 됩니다.

윌크스 정리는 $\mathbf{\theta}$ 의 확률분포를 직접 계산하지 않고서도 우도함수만을 활용해서 가설검정을 수행할 수 있도록 해줍니다.

물론 위의 확률분포는 점근적 분포이기 때문에 위의 검정은 대표본의 경우에만 타당하다고 할 수 있겠습니다.

따라서 표본크기가 큰 경우에는 우도비검정을 활용하는 것을 적극 검토해볼 수 있습니다.

 

이번 글에서는 우도비검정에 대해 써보았습니다.

이번 글을 끝으로 제가 생각했던 수리통계학의 중요한 주제들은 모두 다루지 않았나 생각합니다.

따라서 이번 글이 수리통계학 카테고리의 마지막 글이 되어버렸습니다.

다음 글에서는 제가 글을 쓰게 된 동기와 참고문헌, 아쉬운 점 등에 대해 써보려고 합니다.