수리통계학 (50) - 완비충분통계량

지난 글에서는 충분통계량의 성질에 대해 써보았습니다.

이번 글에서는 완비충분통계량에 대해 써보겠습니다.

 

우선 이번 논의에서 활용되는 개념인 완비성에 대해 간략히 설명하고 넘어가겠습니다.

어떤 연속확률변수 $X$ 와 이의 확률밀도함수 $f_X(x;\theta)$ 가 주어졌다고 해보겠습니다.

그리고 위의 함수에 포함된 모수 $\theta$ 는 $\Theta$ 라는 집합을 구성하는 원소 중 하나라고 가정하겠습니다.

그렇다면 모수의 값에 따라 서로 다른 확률밀도함수를 얻을 수 있습니다.

이들 함수를 모두 모아놓은 집합 $\left\{ f_X(x;\theta)|\theta \in \Theta \right\}$ 를 $X$ 의 분포족(family of distribution)이라고 부릅니다.

그런데 어떤 분포족은 모수 $\theta$ 에 관련해서 특별한 성질을 갖고 있습니다.

예컨대, $E[u(X)]<\infty$ 를 만족하는 모든 종류의 함수 $u(X)$ 에 대해 아래의 관계식이 항상 성립한다고 해보겠습니다.

$E[u(X)]=0$ for all $\theta \in \Theta$ $\Rightarrow$ $P(u(X)=0)=1$

위와 같은 관계식을 만족하는 $X$ 의 분포족은 $\theta$ 에 대한 완비성을 충족한다고 합니다.

그리고 어떤 확률변수의 분포족이 완비성을 충족하면, 이 확률변수는 완비통계량(complete statistic)이라고 부릅니다.

한편, 어떤 통계변수가 완비성과 충분성을 모두 구비하고 있으면 이를 완비충분통계량이라고 합니다.

완비충분통계량은 MVUE를 구하기 위한 결정적인 단서가 됩니다.

이하에서는 그 이유를 설명해보겠습니다.

 

우선 iid한 확률변수 $X_1,X_2,...,X_n$ 이 공통의 확률밀도함수 $f(x;\theta)$ 를 가진다고 해보겠습니다.

그리고 확률변수 $Y$ 가 $\theta$ 에 대한 완비충분통계량임을 가정하겠습니다.

한편, $\theta$ 에 대한 임의의 불편추정량 $Z$ 가 충분통계량의 함수로 주어지지 않았다고 한다면

이를 라오-블랙웰 정리에 따라 더 효율적인 불편추정량 $\eta(Y)=E[Z|Y]$ 로 개선할 수 있습니다.

이제 $Y$ 의 함수로 주어지는 서로 다른 불편추정량 $\eta(Y), \zeta(Y)$ 가 존재한다고 해보겠습니다.

이들은 $\theta$ 의 불편추정량이므로 임의의 모수 $\theta \in \Theta$ 에 대해 아래 식이 성립합니다.

$E[\eta(Y)-\zeta(Y)]=E[\eta(Y)]-E[\zeta(Y)]=\theta-\theta=0$

또한 $Y$ 가 완비통계량임을 활용하면 아래와 같은 식을 얻을 수 있습니다.

$E[\eta(Y)-\zeta(Y)]=0$ for all $\theta \in \Theta$ $\Rightarrow$ $P(\eta(Y)-\zeta(Y)=0)=1$

따라서 $\eta(Y)$ 와 $\zeta(Y)$ 는 거의 확실히 서로 같다고 할 수 있습니다.

다시 말해, $Y$ 의 함수로 주어지는 $\theta$ 의 불편추정량은 유일합니다.

결론적으로, $Y$ 의 함수가 아닌 불편추정량은 라오-블랙웰 정리를 통해 항상 개선할 수 있는 한편

$Y$ 의 함수인 불편추정량은 유일하므로 상기한 $\eta(Y)$ 는 $\theta$ 에 대한 MVUE가 됩니다.(레만-셰페 정리)

 

한편, 레만-셰페 정리를 통해 구한 MVUE는 항상 유일함을 알 수 있습니다.

그렇다면 MVUE가 존재할 때마다 항상 유일할 것인가 하는 질문도 할 수 있습니다.

일단 위 질문에 대한 답은 항상 그렇다입니다. MVUE가 존재하다면 항상 유일합니다.

우선 어떤 모수의 완비충분통계량이 존재한다면 상기한 레만-셰페 정리가 MVUE의 유일성을 담보해줍니다.

그런데 완비충분통계량이 존재하지 않는 경우에도 MVUE는 항상 유일합니다.

 

MVUE의 유일성은 다음과 같이 보일 수 있습니다.

우선 $\eta,\zeta$ 가 $\theta$ 의 서로 다른 MVUE라고 해보겠습니다.

이때, 추정량 $\kappa$ 를 $\kappa:=\eta+\lambda(\zeta-\eta)$ 와 같이 정의하겠습니다.

$\kappa$ 는 $\theta$ 의 불편추정량이 됩니다.

왜냐하면 $E[\kappa]=E[\eta+\lambda(\zeta-\eta)]=\theta+\lambda(\theta-\theta)=\theta$ 식이 성립하기 때문입니다.

이제 $\kappa$ 의 분산을 계산해보겠습니다.

$Var(\kappa)=Var(\eta+\lambda(\zeta-\eta))=Var(\eta)+\lambda^2 Var(\zeta-\eta)+2\lambda Cov(\eta,\zeta-\eta)$

만약 $Cov(\eta,\zeta-\eta)=0$ 이 성립한다면 $Var(\kappa)=Var(\eta)+\lambda^2 Var(\zeta-\eta)$ 식이 성립하고

위 식의 $\eta$ 는 MVUE이므로 $Var(\zeta-\eta)=0$ 이 성립합니다.

한편, $Cov(\eta,\zeta-\eta)$ 가 0이 아니라고 해보겠습니다.

이 경우에는 $\lambda=-Cov(\eta,\zeta-\eta)/Var(\zeta-\eta)$ 를 가정하면 아래 식을 얻을 수 있습니다.

$Var(\kappa)=Var(\eta)-[Cov(\eta,\zeta-\eta)]^2 / Var(\zeta-\eta)$

따라서 $Var(\kappa) < Var(\eta)$ 가 성립하고 이는 모순이 됩니다.

위의 사실들을 종합하면 $Var(\zeta-\eta)=E[(\zeta-\eta)^2]=0$ 의 식을 얻게 됩니다.

만약 $P(\zeta-\eta=0)=1$ 이 성립하지 않는다면 르베그 적분의 단조성 때문에 $E[(\zeta-\eta)^2]>0$ 의 부등식이 성립해야 합니다.

이는 모순이 됩니다. 따라서 MVUE는 거의 확실하게 유일함을 알 수 있습니다.

 

이제 MVUE를 구하는 과정을 요약해보고 글을 마치겠습니다.

Step 1. 주어진 모수의 완비충분통계량을 찾습니다.

Step 2. 모수에 의존하지 않는 불편추정량을 찾습니다.

Step 3. 상기한 불편추정량을 라오-블랙웰 정리에 따라 완비충분통계량의 함수로 나타냅니다.

위와 같은 과정을 거치면 MVUE를 찾을 수 있습니다.

 

한편, 위의 과정에서 불편추정량을 찾는 한 가지 방법은 다름 아닌 최우추정량을 구하는 것입니다.

사실 최우추정량 $\hat{\theta}$ 이 유일할 경우, 이는 반드시 $\theta$ 의 충분통계량의 함수로 주어집니다.

그 이유는 다음과 같습니다. 만약 $\theta$ 의 충분통계량을 $Y$ 라고 한다면

우도함수 $L(\theta)$ 는 네이만 인수분해 정리에 따라 $L(\theta)=f_Y(y;\theta)H(x_1,x_2,...,x_n)$ 의 식으로 표현됩니다.

그렇다면 최우추정을 위한 추정방정식은 $\hat{\theta}=\underset{\theta}{\text{argmax}}\, L(\theta)=\underset{\theta}{\text{argmax}}f_Y(y;\theta)$ 와 같이 다시 쓸 수 있습니다.

따라서 최우추정량이 유일하다면, 이는 충분통계량 $Y$ 의 함수로 주어지는 것을 볼 수 있습니다.

또한 최우추정량은 점근적으로 불편성을 충족하므로, 적절한 보정을 통해 불편추정량으로 만들 수 있는 것이 보통입니다.

 

이번 글에서는 완비충분통계량에 대해 써보았습니다.

다음 글에서는 지수족 확률분포의 완비통계량에 대해 써보겠습니다.