수리통계학 (39) - 통계적 추정의 기본 개념들

지난 글에서는 중심극한정리에 대해 써보았습니다.

이번 글에서는 통계적 추정에서 등장하는 기본적인 개념들에 대해 써보겠습니다.

 

우선 $ X_1,X_2,...,X_n $ 의 확률변수들이 모두 $ f(x;\theta) $ 의 확률밀도함수를 갖는 확률분포를 따른다고 가정하겠습니다.

이때 이들 확률변수들의 실현값에 따라 값이 결정되는 어떤 확률변수 $ T $ 를 생각해보겠습니다.

$ T=T(X_1,X_2,...,X_n) $

이제 위에서 정의된 $ T $ 가 모종의 이유로 $ \theta $ 와 비슷한 값을 가질 것으로 예상된다고 해보겠습니다.

이렇게 표본의 함수로 주어지면서, $ \theta $ 의 값을 짐작하는 데 활용할 수 있는 확률변수 $ T $ 를 $ \theta $ 의 추정량이라고 부릅니다.

 

이제 상기한 추정량 $ T $ 가 $ E[T] = \theta $ (불편성) 를 만족한다고 해보겠습니다.

다시 말해서, $ T $ 는 표본에 따라서 여러 값을 가질 수 있지만 대체로 $ \theta $ 의 평균값을 가지면서 변동한다는 이야기입니다.

이러한 성질을 만족하는 $ T $ 는 $ \theta $ 의 불편추정량(unbiased estimator)이라고 합니다.

그리고 불편성을 만족하지 못하는 추정량은 편의추정량이라고 부르기도 합니다.

 

이번에는 표본의 크기 $ n $ 이 증가함에 따라서 $ T \overset{p}{\rightarrow} \theta $ 가 성립한다고 해보겠습니다.(일치성)

위와 같은 성질을 만족하는 추정량 $ T $ 는 일치추정량(consistent estimator)이라고 합니다.

다시 말해, 일치추정량은 표본크기가 증가함에 따라 모수의 참값으로 확률수렴하는 추정량입니다.

일치성을 만족하지 못하는 추정량은 불일치추정량이라고 부릅니다.

 

불편성과 일치성은 서로 별개의 조건입니다.

불편추정량임에도 일치하지 않는 추정량이 있는가 하면, 일치추정량이지만 편의를 가지고 있는 추정량도 있습니다.

한편, 불편성은 표본크기와 무관하게 만족해야 하는 성질인 반면에

일치성은 표본크기가 매우 커질때 만족해야 하는 성질이라는 점에서 두 성질은 차이를 보입니다.

 

이제 유한한 평균 $ \mu $ 와 분산 $ \sigma^2 $ 을 갖는 $ X_1,X_2,...,X_n $ 이 iid한 확률변수인 경우를 고려해보겠습니다.

앞선 글에서 표본평균 $ \bar{X} $ 를 $ \bar{X}:=\sum_{i=1}^n X_i/n $ 과 같이 정의했습니다.

그리고 위의 표본평균은 $ E[\bar{X}]=E[\sum_{i=1}^n X_i/n]=n\mu/n=\mu $ 식에 따라서 $ \mu $ 의 평균을 갖습니다.

따라서 표본평균은 모평균의 불편추정량이 됩니다.

한편, 표본평균은 (모평균의) 불편추정량 일뿐만 아니라 일치추정량이기도 합니다.

다시 말해, 표본평균은 표본크기가 무한대로 커지면 모평균으로 확률수렴합니다.

위의 결과를 약대수의 법칙(weak law of large number)이라고도 하며

체비셰프 부등식을 활용해서 다음과 같이 보일 수 있습니다.

우선 표본평균의 분산을 계산해보면 $ Var(\bar{X})=Var(\sum_{i=1}^n X_i/n)=\sum_{i=1}^n Var(X_i)/n^2 = \sigma^2 /n $ 임을 알 수 있습니다.

따라서 표본평균에 관한 체비셰프 부등식을 아래와 같이 써볼 수 있습니다.

$ P(|\bar{X}- \mu| \geq k \sigma/\sqrt{n}) \leq \frac{1}{k^2} $ for all $ k>0 $

위 식의 $ k $ 에 $ k=\epsilon \sqrt{n}/\sigma $ 를 대입하면 아래 식을 얻게 됩니다.

$ P(|\bar{X}- \mu| \geq \epsilon) \leq \frac{\sigma^2}{\epsilon^2 n} $

바로 위 부등식의 우변은 $ n $ 이 발산함에 따라 0으로 수렴합니다.

따라서 $ \lim_{n \rightarrow \infty} P(|\bar{X}- \mu| \geq \epsilon) =0 $ 의 식을 얻고, 표본평균이 $ \mu $ 로 확률수렴하는 일치추정량임을 알 수 있습니다.

 

이번에는 표본분산에 대해 생각해보겠습니다.

표본분산은 $ S^2=\sum_{i=1}^n (X_i-\bar{X})^2/(n-1) $ 과 같이 정의됩니다.

위 식에서 $ X_i $ 의 편차제곱합을 $ n-1 $ 로 나눈 이유는 (모분산에 대한) 불편추정량을 얻기 위해서입니다.

실제로 표본분산의 평균을 계산해보면 아래와 같습니다.

$ E[S^2]=E[\sum_{i=1}^n (X_i-\bar{X})^2/(n-1)]=E[\sum_{i=1}^n X_i^2-n(\bar{X})^2]/(n-1)=E[n(\sigma^2+\mu^2)-(\sum_{i=1}^n X_i^2+2\sum_{i<j} X_iX_j)/n]/(n-1) $

위 식의 우변을 정리하면 아래와 같은 식을 얻습니다.

$ E[n(\sigma^2+\mu^2)-(\sigma^2+\mu^2)-(n-1)\mu^2]/(n-1)=E[(n-1)\sigma^2]/(n-1)=\sigma^2 $

따라서 $ E[S^2]=\sigma^2 $ 이 성립하고 표본분산 $ S^2 $ 은 모분산의 불편추정량인 것을 알 수 있습니다.

한편, 표본분산은 일치성도 충족합니다. 다시 말해 표본분산은 표본크기가 증가함에 따라 모분산으로 확률수렴합니다.

이에 대한 증명은 다음 글에서 해보도록 하겠습니다.

 

이번 글에서는 통계적 추정에 관한 기본 개념들에 대해 써보았습니다.

다음 글에서는 모분산을 추정하기 위한 여러 추정량들에 대해 써보겠습니다.