수리통계학 (38) - 중심극한정리

지난 글에서는 확률변수의 수렴에 대해 써보았습니다.

이번 글에서는 중심극한정리에 대해 써보겠습니다.

 

우선 중심극한정리를 설명하기 위해 필요한 기본적인 개념들을 간략히 언급하고 넘어가겠습니다.

서로 독립인 확률변수 $ X_1,X_2,...,X_n $ 이 모두 똑같은 확률분포를 따른다고 해보겠습니다.

이를 두고 확률변수 $ X_1,X_2,...,X_n $ 은 iid(independent and identically distributed)한 확률변수라고 합니다.

또한 위와 같은 확률변수들을 모아놓은 집합 $ \left\{ X_1,X_2,...,X_n \right\} $ 을 임의표본(random sample)이라고 부르기도 합니다.

 

한편, 지난 글에서 언급한 분포수렴에 관련된 성질 한 가지를 더 언급하고 중심극한정리를 설명해보겠습니다.

어떤 확률변수의 수열 $ \left\{ X_n \right\}_{n=1}^{\infty} $ 이 주어져있고

이들의 적률생성함수가 $ M_{X_i}(t) $ for all $ i=1,2,... $ 로 잘 정의된다고 해보겠습니다.

그리고 위와 같은 적률생성함수의 수열은 어떤 확률변수의 적률생성함수인 $ M_X(t) $ 로 점별수렴한다고 가정하겠습니다.

상기한 가정들이 모두 충족된다면 수열 $ \left\{ X_n \right\}_{n=1}^{\infty} $ 은 $ X $ 로 분포수렴한다는 것이 알려져 있습니다.

다시 말해, $ \lim_{n \rightarrow \infty}M_{X_n}(t) = M_X(t) $ for all $ t \in \mathbb{R} $ 가 성립하면 $ X_n \overset{d}{\rightarrow} X $ 임을 알 수 있습니다.

위와 같은 성질은 적률생성함수 기법(moment generating function technique)이라는 이름으로 불리기도 합니다.

위의 성질은 지면관계상 별다른 증명 없이 사용하도록 하겠습니다.

 

이제 중심극한정리를 설명해보겠습니다.

일단 $ X_1,X_2,...,X_n $ 은 평균과 분산이 유한한 어떤 확률분포를 따르는 iid한 확률변수라고 해보겠습니다.

위의 확률변수들이 갖는 공통된 평균과 분산은 $ \mu,\sigma^2 $ 으로 표기하겠습니다.

한편 $ \bar{X}:=(\sum_{i=1}^n X_i)/n $ 으로 정의된 표본평균은

$ n $ 이 양의 무한대로 발산함에 따라 아래와 같은 성질을 만족합니다.

$ (\bar{X}-\mu)/(\sigma/\sqrt{n}) \overset{d}{\rightarrow} N(0,1) $

다시 말해, 어떤 임의표본의 크기가 커질수록 이 표본의 구성요소들을 평균한 값은 정규분포로 분포수렴하게 됩니다.

이를 보이기 위해서 $ ( \bar{X}-\mu)/(\sigma/\sqrt{n}) $ 의 확률변수를 다시 써보면 아래와 같습니다.

$ ( \bar{X}-\mu)/(\sigma/\sqrt{n})=(n\bar{X}-n\mu)/(\sigma\sqrt{n})=\sum_{i=1}^n [(X_i-\mu)/(\sigma\sqrt{n})] $

따라서 $ ( \bar{X}-\mu)/(\sigma/\sqrt{n}) $ 의 적률생성함수는 아래와 같이 계산됩니다.

$ M(t)=E[exp(t(\sum_{i=1}^n [(X_i-\mu)/(\sigma\sqrt{n})]))]=\prod_{i=1}^n E[exp(t(X_i-\mu)/(\sigma\sqrt{n}))] $

한편, 확률변수 $ \left\{ Y_i \right\}_{i=1}^{n} $ 을 $ Y_i:=(X_i-\mu)/\sigma $ for all $ i=1,2,...,n $ 과 같이 정의하면

모든 $ i $ 에 대해서 $ E[Y_i]=0 $ , $ Var(Y_i)=1 $ 이 성립함을 알 수 있습니다.

또한 위의 적률생성함수는 $ M(t)=\prod_{i=1}^n E[exp(tY_i/\sqrt{n})]=(E[exp(tY_1/\sqrt{n})])^n $ 과 같이 다시 쓸 수 있습니다.

그런데 바로 위 식의 우변에 있는 지수함수를 전개하면 아래와 같은 식을 얻습니다.

$ M(t)=(E[exp(tY_1/\sqrt{n})])^n=(E[\sum_{k=0}^n (tY_1/\sqrt{n})^k/k!])^n=(1+tE[Y_1]/\sqrt{n}+t^2 E[Y_1^2]/(2n)+...)^n =(1+t^2/(2n)+o(t^2/n))^n $
( $ o(t^2/n) $ 은 $ \lim_{n \rightarrow \infty}o(t^2/n)/(t^2/n)=0 $ 을 만족시키는 임의의 함수입니다.)

바로 위 식의 우변은 아래와 같이 정리할 수 있습니다.

$ (1+t^2/(2n)+o(t^2/n))^n=(1+t^2/(2n))^n(1+\frac{o(t^2/n)}{1+t^2/(2n)})^n $

그리고 위 식에서 $ n $ 을 무한대로 보내면 $ \lim_{n \rightarrow \infty}(1+t^2/(2n))^n(1+\frac{o(t^2/n)}{1+t^2/(2n)})^n=exp(t^2/2) $ 가 성립함을 알 수 있습니다.

따라서 $ n $ 이 발산함에 따라 $ M(t) $ 는 표준정규확률변수의 적률생성함수로 수렴하게 됩니다.

그러므로 상기한 확률변수 $ ( \bar{X}-\mu)/(\sigma/\sqrt{n}) $ 은 표준정규확률분포로 분포수렴하게 됩니다.

 

이번 글에서는 중심극한정리에 대해 써보았습니다.

다음 글에서는 통계적 추론에 관한 다른 개념들에 대해 써보겠습니다.