수리통계학 (36) - Student's theorem

지난 글에서는 t-분포와 F-분포에 대해 써보았습니다.

이번 글에서는 Student's theorem에 대해 써보겠습니다.

글을 시작하기에 앞서 카이제곱분포의 성질 두 가지를 언급하고 넘어가겠습니다.

 

1. $ Z \sim N(0,1) $ 이면 $ Z^2 \sim \chi^2(1) $ 입니다.

달리 말하면, 표준정규확률변수를 제곱한 변수는 자유도가 1인 카이제곱분포를 따르게 됩니다.

우선 표준정규확률변수 $ Z $ 에 대해서 $ P(Z<z)=\int_{-\infty}^{z} \frac{1}{\sqrt{2\pi}}e^{-w^2/2}dw $ 의 식이 성립합니다.

그리고 $ Z^2 $ 의 누적분포함수를 얻기 위해서 $ P(Z^2<z) $ 를 계산해보면 아래와 같습니다.

$ P(Z^2<z)=P(-\sqrt{z}<Z<\sqrt{z})=2\int_{0}^{\sqrt{z}} \frac{1}{\sqrt{2\pi}}e^{-w^2/2}dw=2(\mathbf{\Phi}(\sqrt{z}) -1/2)$

따라서 확률변수 $ Z^2 $ 의 누적분포함수는 $ 2\mathbf{\Phi}(\sqrt{z})-1 $ 이 됩니다.

한편 $ Z^2 $ 의 확률밀도함수를 얻기 위해서 이 함수를 미분하면 아래 식을 얻습니다.

$ f_{Z^2}(z)=\frac{\partial }{\partial z}[2\mathbf{\Phi}(\sqrt{z})-1]=\phi(\sqrt{z})/\sqrt{z}=\frac{1}{\sqrt{2\pi z}}e^{-z/2} $

그런데 바로 위의 함수는 $ \frac{1}{\sqrt{2\pi z}}e^{-z/2}=\frac{1}{\sqrt{2}\Gamma(1/2)}z^{1/2-1}e^{-z/2} $ 로 다시 쓸 수 있습니다.

따라서 $ Z^2 $ 이 $ \chi^2(1) $ 의 확률분포를 따르는 것을 알 수 있습니다.

 

2. $ X_1,X_2,...,X_n $ 이 서로 독립이고 $ X_i \sim \chi^2(r_i) $ for all $ i=1,2,...,n $ 을 만족하면 $ \sum_{i=1}^n X_i \sim \chi^2(\sum_{i=1}^n r_i) $ 가 성립합니다.

위 관계식은 카이제곱 확률변수의 적률생성함수를 이용해서 보일 수 있습니다.

자유도가 $ r $ 인 카이제곱 확률변수의 적률생성함수는 $ M(t)=(1-2t)^{-r/2} $ 와 같이 주어집니다.
(지면 관계상 자세한 증명과정은 생략하겠습니다.)

독립인 카이제곱 확률변수들을 합한 결과를 $ Y:=\sum_{i=1}^n X_i $ 라고 두고, 이의 적률생성함수를 구해보면 아래와 같습니다.

$ M_Y (t)=\prod_{i=1}^n M_{X_i}(t)=\prod_{i=1}^n(1-2t)^{-r_i/2}=(1-2t)^{-\sum_{i=1}^n r_i/2} $

바로 위 식의 우변은 자유도가 $ \sum_{i=1}^n r_i $ 인 카이제곱 확률변수의 적률생성함수가 됩니다.

따라서 $ Y=\sum_{i=1}^n X_i $ 는 $ \sum_{i=1}^n r_i $ 의 자유도를 갖는 카이제곱분포를 따르는 것을 알 수 있습니다.

 

이제 Student's theorem이 무엇인지에 대해 써보겠습니다.

일단 이 정리는 Student's theorem이라고 불리고, 앞선 글에서 언급한 t-분포도 때때로 Student's t-distribution이라고 불립니다.

이러한 이름의 유래는 다음과 같습니다.

사실 t-분포는 19세기 여러 학자들에 의해 발견되었다가 잊혀졌다가를 반복해왔다고 합니다.

그런데 윌리엄 고셋이라는 사람이 t-분포를 재발견하면서

이 분포의 유용성을 보여주는 Student's theorem을 함께 제시하게 됩니다.

한편 고셋이라는 사람은 모종의 이유로 t-분포에 대한 연구결과를 발표할 때 Student라는 필명을 사용했습니다.

그리고 후대의 학자들이 이를 기리기 위해서 Student's theorem, Student's t-distribution과 같은 이름을 사용하게 되었습니다.

 

Student's theorem은 아래와 같은 내용을 담고 있습니다.

독립인 정규확률변수 $ X_1,X_2,...,X_n $ 들이 $ X_i \sim N(\mu,\sigma^2) $ for all $ i=1,2,...,n $ 을 만족하는 한편

확률변수 $ \bar{X} , S^2 $ 이 $ \bar{X}:=(\sum_{i=1}^n X_i)/n $ , $ S^2:=(\sum_{i=1}^n (X_i-\bar{X})^2)/(n-1) $ 의 식을 만족한다면

아래의 네 가지 성질이 성립합니다.

1. $ \bar{X} \sim N(\mu,\sigma^2 / n) $
2. $ \bar{X},S^2 $ 은 서로 독립입니다.
3. $ (n-1)S^2/\sigma^2 \sim \chi^2(n-1) $
4. $ T:=(\bar{X}-\mu)/(S/\sqrt{n}) $ 과 같이 정의된 확률변수 $ T $ 는 자유도가 $ n-1 $ 인 t-분포를 따릅니다.

 

위의 사실들을 보이기 위해서 아래와 같은 몇 가지 벡터들을 새로이 정의하겠습니다.

$ \mathbf{0_n}=(0,0,...,0)' \in \mathbb{R}^n $
$ \mathbf{1_n}=(1,1,...,1)' \in \mathbb{R}^n $
$ \mathbf{1_{nn}}=(\mathbf{1_n},\mathbf{1_n},...,\mathbf{1_n}) $
$ \mathbf{X}=(X_1,X_2,...,X_n)' $
$ \mathbf{Y}=\mathbf{X}-\bar{X}\mathbf{1_n} $
$ \mathbf{W}=(\bar{X},\mathbf{Y'})' $

일단 $ \mathbf{W} $ 의 평균과 공분산 행렬부터 계산해보겠습니다.

$ E[\mathbf{W}]=E[(\bar{X},\mathbf{Y'})']=(\mu,\mathbf{0_n'})' $

$ Var(\mathbf{W})=Var(\begin{pmatrix}(1/n)\mathbf{1_n '} \\ \mathbf{I_n} -(1/n) \mathbf{1_{nn}} \end{pmatrix} \mathbf{X})=\begin{pmatrix}(1/n)\mathbf{1_n '} \\ \mathbf{I_n} -(1/n) \mathbf{1_{nn}} \end{pmatrix} \sigma^2 \mathbf{I_n} \begin{pmatrix}(1/n)\mathbf{1_n '} \\ \mathbf{I_n} -(1/n) \mathbf{1_{nn}} \end{pmatrix}' = \sigma^2 \begin{pmatrix}1/n & \mathbf{0_n '} \\\mathbf{0_n} & \mathbf{I_n}-(1/n)\mathbf{1_{nn}} \end{pmatrix} $

위 식으로부터 $ \bar{X} $ 가 평균이 $ \mu $ 이고 분산이 $ \sigma^2 /n $ 인 정규분포를 따른다는 것을 알 수 있습니다.

또한 $ \mathbf{W} $ 의 공분산 행렬을 통해 $ \bar{X} $ 와 $ \mathbf{Y} $ 는 서로 독립임을 알 수 있습니다.

그런데 $ S^2 $ 은 $ S^2=\mathbf{Y'Y}/(n-1) $ 의 식을 만족하므로, $ \bar{X} $ 와 $ S^2 $ 역시도 독립이 됩니다.

 

한편 Student's theorem의 나머지 부분을 증명하기 위해서 아래와 같은 확률변수를 생각하겠습니다.

$ V := \sum_{i=1}^n (\frac{X_i -\mu}{\sigma})^2 $

우선 $ V $ 는 서로 독립인 표준정규확률변수를 제곱한 것을 총 $ n $ 번 합한 결과입니다.

표준화된 정규확률변수를 제곱하면 $ \chi^2 (1) $ 의 분포를 따르고

이를 $ n $ 번 합한 결과는 $ \chi^2 (n) $ 의 분포를 따르게 됩니다.

또한 $ V $ 를 아래와 같이 다시 쓸 수 있습니다.

$ V=\sum_{i=1}^n (\frac{X_i -\mu}{\sigma})^2=\sum_{i=1}^n (\frac{(X_i-\bar{X}) + (\bar{X} -\mu)}{\sigma})^2 =\sum_{i=1}^n (\frac{X_i-\bar{X}}{\sigma})^2 + (\frac{\bar{X}-\mu}{\sigma/\sqrt{n}})^2 $

바로 위 식의 우변을 들여다보면 $ S^2 $ 에 관한 첫째 항과 $ \bar{X} $ 에 관한 둘째 항으로 구성되어 있는 것을 볼 수 있습니다.

따라서 $ \sum_{i=1}^n (\frac{X_i-\bar{X}}{\sigma})^2 $ 과 $ (\frac{\bar{X}-\mu}{\sigma/\sqrt{n}})^2 $ 은 서로 독립이 됩니다.

한편 $ \bar{X} $ 는 평균이 $ \mu $ 이고 분산이 $ \sigma^2 /n $ 인 정규분포를 따르므로

$ (\frac{\bar{X}-\mu}{\sigma/\sqrt{n}})^2 $ 은 $ \chi^2 (1) $ 분포를 따르게 됩니다.

이제 위에 등장했던 $ V $ 에 관한 식을 다시 써보겠습니다.

$ V=\sum_{i=1}^n (\frac{X_i-\bar{X}}{\sigma})^2 + (\frac{\bar{X}-\mu}{\sigma/\sqrt{n}})^2 = (n-1)S^2 / \sigma^2 +(\frac{\bar{X}-\mu}{\sigma/\sqrt{n}})^2  $

바로 위 식의 양변을 구성하는 확률변수들의 적률생성함수를 구해보면 아래와 같습니다.

$ (1-2t)^{-n/2}=E[exp(t(n-1)S^2/\sigma^2)](1-2t)^{-1/2} $

따라서 확률변수 $ (n-1)S^2/\sigma^2 $ 의 적률생성함수는 $ (1-2t)^{-(n-1)/2} $ 가 됩니다.

이는 자유도가 $ n-1 $ 인 카이제곱 확률변수의 적률생성함수입니다.

결론적으로 $ (n-1)S^2/\sigma^2 \sim \chi^2 (n-1) $ 이 성립함을 알 수 있습니다.

한편 위에서 언급한 확률변수 $ T $ 의 정의는 아래와 같이 나타낼 수 있습니다.

$ T:=\frac{(\bar{X} - \mu)/(\sigma/\sqrt{n})}{\sqrt{(n-1)S^2 /(\sigma^2 (n-1))}} $

위의 식에서 분자는 표준정규확률변수가 되고, 분모는 카이제곱분포를 따르는 확률변수를

자유도 $ n-1 $ 로 나눠서 근호를 취한 값이 됩니다.

따라서 $ T $ 는 자유도 $ n-1 $ 의 t-분포를 따르는 것을 알 수 있습니다.

 

이번 글에서는 Student's theorem에 대해 써보았습니다.

다음 글에서는 기본적인 통계적 추정에 대해 써보겠습니다.