수리통계학 (32) - 정규분포의 정의

지난 글에서는 다항분포의 특성과 디리클레 분포에 대한 내용을 써보았습니다.

이번 글에서는 정규분포에 대해 써보겠습니다.

 

우선 변수가 한 개만 있는 정규분포를 정의하고

그다음에 여러 변수가 함께 변하는 다변량 정규분포를 다뤄보겠습니다.

정규분포는 아래와 같은 형태의 확률밀도함수를 갖는 확률분포입니다.

$ f_X(x)=\frac{1}{ \sqrt{2 \pi}\sigma}exp(-\frac{1}{2}(\frac{x-\mu}{\sigma})^2) $ for all $ x \in \mathbb{R} $

이제 위의 확률밀도함수를 이용해서 정규분포에 대응되는 적률생성함수를 구해보겠습니다.

일단 적률생성함수의 정의에 따라 $ M(t)=E[e^{tX}]=\int_{-\infty}^{\infty} \frac{1}{ \sqrt{2 \pi}\sigma}exp(tx)exp(-\frac{1}{2}(\frac{x-\mu}{\sigma})^2)dx $ 식이 성립합니다.

바로 위 식의 우변을 정리하면 아래와 같은 식을 얻게 됩니다.

$ \int_{-\infty}^{\infty} \frac{1}{ \sqrt{2 \pi}\sigma}exp(-\frac{1}{2}[(\frac{x-\mu}{\sigma})^2-2tx])dx = \int_{-\infty}^{\infty} \frac{1}{ \sqrt{2 \pi}\sigma}exp(-\frac{1}{2}[(\frac{x^2-2(\mu+\sigma^2 t )x+\mu^2 }{\sigma^2})])dx=\int_{-\infty}^{\infty} \frac{1}{ \sqrt{2 \pi}\sigma}exp(-\frac{1}{2}(\frac{x-(\mu+\sigma^2 t)} {\sigma})^2+\frac{\sigma^2 t^2 +2 \mu t}{2})dx $

한편, 정규확률변수의 확률밀도함수를 모든 실수에 대해 적분하면 1이 됩니다.

따라서 바로 위 식에 등장한 $ \int_{-\infty}^{\infty} \frac{1}{ \sqrt{2 \pi}\sigma}exp(-\frac{1}{2}(\frac{x-(\mu+\sigma^2 t)} {\sigma})^2)dx $ 의 적분 값은 1과 같습니다.

결론적으로, 정규분포의 적률생성함수는 $ M(t)=exp(\frac{\sigma^2 t^2 +2 \mu t}{2})=exp(\mu t +\frac{\sigma^2 t^2}{2}) $ 으로 계산됩니다.

정규확률변수의 평균과 분산을 구하기 위해 이의 1, 2차 적률을 구해보면 아래와 같습니다.

$ E[X]=M'(0)=(\mu + \sigma^2 t)exp(\mu t +\frac{\sigma^2 t^2}{2})|_{t=0}=\mu $
$ E[X^2]=M''(0)=((\mu + \sigma^2 t)^2+\sigma^2)exp(\mu t +\frac{\sigma^2 t^2}{2})|_{t=0}=\mu^2 + \sigma ^2 $

따라서 정규확률변수의 분산은 $ Var(X)=E[X^2]-(E[X])^2=\mu^2+\sigma^2-\mu^2=\sigma^2 $ 으로 주어집니다.

그런데 $ \mu,\sigma^2 $ 은 위에서 언급한 정규분포의 확률밀도함수에도 등장합니다.

다시 말해, 정규분포를 따르는 확률변수의 확률밀도함수만 들여다보아도 평균과 분산을 바로 알 수 있습니다.

한편, $ \mu $ 는 위치모수(location parameter)라고도 합니다.

왜냐하면 $ \mu $ 값에 따라서 정규분포의 확률밀도함수가 좌우로 평행 이동하기 때문입니다.

그리고 $ \sigma^2 $ 은 범위모수(scale parameter)라고 부르기도 합니다.

$ \sigma^2 $ 의 대소에 따라서 확률밀도함수가 뾰족하고 좁은지, 혹은 완만하면서 넓은지가 결정되기 때문입니다.

이 두 모수는 정규분포를 유일하게 결정짓게 됩니다.

한편, 확률변수 $ X $ 가 정규분포를 따르고

$ \mu,\sigma^2 $ 의 평균과 분산을 가지는 것을 $ X \sim N(\mu,\sigma^2) $ 과 같이 표현하기도 합니다.

 

정규분포는 중심극한정리(central limit theorem)라는 정리를 기반으로 해서

여러 가지 통계적 추론에 광범위하게 쓰입니다.

정규분포를 통계적 추론에 활용할 때는

계산 편의를 위해서 정규확률변수의 평균, 분산을 각각 0, 1로 만들기도 합니다.

다시 말해 정규분포를 따르는 $ X \sim N(\mu,\sigma^2) $ 과 같은 확률변수를

$ Z:=(X-\mu)/\sigma $ 와 같이 변환하면 $ Z $ 의 평균, 분산이 각각 0, 1이 되는 것을 볼 수 있습니다.

또한 $ Z $ 는 여전히 정규분포를 따르게 됩니다.

이렇게 변환된 새로운 정규확률변수를 표준정규확률변수(standard normal random variable)라고 합니다.

표준화된 정규확률변수 $ Z $ 의 확률밀도함수는 $ \phi(z) $ 로 표기하는 한편

누적분포함수는 $ \mathbf{\Phi}(t) $ 로 표기합니다.

 

한편, 여러 개의 독립인 정규확률변수를 선형결합한 결과는 여전히 정규분포를 따른다는 것이 알려져 있습니다.

$ X_1,X_2,...,X_n $ 이 서로 독립이고 모든 $ k=1,2,...,n $ 에 대해 $ X_k \sim N(\mu_k,\sigma_k^2) $ 이 성립한다고 해보겠습니다.

그리고 새로운 확률변수 $ Y $ 를 $ Y:=\sum_{k=1}^n c_k X_k $ 와 같이 정의하겠습니다.

이렇게 얻은 확률변수 $ Y $ 의 적률생성함수를 구해보면 아래와 같습니다.

$ M_Y (t)=E[e^{tY}] =E[e^{t\sum_{k=1}^n c_k X_k}]=\prod_{k=1}^n E[e^{tc_kX_k}] $

한편, 위에서 임의의 정규확률변수 $ X \sim N(\mu,\sigma^2) $ 에 대해 $ E[e^{tX}]=exp(\mu t +\frac{\sigma^2 t^2}{2}) $ 가 성립함을 보였습니다.

위의 사실들을 종합하면 아래와 같은 식을 얻게 됩니다.

$ M_Y(t)=\prod_{k=1}^n E[e^{tc_kX_k}]=\prod_{k=1}^n exp(\mu_k t c_k +\frac{\sigma_k^2 (t c_k)^2}{2})=exp(t [\sum_{k=1}^n \mu_k c_k]+\frac{t^2}{2}[\sum_{k=1}^n \sigma_k^2 c_k^2] ) $

바로 위 식의 우변은 평균이 $ \sum_{k=1}^n \mu_k c_k $ 이고 분산이 $ \sum_{k=1}^n \sigma_k^2 c_k^2 $ 인 정규확률변수의 적률생성함수입니다.

따라서 $ Y \sim N(\sum_{k=1}^n \mu_k c_k , \sum_{k=1}^n \sigma_k^2 c_k^2) $ 이 성립함을 알 수 있습니다.

 

이번 글에서는 정규분포의 정의와 기본적인 성질에 대해 써보았습니다.

다음 글에서는 정규분포를 응용한 확률분포들에 대해 써보겠습니다.