수리통계학 (8) - 적률생성함수의 성질

이번 글에서는 적률생성함수의 성질에 대해 써보겠습니다.

글을 쓰기 전에 통계학에서 르베그 적분을 사용하는 이유에 대해서 간략히 써보려고 합니다.

통계학에서 르베그 적분을 사용해서 얻는 이점은 아래와 같습니다.

 

첫째, 통계학에서는 리만적분이 불가능한 함수들이 종종 등장합니다.

대표적으로 디랙 델타 함수를 들 수 있습니다.

그러나 르베그 적분은 이러한 함수들에도 폭넓게 적용할 수 있다는 이점이 있습니다.

 

둘째, 지배수렴정리(dominated convergence theorem)를 쓸 수 있습니다.

통계학에서 자주 맞닥뜨리는 질문 가운데 하나는 극한기호와 적분기호의 순서를 바꿀 수 있는가 하는 것입니다.

지배수렴정리에 따르면, 르베그 적분에서는 몇 개의 조건만 충족할 경우 이 두 연산의 순서를 바꿀 수 있습니다.

또한 피적분함수가 미분가능하다면 미분기호와 적분기호 역시 순서를 바꿀 수 있습니다.

따라서 지배수렴정리를 쓸 수 있다는 이점 때문에 르베그 적분이 폭넓게 활용된다고 할 수 있습니다.

 

이하에서는 지난 글에서 언급했던 적률생성함수의 성질에 대해서 써보겠습니다.

확률변수 $ X $ 의 적률생성함수는 $ E[e^{tX}] $ 가 $ t=0 $ 을 포함하는 열린 구간에서 유한할 경우, $ M(t)=E[e^{tX}] $ 로 정의됩니다.

흥미로운 점은 어떤 확률변수의 적률생성함수가 존재할 경우, 그 확률변수에 대응되는 적률생성함수는 유일하다는 점입니다.

요컨대 확률변수와 적률생성함수 간에는 일대일 대응관계가 존재합니다.

왜 그런지 설명하기 전에 적률생성함수의 기본적인 성질에 대해 써보겠습니다.

 

적률생성함수는 평균값이므로, 다음과 같이 쓸 수 있습니다.

$ M(t)=E[e^{tX}]=\sum_{x}^{}e^{tx}p_X(x) $ (이산확률변수의 경우)

$ M(t) = \int_{-\infty}^{\infty}e^{tx}f_X(x)dx $ (연속확률변수의 경우)

 

이하에서는 연속확률변수를 기준으로 적률생성함수의 성질을 알아보겠습니다.
(그러나 똑같은 성질이 이산확률변수에 대해서도 성립합니다.)

적률생성함수 $ M(t) $ 를 미분해보면 $ \frac{d}{dt}M(t)=\frac{d}{dt}\int_{-\infty}^{\infty}e^{tx}f_X(x)dx $ 를 얻게 됩니다.

그런데 적분기호 안의 식 $ e^{tx}f_X(x) $ 은 $ t $ 에 대해 몇 번이고 미분가능합니다.

따라서 지배수렴정리의 결과에 따라 미분기호와 적분기호의 순서를 바꿀 수 있습니다.

이를 통해 $ \frac{d}{dt}M(t)=\int_{-\infty}^{\infty}xe^{tx}f_X(x)dx $ 를 얻게 됩니다.

여기서 $ t=0 $ 을 대입하면 $ \frac{d}{dt}M(t)|_{t=0} = M'(0)=\int_{-\infty}^{\infty} x f_X(x)dx = E[X] $ 임을 알 수 있습니다.

따라서 적률생성함수의 $ t=0 $ 에서의 1계 미분값은 다름아닌 원래 확률변수의 평균값이 됩니다.

 

그렇다면 적률생성함수를 $ m $ 번 미분한 결과는 어떻게 되는지 보겠습니다.

위의 과정을 여러 번 반복하면 아래 식을 얻게 됩니다.

$  \frac{d^m}{dt^m}M(t) = \frac{d^{m-1}}{dt^{m-1}}\int_{-\infty}^{\infty}x e^{tx}f_X(x)dx=\frac{d^{m-2}}{dt^{m-2}}\int_{-\infty}^{\infty}x^2 e^{tx}f_X(x)dx=...=\int_{-\infty}^{\infty}x^m e^{tx}f_X(x)dx $

여기서도 $ t=0 $ 을 대입해보면  $ \frac{d^m}{dt^m}M(t)|_{t=0}= M^{(m)}(0)=\int_{-\infty}^{\infty}x^m f_X(x)dx =E[X^m] $ 을 얻게 됩니다.

따라서 적률생성함수의 $ t=0 $ 에서의 $ m $ 계 미분값은 $ X^m $ 의 평균값과 같아지는 것을 알 수 있습니다.

여기서 확률변수를 $ m $ 제곱해서 평균한 값을 확률변수 $ X $ 의 $ m $ 차 적률이라고 부릅니다.

$ X $ 의 $ m $ 차 적률을 $ \int_{-\infty}^{\infty}x^m f_X(x) dx $ 으로 구할 수도 있습니다만, 때로는 적률생성함수를 이용하는 것이 편리할 때가 있습니다.

 

이번 글에서는 적률생성함수가 갖는 성질에 대해서 써보았습니다.

다음 글에서는 적률생성함수의 의미에 대해 써보겠습니다.