수리통계학 (9) - 적률생성함수의 의미

지난 글에서는 적률생성함수의 기본적인 성질에 대해 써보았습니다.

이번 글에서는 이 함수가 지니는 의미에 대해서 써보겠습니다.

 

확률변수 $ X $ 의 평균을 $ \mu $ 라고 했을 때, 확률변수 $ X-\mu $ 의 적률은 특별한 의미를 가집니다.

$ X-\mu $ 의 1차 적률은 $ E[X-\mu]=0 $ 으로 0이 되지만, 2차 적률은 $ E[(X-\mu)^2]=Var(X) $ 으로 $ X $ 의 분산이 됩니다.

$ E[(X-\mu)^3] $ 과 $ E[(X-\mu)^4] $ 은 각각 왜도(skewness)와 첨도(kurtosis)라고 부릅니다.

왜도와 첨도는 각각 확률분포의 비대칭성과 뾰족한 정도를 보여줍니다.

 

이번 글에서는 적률생성함수와 확률분포가 왜 일대일 대응 관계를 갖는지에 대해서도 써보겠습니다.

우선 두 확률변수 $ X,Y $ 에 대해 적률생성함수 $ M_X (t), M_Y(t) $ 가 존재하고 이 둘이 같다고 해보겠습니다.

앞선 글에서 유도한 식에 따르면, 적률생성함수는 모든 차수의 적률 값에 대한 정보를 담고 있습니다.

두 확률변수의 적률생성함수가 같다면, 이 두 변수는 모든 차수의 적률 값이 같아집니다.
( $ M_X(t)=M_Y(t) \Rightarrow E[X^m]=E[Y^m] $ for all $ m \in \mathbb{N} $ )

만약 이 두 확률변수 $ X,Y $ 가 유계 구간에서만 변동한다면

모든 차수의 적률 값이 같다는 사실로부터 확률분포가 완전히 같다는 것을 알 수 있습니다.

 

그러나 두 확률변수가 가질 수 있는 값의 범위가 유계가 아니라면 얘기가 달라집니다.

이 경우에는 모든 차수의 적률값이 같더라도 확률분포가 항상 같다고 할 수 없습니다.

하지만 어떤 모종의 조건을 만족할 경우, 모든 차수의 적률값이 같다는 것만으로 확률분포가 동일함을 보일 수 있게 됩니다.

우리가 다루는 대부분의 확률분포는 이 조건을 만족합니다.

따라서 확률변수의 적률생성함수가 같다면 확률분포가 동일하다고 간주해도 무리가 없게 됩니다.

 

그런데 확률분포에 따라서는 적률생성함수가 존재하지 않는 경우도 있습니다.

코시분포(Cauchy distribution)가 대표적인 사례입니다.

코시분포는 유한한 분포 값에도 불구하고, 적률 값들이 무한대로 발산합니다.

따라서 적률생성함수가 존재하지 않게 됩니다.

사실 적률생성함수로부터 모든 차수의 적률 값을 얻을 수 있기 때문에

이 함수가 존재하려면 모든 차수의 적률 값이 존재해야 한다는 것을 알 수 있습니다.

그러나 이 조건을 충족하지 못해서 유한한 적률생성함수를 얻지 못하는 경우도 있습니다.

이 경우에는 적률생성함수 대신 특성함수(characteristic function)를 사용하는 것을 고려해볼 수 있습니다.

특성함수는 $ E[e^{tX}] $ 대신 $ E[e^{itX}] $ 로 정의합니다.

어떤 확률변수 $ X $ 의 특성함수 $ \varphi (t) $ 를 써보면 $ \varphi (t)=\int_{-\infty}^{\infty}e^{itx}f_X(x)dx $ 가 됩니다.

여기서 $ |\varphi (t)| = |\int_{-\infty}^{\infty}e^{itx}f_X(x)dx| \leq \int_{-\infty}^{\infty}|e^{itx}f_X(x)|dx $ 가 성립함을 삼각부등식을 통해 알 수 있습니다.

위 부등식의 우변은 $ |e^{itx}|=1 $ 을 활용하면 $ \int_{-\infty}^{\infty}|e^{itx}f_X(x)|dx=\int_{-\infty}^{\infty}f_X(x)dx=1 $ 임을 알 수 있습니다.

따라서 특성함수는 확률분포의 종류와 관계없이 항상 유한한 값으로 수렴합니다.

특성함수도 $ \varphi^{(m)}(0)=i^m E[X^m] $ 의 관계식을 통해 적률 값을 구하는 데 활용할 수 있습니다.

 

이번 글에서는 적률생성함수의 의미에 대해서 써보았습니다.

다음 글에서는 통계학에서 자주 쓰이는 부등식들에 대해서 써보겠습니다.