수리통계학 (20) - 독립확률변수의 성질

지난 글에서는 확률변수의 독립을 정의하고, 이와 관련된 성질 몇 가지를 다루었습니다.

이번 글에서는 독립인 확률변수가 만족하는 다른 성질들에 대해 써보겠습니다.

 

우선 확률변수 $ X_1, X_2 $ 가 독립이고, 임의의 함수 $ u,v $ 에 대해 $ E[u(X_1)],E[v(X_2)]<\infty $ 가 충족된다고 해보겠습니다.

그러면 $ E[u(X_1)v(X_2)]=E[u(X_1)]E[v(X_2)] $ 가 성립하는 것이 알려져 있습니다.

이를 보이기 위해서 $ E[u(X_1)v(X_2)] $ 를 계산해보면 아래와 같습니다.

$ E[u(X_1)v(X_2)] = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty}u(x_1)v(x_2)f(x_1,x_2)dx_1 dx_2 =\int_{-\infty}^{\infty} \int_{-\infty}^{\infty}u(x_1)v(x_2)f_1(x_1)f_2(x_2)dx_1 dx_2 $
(마지막 등식에서 $ X_1,X_2 $ 가 독립이므로 $ f(x_1,x_2)=f_1(x_1)f_2(x_2) $ 가 성립함을 이용했습니다.)

위 식은 아래와 같이 다시 쓸 수 있습니다.

$ \int_{-\infty}^{\infty} \int_{-\infty}^{\infty}u(x_1)v(x_2)f_1(x_1)f_2(x_2)dx_1 dx_2=[\int_{-\infty}^{\infty}u(x_1)f_1(x_1)dx_1][\int_{-\infty}^{\infty}v(x_2)f_2(x_2)dx_2]=E[u(X_1)]E[v(X_2)] $

따라서 $ E[u(X_1)v(X_2)]=E[u(X_1)]E[v(X_2)] $ 가 성립하는 것을 볼 수 있습니다.

한편, 위 식에서 함수 $ u,v $ 가 항등함수로 주어진다면 $ E[X_1 X_2]= E[X_1]E[X_2] $ 의 식을 얻게 됩니다.

이때 두 확률변수 $ X_1,X_2 $ 의 공분산은 $ Cov(X_1,X_2)=E[X_1 X_2]-E[X_1]E[X_2]=0 $ 을 만족합니다.

따라서 $ X_1,X_2 $ 가 독립이라면 이 둘의 공분산 및 상관계수는 0이 됩니다.

한편 위 명제의 역은 성립하지 않습니다.

예컨대, $ E[u(X_1)]=E[v(X_1)]=0 $ 을 만족하면서 직교하는 두 함수 $ u,v $ 를 생각하겠습니다.

이때 $ u(X_1) $ 과 $ v(X_1) $ 은 종속관계에 있음에도 불구하고

$ E[u(X_1)v(X_1)]=E[u(X_1)]E[v(X_1)] $ 을 만족합니다.

 

이하에서는 두 확률변수 $ X_1,X_2 $ 가 독립일 필요충분조건을 몇 개 더 나열해보겠습니다.

 

1. $ P(a<X_1 \leq b , c < X_2 \leq d)=P(a<X_1 \leq b)P(c < X_2 \leq d) $ for all $ a<b,c<d $

 

우선 $ X_1,X_2 $ 가 독립이면 위 식이 성립함을 보이겠습니다.

앞선 글에서 $ P(a<X_1 \leq b , c < X_2 \leq d) = F(b,d)-F(a,d)-F(b,c)+F(a,c) $ 임을 보였습니다.

한편, $ X_1,X_2 $ 가 독립일 경우 다음과 같은 식이 성립합니다.

$ F(b,d)-F(a,d)-F(b,c)+F(a,c)=F_1(b)F_2(d)-F_1(a)F_2(d)-F_1(b)F_2(c)+F_1(a)F_2(c) $

바로 위식의 우변을 정리하면 아래식을 얻습니다.

$ F_1(b)F_2(d)-F_1(a)F_2(d)-F_1(b)F_2(c)+F_1(a)F_2(c) =(F_2(d)-F_2(c))(F_1(b)-F_1(a))=P(a < X_1 \leq b)P(c<X_2 \leq d) $

따라서 원래의 식이 성립하는 것을 알 수 있습니다.

 

이번엔 반대로 $ P(a < X_1 \leq b,c<X_2 \leq d)=P(a<X_1 \leq b)P(c<X_2 \leq d) $ 가 성립한다고 해보겠습니다.

임의의 $ a,b, c,d $ 에 대해 위 식이 성립한다면

$ a,c $ 가 음의 무한대로 감소해도 여전히 등호 관계가 성립합니다.

한편 누적분포함수의 정의에 따라 아래 두 식을 얻을 수 있습니다.

$ \underset{a,c \rightarrow -\infty }{lim} P(a<X_1 \leq b , c < X_2 \leq d)=F(b,d) $
$ F_1(b)F_2(d)=\underset{a,c \rightarrow -\infty }{lim}[P(a<X_1 \leq b)P(c < X_2 \leq d)] $

위의 두 식은 같아져야 하므로 임의의 $ b,d $ 에 대해서 $ F(b,d)=F_1(b)F_2(d) $ 가 성립합니다.

따라서 $ X_1,X_2 $ 가 독립임을 알 수 있습니다.

 

2. $ (X_1,X_2)' $ 의 적률생성함수 $ M(t_1,t_2) $ 가 존재한다면 $ M(t_1,t_2)=M(t_1,0)M(0,t_2) $ 가 성립합니다.

 

$ (X_1,X_2)' $ 의 적률생성함수는 $ M(t_1,t_2)=E[e^{t_1X_1+t_2X_2}] $ 와 같이 정의됩니다.

만약 $ X_1,X_2 $ 가 독립이라면 위 글에서 유도한 결과에 따라 $ E[e^{t_1X_1+t_2X_2}]=E[e^{t_1X_1}]E[e^{t_2X_2}] $ 임을 알 수 있습니다.

한편 $ E[e^{t_1X_1}] = M(t_1,0) , E[e^{t_2X_2}]=M(0,t_2) $ 가 성립하므로 원래 식을 얻게 됩니다.

이번에는 $ M(t_1,t_2)=M(t_1,0)M(0,t_2) $ 가 성립한다고 해보겠습니다.

바로 위식의 우변은 아래와 같이 다시 쓸 수 있습니다.

$ M(t_1,0)M(0,t_2)=[\int_{-\infty}^{\infty}e^{t_1x_1}f_1(x_1)dx_1][\int_{-\infty}^{\infty}e^{t_2x_2}f_2(x_2)dx_2]=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}e^{t_1x_1+t_2x_2}f_1(x_1)f_2(x_2)dx_1dx_2 $

그리고 $ (X_1,X_2)' $ 의 적률생성함수는 $ M(t_1,t_2)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}e^{t_1x_1+t_2x_2}f(x_1,x_2)dx_1dx_2 $ 와 같이 정의됩니다.

따라서 어떤 집합 $ U \subseteq \mathbb{R}^2 $ 에 포함된 모든 $ (t_1,t_2) $ 에 대해 아래 등식이 성립합니다.

$ \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}e^{t_1x_1+t_2x_2}f(x_1,x_2)dx_1dx_2=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}e^{t_1x_1+t_2x_2}f_1(x_1)f_2(x_2)dx_1dx_2 $ 

그러므로 모든 $ x_1,x_2 $ 에 대해 $ f(x_1,x_2)=f_1(x_1)f_2(x_2) $ 가 성립하게 됩니다.

 

이번 글에서는 독립인 확률변수들이 만족하는 여러 성질에 대해 써보았습니다.

다음 글에서는 n개의 확률변수들을 포함하는 다변량 분포에 대해 써보겠습니다.