수리통계학 (16) - 조건부 확률분포

지난 글에서는 확률벡터의 변환에 대해서 써보았습니다.

이번 글에서는 다변량 분포에서 종종 쓰이는 조건부 확률분포에 대해 써보려고 합니다.

 

앞선 글에서 조건부 확률은 어떤 사건을 새로운 표본공간으로 간주해서 계산한 확률로 정의했습니다.

이는 확률변수에서도 똑같이 적용될 수 있는 정의입니다.

우선 이산확률변수 $ X_1,X_2 $ 를 생각하고 이들에 관한 조건부 확률을 구해보겠습니다.

$ X_1,X_2 $ 가 제각기 다른 값을 갖는 확률변수라면

$ X_1 $ 이 $ X_1 = x_1 $ 을 충족할 때 $ X_2 $ 의 확률분포가 어떻게 될 것인지 생각해볼 수 있습니다.

조건부 확률의 정의를 이용하면, 이 확률분포가 $ P(X_2=x_2 | X_1=x_1) = \frac{P(X_1=x_1,X_2=x_2)}{P(X_1=x_1)} $ 로 주어지는 것을 알 수 있습니다.
(단, $ P(X_1=x_1) > 0 $ 을 만족하는 $ x_1 $ 을 골라야 분모가 0이 되지 않습니다.)

이 새로운 확률분포를 조건부 확률분포(conditional distribution)라고 부릅니다.

그리고 위 식의 확률을 $ P(X_2=x_2 | X_1=x_1) = p_{X_2|X_1}(x_2|x_1) $ 의 식으로 표현하고

$ p_{X_2|X_1}(x_2|x_1) $ 의 함수는 조건부 확률질량함수(conditional pmf)라고 부릅니다.

 

한편, 전확률정리에 따라 아래 식이 성립하는 것을 알 수 있습니다.

$ P(X_1=x_1)=\sum_{x_2}^{}P(X_1=x_1|X_2=x_2)P(X_2=x_2)=\sum_{x_2}^{}P(X_1=x_1,X_2=x_2) $

따라서 $ x_1 $ 의 값이 주어져 있다면, 조건부 확률분포 $ p_{X_2|X_1}(x_2|x_1) $ 에 대한 아래 식을 얻을 수 있습니다.

$ \sum_{x_2}^{}p_{X_2|X_1}(x_2|x_1) = \sum_{x_2}^{}P(X_2=x_2 | X_1=x_1)=\sum_{x_2}^{}\frac{P(X_1=x_1,X_2=x_2)}{P(X_1=x_1)}=\frac{P(X_1=x_1)}{P(X_1=x_1)}=1 $

그러므로 조건부 확률분포 $ p_{X_2|X_1}(x_2|x_1) $ 역시 $  X_2 $ 에 대한 확률분포처럼 취급할 수 있습니다.

따라서 이 확률분포 하에서 어떤 확률변수의 평균을 구해볼 수도 있습니다.

가령 $ X_2 $ 를 변환한 $ u(X_2) $ 의 평균을 구한다고 해보겠습니다.

이 평균값은 조건부 평균이라고 부르고, $ E[u(X_2)|x_1] $ 과 같이 표기합니다.

그리고 $ \sum_{x_2}^{}|u(x_2)|p_{X_2 | X_1}(x_2 | x_1)<\infty $ 가 성립한다면 아래 식으로 이 조건부 평균값을 계산할 수 있습니다.

$ E[u(X_2)|x_1]= \sum_{x_2}^{}u(x_2)p_{X_2 | X_1}(x_2 | x_1) $

 

만약 $ X_1,X_2 $ 가 연속확률변수라고 하면 확률질량함수 대신 확률밀도함수로 조건부 확률을 써볼 수 있습니다.

$ f_{X_2|X_1}(x_2|x_1)=\frac{f_{X_1,X_2}(x_1,x_2)}{f_{X_1}(x_1)} $
(물론 이 경우에도 $ f_{X_1}(x_1) > 0 $ 이 만족되어야 합니다.)

연속확률변수의 경우에도 전확률정리를 통해 아래 관계식을 얻을 수 있습니다.

$ \int_{-\infty}^{\infty} f_{X_2|X_1}(x_2|x_1)dx_2 =\int_{-\infty}^{\infty} \frac{f_{X_1,X_2}(x_1,x_2)}{f_{X_1}(x_1)}dx_2= \frac{f_{X_1}(x_1)}{f_{X_1}(x_1)}=1 $

따라서 $ f_{X_2|X_1}(x_2|x_1) $ 역시 $ x_2 $ 에 대한 확률밀도함수로 취급할 수 있습니다.

이 함수를 조건부 확률밀도함수(conditional pdf)라고 합니다.

연속확률변수의 조건부 분포에서 어떤 변수 $ u(X_2) $ 의 평균을 구하는 과정은 이산확률변수의 경우와 비슷합니다.

만약 $ \int_{-\infty}^{\infty}|u(x_2)|f_{X_2 | X_1}(x_2 | x_1)dx_2<\infty $ 가 성립하기만 하면

$ E[u(X_2)|x_1]= \int_{-\infty}^{\infty}u(x_2)f_{X_2 | X_1}(x_2 | x_1)dx_2 $ 와 같이 $ u(X_2) $ 의 조건부 평균을 구할 수 있습니다.

 

이번 글에서는 조건부 확률분포의 기본적인 정의에 대해 써보았습니다.

다음 글에서는 여러 조건부 통계량들을 계산할 때 자주 쓰이는 식 몇 가지를 써보려고 합니다.