수리통계학 (17) - 조건부 통계량에 관한 식들

지난 글에서는 조건부 확률분포의 정의에 대해 써보았습니다.

이번 글에서는 여러 조건부 통계량에 관한 식들을 다뤄보겠습니다.

 

일단 조건부 통계량에 관한 식을 다루기 전에 공분산과 상관계수부터 정의해보겠습니다.

두 확률변수 $ X,Y $ 가 유한한 분산값 $ \sigma_X ^2 , \sigma_Y ^2 $ 을 가진다고 해보겠습니다.

이들 분산값이 유한하다면, 더 낮은 차수의 적률에 대응하는 평균값도 유한합니다. 

이 평균값들을 $ \mu_X , \mu_Y $ 라고 해보겠습니다.

위 조건들이 모두 충족된다면, 평균 $ E[(X-\mu_X)(Y-\mu_Y)] $ 가 유한한 값으로 잘 정의됩니다.
(이 평균이 유한하다는 것은 코시-슈바르츠 부등식으로 증명할 수 있습니다.)

이 평균값을 $ X,Y $ 의 공분산(covariance)이라고 하고, $ Cov(X,Y) $ 로 표기합니다.

 

한편, 두 확률변수의 분산값 $ \sigma_X ^2 , \sigma_Y ^2 $ 의 양의 제곱근을 $ \sigma_X , \sigma_Y $ 라고 하겠습니다.

이 때 공분산을 $ \sigma_X $ 와 $ \sigma_Y $ 의 곱으로 나눈 값( $ Cov(X,Y)/(\sigma_X \sigma_Y) $ )을

$ X,Y $ 의 상관계수(correlation coefficient)라고 하고, $ \rho_{XY} $ 로 표기합니다.

상관계수는 코시-슈바르츠 부등식을 통해 $ -1 \leq \rho \leq 1 $ 을 항상 만족하는 것을 볼 수 있습니다.

또한 공분산을 $ \sigma_X \sigma_Y $ 로 나누어 구한 값이기 때문에 unit-free 하다는 장점도 있습니다.

상관계수는 두 확률변수가 얼마나 강한 선형 관계를 갖는지를 보여줍니다.

 

이하에서 소개할 식들에서는 확률변수 $ X,Y $ 가 유한한 분산을 갖는 경우를 상정하려고 합니다.

이제 조건부 통계량에 관한 식들을 하나씩 소개해보겠습니다.

 

1. $ E[E[X|Y]]=E[X] $ (law of total expectation)

위 식은 반복 기댓값의 법칙(law of iterated expectation)이라고도 불리는 식입니다.

일단 $ X,Y $ 가 연속확률변수라고 가정하겠습니다만

이산확률변수의 경우도 적분 기호를 합 기호로 바꿔서 똑같은 방법으로 증명할 수 있습니다.

우선 조건부 평균의 정의에 따라 아래 식이 성립함을 알 수 있습니다.

$  E[E[X|Y]]=\int_{-\infty}^{\infty}E[X|Y=y]f_Y(y)dy=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}xf_{X|Y}(x|y)f_Y(y)dxdy $

그리고 조건부 확률밀도함수의 정의에 따라 우변의 적분식을 다시 쓰면 아래와 같습니다.

$ \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}xf_{X|Y}(x|y)f_Y(y)dxdy=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}xf_{X,Y}(x,y)dxdy=E[X] $

따라서 $ E[E[X|Y]] = E[X] $ 식이 성립함을 알 수 있습니다.

 

2. $ Var(X)=E[Var(X|Y)]+Var(E[X|Y]) $ (law of total variance)

앞선 글에서 언급한 $ Var(X)=E[X^2]-(E[X])^2 $ 식은 조건부 분산에 대해서도 아래와 같이 성립합니다.

$ Var(X|Y)=E[X^2|Y]-(E[X|Y])^2 $

이제 전체 분산의 법칙이라고도 불리는 원래 식의 우변을 보겠습니다.

$ E[Var(X|Y)]+Var(E[X|Y]) $ 식은 아래와 같이 다시 쓸 수 있습니다.

$ E[Var(X|Y)]+Var(E[X|Y])=E[E[X^2|Y]]-E[(E[X|Y])^2]+E[(E[X|Y])^2]-(E[E[X|Y]])^2=E[E[X^2|Y]]-(E[E[X|Y]])^2 $ 

그리고 위에서 증명한 반복 기댓값의 법칙에 따라 아래 식이 성립합니다.

$ E[E[X^2|Y]]-(E[E[X|Y]])^2 = E[X^2]-(E[X])^2=Var(X) $

따라서 원래 식의 좌변과 우변이 같아지게 됩니다.

한편, 위 식에 등장하는 조건부 분산 $ Var(X|Y) $ 는 항상 nonnegative 합니다.

왜냐하면 $ (X-E[X|Y=y])^2 \geq 0 $ 이 모든 $ X=x $ 에 대해 성립하기 때문입니다.

앞선 글에서 어떤 확률변수 $ Z $ 가 $ Z \geq 0 $ 를 항상 만족하면 $ E[Z] \geq 0 $ 임을 보였기 때문에

$ Var(X|Y)=E[(X-E[X|Y])^2|Y] \geq 0 $ 임을 알 수 있습니다.

따라서 $ E[Var(X|Y)] \geq 0 $ 가 성립하고 이를 통해 $ Var(X) \geq Var(E[X|Y]) $ 의 부등식이 성립함을 알 수 있습니다.

 

이번 글에서는 조건부 통계량에 관련된 유명한 식들을 다루었습니다.

다음 글에서는 조건부 통계량에 관한 다른 식과 관련된 예시에 대해 써보겠습니다.