수리통계학 (18) - 조건부 통계량의 활용사례

지난 글에서는 조건부 통계량에 관한 여러 식들을 소개했습니다.

이번 글에서는 조건부 통계량이 어떻게 활용될 수 있는지에 대해 써보려고 합니다.

 

이번 글에서부터는 각종 확률분포함수를 표기할 때 아래 첨자를 간략화해서 표현하려고 합니다.

사실 혼동의 여지만 없다면 아래첨자는 생략되기도 합니다.($f_{X_1,X_2}(x_1,x_2) = f(x_1,x_2)$ )

혹은 아래첨자에 변수 대신 숫자를 써서 간략하게 표현할 수도 있습니다.($f_{X_1,X_2}(x_1,x_2) = f_{12}(x_1,x_2)$ )

조건부 확률분포나 주변확률분포함수도 아래와 같이 단순화할 수 있습니다.

$f_{X_2|X_1}(x_2|x_1)=f_{2|1}(x_2|x_1), f_{X_1}(x_1)=f_1 (x_1)$

 

이제 조건부 통계량이 적용되는 사례를 한 가지 써보려고 합니다.

우선 확률변수 $X,Y$ 를 생각하고 이들이 유한한 양의 분산을 갖는 것으로 생각하겠습니다.

그리고 이들 분산을 각각 $\sigma_X ^2 , \sigma_Y ^2$ 라고 하겠습니다.
(다시 한번, $\sigma_X$ 와 $\sigma_Y$ 는 이들 분산값의 양의 제곱근입니다.)

앞선 글에서 언급했듯이, 이들이 유한한 분산을 갖기 때문에 이들의 평균과 공분산도 유한하게 됩니다.

이들 평균값을 각각 $\mu_X , \mu_Y$ 로 쓰는 한편 $X,Y$ 의 상관계수는 $\rho$ 라고 해보겠습니다.

그리고 여기에 $E[Y|X]$ 가 $X$ 에 대해 선형이라는 가정이 주어지면 아래 식들이 성립하게 됩니다.

 

$E[Y|X]=\mu_Y+\rho \frac{\sigma_Y}{\sigma_X}(X-\mu_X)$

$E[Var(Y|X)]=\sigma_Y ^2 (1-\rho^2)$

 

이 식은 $X,Y$ 가 연속확률변수인지 이산확률변수인지에 무관하게 성립합니다.

편의상 이들이 연속확률변수라고 가정하겠습니다만

이산확률변수의 경우도 적분 기호를 합 기호로 바꾸면 같은 방법으로 증명할 수 있습니다.

우선 조건부 평균의 정의에 따라 $E[Y|X=x]=\int_{-\infty}^{\infty}[yf(x,y)/f_1(x)]dy$ 가 성립합니다.

한편 $E[Y|X]$ 가 $X$ 에 대해 선형이라고 가정했으므로

이 조건부 평균을 미지수 $a,b$ 에 관한 식 $E[Y|X=x] = a + bx$ 로 써볼 수 있습니다.

따라서 $\int_{-\infty}^{\infty}yf(x,y)dy = (a + bx)f_1(x)$ 의 식이 성립합니다.

위 식의 양변에 $x$ 를 곱하고 모든 실수 $x$ 에 대해 적분해보겠습니다.

그 결과 좌변의 식은 $\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}xyf(x,y)dydx=E[XY]=Cov(X,Y)+\mu_X \mu_Y = \sigma_X \sigma_Y \rho+\mu_X \mu_Y$ 를 만족하게 됩니다.

그리고 우변의 식은 $\int_{-\infty}^{\infty} [ax+bx^2]f_1(x) dx=a \mu_X + b(\sigma_X ^2 + \mu_X ^2)$ 과 같이 됩니다.

좌변과 우변이 같다고 두면 $\sigma_X \sigma_Y \rho+\mu_X \mu_Y = a \mu_X + b(\sigma_X ^2 + \mu_X ^2)$ 의 식을 얻게 됩니다.

한편으로는 앞선 글에서 언급한 반복 기댓값의 법칙에 따라 $\mu_Y=E[Y]=E[E[Y|X]]=E[a+bX]=a+b \mu_X$ 가 성립합니다.

 

결과적으로 두 개의 미지수 $a,b$ 에 관한 두 개의 식을 얻게 됩니다.

이들을 연립하면 $a= \mu_Y - \rho \frac{\sigma_Y}{\sigma_X} \mu_X$ , $b=\rho \frac{\sigma_Y}{\sigma_X}$ 의 결과를 얻게 됩니다.

따라서 $E[Y|X]=a+bX=\mu_Y - \rho \frac{\sigma_Y}{\sigma_X} \mu_X+\rho \frac{\sigma_Y}{\sigma_X} X=\mu_Y+\rho \frac{\sigma_Y}{\sigma_X} (X-\mu_X)$ 가 성립함을 알 수 있습니다.

 

한편 조건부 분산의 평균에 관한 두 번째 식은 $E[Var(Y|X)]=\sigma_Y ^2 (1-\rho^2)$ 으로 주어졌습니다.

우선 이전 글에서 언급한 전체 분산의 법칙을 다시 써보겠습니다.

$E[Var(Y|X)]=Var(Y)-Var(E[Y|X])=\sigma_Y ^2 - Var(a+bX)$

$a+bX$ 의 분산은 $E[(a+bX-(a+b\mu_X))^2]$ 과 같이 정의되므로 아래 식이 성립하게 됩니다.

$Var(a+bX) = b^2 Var(X)=\rho^2 \frac{\sigma_Y ^2}{\sigma_X ^2}\sigma_X ^2=\rho^2 \sigma_Y ^2$

따라서 위 결과들을 종합하면 $E[Var(Y|X)]=\sigma_Y ^2 - Var(a+bX)=\sigma_Y ^2(1-\rho ^2)$ 의 식을 얻게 됩니다.

 

사실 위 관계식은 회귀분석(regression analysis)과 관련이 있습니다.

회귀분석은 어떤 확률변수들이 모종의 선형관계를 갖고 있다는 전제하에

구체적인 선형함수식의 형태를 찾아내는 과정입니다.

실제로 위 식은 $Y$ 를 $X$ 에 대해 회귀분석해서 얻게 되는

회귀계수(regression coefficient)와 함께 잔차분산(residual variance)의 평균값을 제시하고 있습니다.

 

이번 글에서는 조건부 통계량을 활용하는 사례로서 간단한 선형회귀모형에 대해 써보았습니다.

다음 글에서는 확률분포의 독립에 대해 써보겠습니다.