수리통계학 (10) - 자주 쓰이는 여러 부등식들

이번 글에서는 통계학에서 자주 쓰이는 부등식들에 대해 써보겠습니다.

 

우선 앞선 글에서 언급했듯이 통계학에서의 적분은 르베그 적분을 의미합니다.

사실 르베그 적분은 리만 적분을 일반화시킨 것으로 볼 수 있습니다.

따라서 리만 적분에서 성립하는 많은 성질들이 르베그 적분에서도 그대로 성립합니다.

예컨대, 르베그 적분에서도 리만 적분에서와 같이 단조성이 성립하게 됩니다.

어떤 함수 $ f,g $ 를 구간 $ X $ 에 대해서 르베그 적분한다고 해보겠습니다.

만약 이 구간에서 $ f \leq g $ 가 성립한다면 다음 부등식이 성립합니다.

$ \int_{X}^{}fd \mu \leq \int_{X}^{}gd \mu $

또한 어떤 구간 $ U,V( U \subseteq V ) $ 에서 $ f \geq 0 $ 이 성립한다면

$ \int_{U}^{}fd \mu \leq \int_{V}^{}fd \mu $ 가 성립하는 것도 알 수 있습니다.

이하에서는 통계학에서 자주 쓰이는 부등식들을 차례로 소개해보겠습니다.

 

1. $ X \leq Y \Rightarrow  E[X] \leq E[Y] $

 

평균이 르베그 적분으로 정의되었기 때문에, 평균에 대해서도 비슷한 논의가 가능합니다.

두 확률변수 $ X,Y $ 가 $ X \leq Y $ 를 항상 만족한다고 해보겠습니다.
(가령 $ z_1 , z_2 $ 의 확률변수 가운데 작은 것을 $ X $ , 큰 것을 $ Y $ 로 두면 위 관계가 항상 성립합니다.)

새로운 확률변수 $ Z $ 를 $ Z:=Y-X $ 로 정의하면 $ Z $ 는 항상 0보다 크거나 같게 됩니다.

따라서 $ E[Z]=\int_{-\infty}^{\infty}zf_Z(z)dz=\int_{0}^{\infty}zf_Z(z)dz \geq 0 $ 를 얻습니다.

평균은 선형 연산자이므로 $ E[Z]=E[Y]-E[X] \geq 0 $ 이 성립함을 알 수 있습니다.

따라서 $ E[X] \leq E[Y] $ 가 성립합니다.

 

2. $ |\int_{X}^{}fd \mu| \leq \int_{X}^{}|f|d \mu $ (삼각부등식)

 

르베그 적분의 단조성으로부터 다른 부등식을 얻을 수도 있습니다.

어떤 함수 $ f $ 에 대해서 $ -|f| \leq f \leq |f| $ 가 항상 성립하므로

$ \int_{X}^{}-|f|d \mu \leq \int_{X}^{}fd \mu \leq \int_{X}^{}|f|d \mu $ 의 부등식이 항상 성립하게 됩니다.

따라서 $ |\int_{X}^{}fd \mu| \leq \int_{X}^{}|f|d \mu $ 의 삼각부등식을 얻게 됩니다.

 

3. $ E[g_1(X)] < \infty , E[g_2(X)] < \infty \Rightarrow E[ag_1(X)+bg_2(X)] < \infty $

 

앞선 글에서 평균이 선형 연산자라는 것을 언급했습니다.

실제로 유한한 평균을 갖는 확률변수들의 선형결합은 여전히 유한한 평균을 갖게 됩니다.

우선 평균의 정의에 따라서 $ E[ag_1(X)+bg_2(X)] = \int_{-\infty}^{\infty}[ag_1(x)+bg_2(x)]f_X(x) dx $ 가 성립합니다.

또한 $ |ag_1(x)+bg_2(x)| \leq |a g_1(x)|+|b g_2(x)| $ 의 삼각부등식과, 르베그 적분의 단조성 및 선형성을 활용하면

$ \int_{-\infty}^{\infty}|ag_1(x)+bg_2(x)|f_X(x) dx \leq \int_{-\infty}^{\infty} [|ag_1(x)|f_X(x)+|bg_2(x)|f_X(x)] dx=|a|E[|g_1(X)|]+|b|E[|g_2(X)|] $ 를 얻습니다.

따라서 $ \int_{-\infty}^{\infty}|ag_1(x)+bg_2(x)|f_X(x) dx \leq |a|E[|g_1(X)|]+|b|E[|g_2(X)|] < \infty $ 가 성립하므로

$ ag_1(X)+bg_2(X) $ 는 유한한 평균을 갖는 것을 볼 수 있습니다.

 

4. $ E[X^m] < \infty \Rightarrow E[X^k] < \infty $ for all $ k \leq m $

 

우선 $ E[X^m] < \infty $ 로부터 $ E[|X^m|]=\int_{-\infty}^{\infty} |x|^m f_X(x)dx<\infty $ 임을 알 수 있습니다.

우리의 관심사는 $ \int_{-\infty}^{\infty} |x|^k f_X(x)dx $ 가 유한한 값을 가지는 지입니다.

위 적분을 구간별로 나누어서 아래의 식을 얻을 수 있습니다.

$ \int_{-\infty}^{\infty} |x|^k f_X(x)dx = \int_{|x| \leq 1}^{} |x|^k f_X(x)dx + \int_{|x| > 1}^{} |x|^k f_X(x)dx $

이 새로운 식에서 우변의 첫 번째 항은 $ \int_{|x| \leq 1}^{} |x|^k f_X(x)dx \leq \int_{|x| \leq 1}^{} 1 \cdot  f_X(x)dx \leq \int_{-\infty}^{\infty} f_X(x)dx = 1 $ 을 만족합니다.

또한, $ |x| > 1 \Rightarrow |x|^k \leq |x|^m $ 로부터 $ \int_{|x| > 1}^{} |x|^k f_X(x)dx \leq \int_{|x| > 1}^{} |x|^m f_X(x)dx < \infty $ 임을 알 수 있습니다.

따라서 $ \int_{-\infty}^{\infty} |x|^k f_X(x)dx \leq 1+\int_{|x| > 1}^{} |x|^k f_X(x)dx < \infty $ 을 얻게 됩니다.

 

이상으로 통계학에서 자주 쓰이는 부등식 몇 가지를 소개해 보았습니다.

이외에도 마르코프 부등식, 체비셰프 부등식 등 유명한 식들이 있습니다.

이들은 다음 글에서 다뤄보도록 하겠습니다.