수리통계학 (10) - 자주 쓰이는 여러 부등식들

이번 글에서는 통계학에서 자주 쓰이는 부등식들에 대해 써보겠습니다.

 

우선 앞선 글에서 언급했듯이 통계학에서의 적분은 르베그 적분을 의미합니다.

사실 르베그 적분은 리만 적분을 일반화시킨 것으로 볼 수 있습니다.

따라서 리만 적분에서 성립하는 많은 성질들이 르베그 적분에서도 그대로 성립합니다.

예컨대, 르베그 적분에서도 리만 적분에서와 같이 단조성이 성립하게 됩니다.

어떤 함수 $f,g$ 를 구간 $X$ 에 대해서 르베그 적분한다고 해보겠습니다.

만약 이 구간에서 $f \leq g$ 가 성립한다면 다음 부등식이 성립합니다.

$\int_{X}^{}fd \mu \leq \int_{X}^{}gd \mu$

또한 어떤 구간 $U,V( U \subseteq V )$ 에서 $f \geq 0$ 이 성립한다면

$\int_{U}^{}fd \mu \leq \int_{V}^{}fd \mu$ 가 성립하는 것도 알 수 있습니다.

이하에서는 통계학에서 자주 쓰이는 부등식들을 차례로 소개해보겠습니다.

 

1. $X \leq Y \Rightarrow  E[X] \leq E[Y]$

 

평균이 르베그 적분으로 정의되었기 때문에, 평균에 대해서도 비슷한 논의가 가능합니다.

두 확률변수 $X,Y$ 가 $X \leq Y$ 를 항상 만족한다고 해보겠습니다.
(가령 $z_1 , z_2$ 의 확률변수 가운데 작은 것을 $X$ , 큰 것을 $Y$ 로 두면 위 관계가 항상 성립합니다.)

새로운 확률변수 $Z$ 를 $Z:=Y-X$ 로 정의하면 $Z$ 는 항상 0보다 크거나 같게 됩니다.

따라서 $E[Z]=\int_{-\infty}^{\infty}zf_Z(z)dz=\int_{0}^{\infty}zf_Z(z)dz \geq 0$ 를 얻습니다.

평균은 선형 연산자이므로 $E[Z]=E[Y]-E[X] \geq 0$ 이 성립함을 알 수 있습니다.

따라서 $E[X] \leq E[Y]$ 가 성립합니다.

 

2. $|\int_{X}^{}fd \mu| \leq \int_{X}^{}|f|d \mu$ (삼각부등식)

 

르베그 적분의 단조성으로부터 다른 부등식을 얻을 수도 있습니다.

어떤 함수 $f$ 에 대해서 $-|f| \leq f \leq |f|$ 가 항상 성립하므로

$\int_{X}^{}-|f|d \mu \leq \int_{X}^{}fd \mu \leq \int_{X}^{}|f|d \mu$ 의 부등식이 항상 성립하게 됩니다.

따라서 $|\int_{X}^{}fd \mu| \leq \int_{X}^{}|f|d \mu$ 의 삼각부등식을 얻게 됩니다.

 

3. $E[g_1(X)] < \infty , E[g_2(X)] < \infty \Rightarrow E[ag_1(X)+bg_2(X)] < \infty$

 

앞선 글에서 평균이 선형 연산자라는 것을 언급했습니다.

실제로 유한한 평균을 갖는 확률변수들의 선형결합은 여전히 유한한 평균을 갖게 됩니다.

우선 평균의 정의에 따라서 $E[ag_1(X)+bg_2(X)] = \int_{-\infty}^{\infty}[ag_1(x)+bg_2(x)]f_X(x) dx$ 가 성립합니다.

또한 $|ag_1(x)+bg_2(x)| \leq |a g_1(x)|+|b g_2(x)|$ 의 삼각부등식과, 르베그 적분의 단조성 및 선형성을 활용하면

$\int_{-\infty}^{\infty}|ag_1(x)+bg_2(x)|f_X(x) dx \leq \int_{-\infty}^{\infty} [|ag_1(x)|f_X(x)+|bg_2(x)|f_X(x)] dx=|a|E[|g_1(X)|]+|b|E[|g_2(X)|]$ 를 얻습니다.

따라서 $\int_{-\infty}^{\infty}|ag_1(x)+bg_2(x)|f_X(x) dx \leq |a|E[|g_1(X)|]+|b|E[|g_2(X)|] < \infty$ 가 성립하므로

$ag_1(X)+bg_2(X)$ 는 유한한 평균을 갖는 것을 볼 수 있습니다.

 

4. $E[X^m] < \infty \Rightarrow E[X^k] < \infty$ for all $k \leq m$

 

우선 $E[X^m] < \infty$ 로부터 $E[|X^m|]=\int_{-\infty}^{\infty} |x|^m f_X(x)dx<\infty$ 임을 알 수 있습니다.

우리의 관심사는 $\int_{-\infty}^{\infty} |x|^k f_X(x)dx$ 가 유한한 값을 가지는 지입니다.

위 적분을 구간별로 나누어서 아래의 식을 얻을 수 있습니다.

$\int_{-\infty}^{\infty} |x|^k f_X(x)dx = \int_{|x| \leq 1}^{} |x|^k f_X(x)dx + \int_{|x| > 1}^{} |x|^k f_X(x)dx$

이 새로운 식에서 우변의 첫 번째 항은 $\int_{|x| \leq 1}^{} |x|^k f_X(x)dx \leq \int_{|x| \leq 1}^{} 1 \cdot  f_X(x)dx \leq \int_{-\infty}^{\infty} f_X(x)dx = 1$ 을 만족합니다.

또한, $|x| > 1 \Rightarrow |x|^k \leq |x|^m$ 로부터 $\int_{|x| > 1}^{} |x|^k f_X(x)dx \leq \int_{|x| > 1}^{} |x|^m f_X(x)dx < \infty$ 임을 알 수 있습니다.

따라서 $\int_{-\infty}^{\infty} |x|^k f_X(x)dx \leq 1+\int_{|x| > 1}^{} |x|^k f_X(x)dx < \infty$ 을 얻게 됩니다.

 

이상으로 통계학에서 자주 쓰이는 부등식 몇 가지를 소개해 보았습니다.

이외에도 마르코프 부등식, 체비셰프 부등식 등 유명한 식들이 있습니다.

이들은 다음 글에서 다뤄보도록 하겠습니다.