수리통계학 (22) - 다변량 분포의 성질

지난 글에서는 확장된 다변량 분포의 기본적인 성질에 대해 써보았습니다.

이번 글에서는 다변량 분포의 다른 성질들에 대해 써보겠습니다.

 

우선 다변량 분포를 구성하는 확률변수 $ X_1,X_2,...,X_n $ 이 독립일 조건에 대해 써보겠습니다.

일단 이들 확률변수들이 모두 연속확률변수라고 가정하겠습니다.

그리고 $ X_1,X_2,...,X_n $ 이 가질 수 있는 모든 값들에 대해서

아래 식을 만족한다면 $ X_1,X_2,...,X_n $ 들은 독립관계에 있다고 합니다.

$ f_{\mathbf{X}}(\mathbf{x})=f_{\mathbf{X}}(x_1,x_2,...,x_n)=\prod_{i=1}^{n}f_i (x_i) $

한편 이들이 이산확률변수라면 위 조건은 $ p_{\mathbf{X}}(\mathbf{x})=p_{\mathbf{X}}(x_1,x_2,...,x_n)=\prod_{i=1}^{n}p_i (x_i) $ 와 같이 쓰일 수 있습니다.

위 조건은 독립의 정의이기 때문에 $ X_1,X_2,...,X_n $ 이 독립일 필요충분조건으로 이해할 수 있습니다.

 

이변량 분포와는 달리, 3개 이상의 확률변수로 구성된 다변량 분포에서는

pairwise independence와 mutually independence가 서로 다른 개념이 됩니다.

앞선 글에서 언급했듯이, pairwise independence는 임의의 $ i,j(i \neq j) $ 에 대해서

$ f_{ij}(x_i,x_j)=f_i(x_i)f_j(x_j) $ (또는 $ p_{ij}(x_i,x_j)=p_i(x_i)p_j(x_j) $ )를 충족하는 것을 의미합니다.

3개 이상의 확률변수가 있는 다변량 분포에서는 mutually independence가 pairwise independence보다 강한 조건이 됩니다.

달리 말하면, mutually independent한 확률변수들은 반드시 pairwise independent하지만

그 역이 항상 성립하는 것은 아닙니다.

 

한편, 이변량 분포에서 $ X_1,X_2 $ 가 독립일 경우 $ E[u(X_1)v(X_2)]=E[u(X_1)]E[v(X_2)] $ 가 성립함을 보였습니다.

n개의 확률변수를 갖는 다변량 분포에서도 비슷한 성질이 성립합니다.

모든 $ i=1,2,...,n $ 에 대해 $ E[u_i (X_i)]<\infty $ 가 성립하고, $ X_1,X_2,...,X_n $ 이 독립관계에 있다면

$ E[\prod_{i=1}^{n}u_i (X_i)]=\prod_{i=1}^{n}E[u_i (X_i)] $ 식이 성립하는 것이 알려져 있습니다.

위 식이 성립하는 것은 이변량 분포에서와 같은 방법으로 보일 수 있습니다.

따라서 어떤 확률변수들이 독립이라면 이들의 곱을 평균한 값이

이들의 평균을 곱한 값과 같아진다는 것을 알 수 있습니다.

 

이번에는 확률변수 $ X_1,X_2,...,X_n $ 들이 독립이면서 잘 정의된 결합적률생성함수를 갖는다고 해보겠습니다.

다시 말해, $ \mathbf{0}=(0,0,...,0)' $ 을 포함하는 어떤 열린 집합 $ U \subseteq \mathbb{R}^n $ 위에서

$ M(\mathbf{t})=M(t_1,t_2,...,t_n)=E[exp(\sum_{i=1}^{n}t_i X_i)] $ 가 유한하고 잘 정의된다고 해보겠습니다.

한편 $ X_i $ 에 대한 주변적률생성함수를 $ M_i(t_i)=E[exp(t_i X_i)] $ 와 같이 정의하겠습니다.

그러면 $ M(\mathbf{t})=\prod_{i=1}^{n}M_i(t_i) $ 가 성립합니다.

이는 $ X_1,X_2,...,X_n $ 들이 독립이기 때문에 $ E[exp(\sum_{i=1}^{n}t_i X_i)] = \prod_{i=1}^{n}E[exp(t_i X_i)] $ 식이 성립하는 것으로부터

쉽게 유도해낼 수 있는 결과입니다.

다시 말해 어떤 확률벡터를 구성하는 확률변수들이 독립이라면

이 확률벡터의 적률생성함수는 각 확률변수들로부터 얻은 주변적률생성함수들의 곱이 됩니다.

 

이제 다변량 분포에서의 평균을 정의해보겠습니다.

이변량 분포에서는 어떤 확률벡터를 구성하고 있는 각 확률변수의 평균값을 계산한 다음

이들 평균값들을 요소로 갖는 벡터를 이 확률벡터의 평균으로 정의했습니다.

확장된 다변량 분포에서도 평균을 비슷하게 정의합니다.

 

한편으로는, 다변량 분포를 꼭 벡터로만 표현해야 한다는 법은 없습니다.

벡터는 한 개의 차원을 갖는 확률변수들의 집합체를 표현하는 데 적합합니다.

가령 시간에 따라 변화하는 확률변수를 묘사하려면 아래와 같이 확률벡터를 쓸 수 있습니다.

$ \mathbf{X}=(X_1,X_2,...,X_T)' $ (아래 첨자는 시간을 나타냅니다.)

하지만 때로는 두 개 이상의 차원을 갖는 확률변수들을 다뤄야 할 때가 있습니다.

만약 두 개의 차원을 갖는 확률변수를 다룬다면, 벡터보다는 행렬이 적합할 수 있습니다.

따라서 어떤 자연수 $ m,n $ 에 대해서 $ mn $ 개의 확률변수를

$ m \times n $ 행렬 $ \mathbf{P} $ 의 원소로 간주하는 것도 가능합니다.

이 행렬은 아래와 같이 여러 확률변수들을 모아서 나열해 둔 것입니다.

$ \large{\mathbf{P}=\begin{pmatrix} X_{11} & X_{12} & ... & X_{1n} \\  X_{21} & X_{22} & ... & : \\  : &  &  & \\  X_{m1} & X_{m2} & ... & X_{mn} \end{pmatrix}} $

이때, 이 행렬 $ \mathbf{P} $ 의 평균이 존재하기 위한 필요충분조건은

이 행렬의 모든 구성요소 $ X_{ij} $ 가 유한한 평균을 가진다는 것입니다.

그리고 행렬의 평균은 각 구성요소의 평균을 나열한 행렬로서 아래와 같이 정의됩니다.

$ \large{E[\mathbf{P}]=\begin{pmatrix} E[X_{11}] & E[X_{12}] & ... & E[X_{1n}] \\  E[X_{21}] & E[X_{22}] & ... & : \\  : &  &  & \\  E[X_{m1}] & E[X_{m2}] & ... & E[X_{mn}] \end{pmatrix}} $

 

이번 글에서는 다변량 분포에서의 독립과 평균에 대해 써보았습니다.

다음 글에서는 분산-공분산 행렬에 대해 써보겠습니다.