수리통계학 (33) - 정규분포의 응용

지난 글에서는 정규분포의 정의에 대해 써보았습니다.

이번 글에서는 정규분포를 응용한 확률분포에 대해 써보겠습니다.

 

정규분포를 응용한 확률분포의 사례로서 오염정규분포(contaminated normal distribution)를 들 수 있습니다.

오염정규분포를 설명하기 위해서 다음과 같은 실험을 생각하겠습니다.

여러 번 시행되는 실험이 있고, 이 실험은 매번 독립적으로 시행됩니다.

그리고 매 실험의 결과로 어떤 확률변수의 실현값을 얻습니다. 

이 확률변수는 정규분포를 따르지만, 분산이 시시각각 변합니다.

실제로 데이터를 수집하다보면 전체 자료의 추세에서 크게 벗어나는 이상점(outlier)을 얻기 마련입니다.

다시 말해, 실험을 여러 번 반복하면 때때로 분산이 매우 큰 확률분포를 따르는 것 같은

확률변수의 값을 얻을 수도 있습니다.

 

위와 같은 현상을 묘사하기 위해서 오염정규분포를 활용해 볼 수 있습니다.

우선 아래와 같은 지시함수를 생각해보겠습니다.

$ I_{1-\epsilon}=\begin{cases}1 & \text{ with probability } 1-\epsilon \\ 0 & \text{ with probability }\epsilon \end{cases} $

그리고 확률변수 $ X $ 를 아래와 같이 정의하겠습니다.

$ X = I_{1-\epsilon}Z+(1-I_{1-\epsilon}) \sigma_c Z $

따라서 $ X $ 는 확률 $ 1-\epsilon $ 으로 표준정규분포를 따르는 한편

확률 $ \epsilon $ 으로 분산이 $ \sigma_c ^2 $ 배만큼 증가한 정규분포를 따르게 됩니다.

다시 말해, $ X $ 는 상대적으로 낮은 확률($ \epsilon $)로 높은 분산의 확률분포를 따르는 것 같은 행태를 보입니다.

이 확률변수의 누적분포함수를 구해보면 아래와 같습니다.

$ F_X (x)= P(X \leq x)=P(Z \leq x|I_{1-\epsilon}=1)(1-\epsilon)+P(\sigma_c Z \leq x|I_{1-\epsilon}=0)\epsilon $

이전 글에서 정규확률변수를 다루면서 이의 누적분포함수를 $ P(Z \leq x)=\mathbf{\Phi}(x) $ 와 같이 표기했습니다.

한편, $ P(\sigma_c Z \leq x) $ 의 확률은 $ P(Z \leq x/\sigma_c)=\mathbf{\Phi}(x/\sigma_c) $ 로 다시 쓸 수 있습니다.

위의 사실들을 종합하면 $ X $ 의 누적분포함수는 $ F_X (x)=(1-\epsilon)\mathbf{\Phi}(x)+\epsilon\mathbf{\Phi}(x/\sigma_c) $ 와 같이 계산됩니다.

이 누적분포함수를 미분하면 $ (1-\epsilon)\phi(x)+\epsilon/\sigma_c \phi(x/\sigma_c) $ 의 식을 얻고 이는 $ X $ 의 확률밀도함수가 됩니다.

한편, $ X $ 의 평균과 분산은 아래와 같은 식으로 계산할 수 있습니다.

$ E[X] = E[I_{1-\epsilon}Z+(1-I_{1-\epsilon}) \sigma_c Z]=(1-\epsilon)E[Z]+\epsilon \sigma_cE[Z]=0 $
$ E[X^2]=E[Z^2 I_{1-\epsilon}^2 + (\sigma_c Z)^2 (1-I_{1-\epsilon})^2+2Z^2 \sigma_c I_{1-\epsilon}(1-I_{1-\epsilon})]=E[Z^2](1-\epsilon+\sigma_c^2 \epsilon)=1+\epsilon(\sigma_c^2-1) $
$ Var(X)=E[X^2]-(E[X])^2=1+\epsilon(\sigma_c^2-1) $

 

이제 다변량 정규분포(multivariate normal distribution)를 정의해보겠습니다.

다변량 정규분포는 여러 개의 확률변수가 함께 정규분포를 따르는 것을 묘사할 수 있습니다.

일반적인 다변량 정규분포를 정의하기에 앞서 아래와 같은 다변량 분포를 생각해보겠습니다.

$ Z_1,Z_2,...,Z_n $ 은 서로 독립이고, 각각 평균이 0이면서 분산이 1인 정규분포를 따릅니다.

다시 말해서, 모든 $ i=1,2,...,n $ 에 대해 $ Z_i $ 는 표준정규분포를 따릅니다.

한편, 위 확률변수들을 원소로 갖는 확률벡터 $ \mathbf{Z}=(Z_1,Z_2,...,Z_n)' $ 의 평균과 공분산 행렬은 아래와 같습니다.

$ E[\mathbf{Z}]=(0,0,...,0)'=\mathbf{0} $
$ Var(\mathbf{Z})=\mathbf{I}_n $
(이하의 글에서는 $ \mathbf{X} $ 의 공분산 행렬을 $ Cov(\mathbf{X}) $ 가 아닌 $ Var(\mathbf{X}) $ 로 표기하겠습니다.)

위의 결과를 $ \mathbf{Z} \sim N(\mathbf{0},\mathbf{I}_n) $ 또는 $ \mathbf{Z} \sim N_n(\mathbf{0},\mathbf{I}_n) $ 과 같이 표현하기도 합니다.

그리고 $ Z_1,Z_2,...,Z_n $ 의 결합확률밀도함수 및 적률생성함수는 아래와 같이 계산됩니다.

$ f(z_1,z_2,...,z_n)=\frac{1}{(\sqrt{2 \pi})^n}exp(-\sum_{k=1}^n \frac{z_k^2}{2}) $
$ M(\mathbf{t})=E[exp(\mathbf{t'Z})]=E[exp(\sum_{k=1}^n t_k z_k)]=\prod_{k=1}^n exp(t_k^2 /2)=exp(\mathbf{t't}/2) $

 

한편, 위의 다변량 분포는 다변량 정규분포의 특별한 경우로 간주할 수 있습니다.

일반적인 다변량 정규분포는 임의의 평균과 공분산 행렬을 가질 수 있습니다.

예를 들어 어떤 다변량 정규분포가 $ \mathbf{\Sigma} $ 의 공분산 행렬을 가진다고 해보겠습니다.

이 공분산 행렬은 positive semidefinite하므로 nonnegative한 대각원소를 갖는 어떤 대각행렬 $ \mathbf{D} $ 와 congruent합니다.

따라서 이 공분산 행렬은 $ \mathbf{\Sigma}=\mathbf{\Gamma'D\Gamma} $ 와 같이 분해할 수 있습니다.

위의 대각행렬 $ \mathbf{D} $ 는 여러 행렬이 될 수 있지만

이하에서는 행렬 $ \mathbf{D} $ 가 $ \mathbf{\Sigma} $ 의 고윳값들로 구성되어 있는 특별한 경우를 고려하겠습니다.

위와 같은 특별한 경우에는 행렬 $ \mathbf{\Gamma} $ 는 $ \mathbf{\Sigma} $ 의 고유벡터로 구성된 orthogonal(i.e. $ \mathbf{\Gamma'\Gamma}=\mathbf{I}_n $ ) 행렬이 됩니다.

한편, $ \mathbf{D} $ 의 대각원소들은 모두 nonnegative하고, 따라서 제곱근을 가집니다.

그러므로 $ \mathbf{D^{1/2}}\mathbf{D^{1/2}}=\mathbf{D} $ 를 만족하는 대각행렬 $ \mathbf{D^{1/2}} $ 이 존재합니다.

이때 $ \mathbf{\Sigma^{1/2}} $ 을 $ \mathbf{\Gamma' D^{1/2} \Gamma} $ 로 정의하면 $ \mathbf{ \Sigma^{1/2} \Sigma^{1/2} } = (\mathbf{ \Sigma^{1/2}})\mathbf{'\Sigma^{1/2} }=\mathbf{ \Sigma} $ 식이 성립함을 알 수 있습니다.

이제 위 글에서 언급한 $ \mathbf{Z} $ 를 활용해서 $ \mathbf{\mu} $ 의 평균과 $ \mathbf{\Sigma} $ 의 공분산 행렬을 갖는 다변량 정규분포를 정의해보겠습니다.

확률벡터 $ \mathbf{X} $ 는 다음과 같은 $ \mathbf{Z} $ 의 변환으로 주어집니다.

$ \mathbf{X}=\mathbf{\Sigma ^ {1/2}Z}+\mathbf{\mu} $

일단 확률벡터 $ \mathbf{X} $ 는 아래와 같은 평균, 공분산 행렬을 갖습니다.

$ E[\mathbf{X}]=E[\mathbf{\Sigma ^ {1/2}Z}+\mathbf{\mu}]=\mathbf{\mu} $
$ Var(\mathbf{X})=Var(\mathbf{\Sigma ^ {1/2}Z})=\mathbf{\Sigma^{1/2}}Var(\mathbf{Z})\mathbf{\Sigma^{1/2}}=\mathbf{\Sigma} $

한편, $ \mathbf{X} $ 의 적률생성함수를 계산해보면 아래와 같습니다.

$ M_{\mathbf{X}}(\mathbf{t})=E[exp(\mathbf{t'X})]=E[exp(\mathbf{t'}(\mathbf{\Sigma ^ {1/2}Z}+\mathbf{\mu}))] $ 

바로 위 식의 우변을 정리하면 다음과 같은 식을 얻습니다.

$ E[exp(\mathbf{t'}(\mathbf{\Sigma ^ {1/2}Z}+\mathbf{\mu}))]=E[exp(\mathbf{t'\mu})]E[exp((\mathbf{\Sigma^{1/2}t})\mathbf{'Z})]=E[exp(\mathbf{t'\mu})]E[exp((\mathbf{\Sigma^{1/2}t})'(\mathbf{\Sigma^{1/2}t})/2)]=E[exp(\mathbf{t'\mu})]E[exp(\mathbf{t'\Sigma t}/2)] $

위와 같은 적률생성함수에 대응되는 $ \mathbf{X} $ 의 다변량 분포를

다변량 정규분포라고 부르고, $ \mathbf{X} \sim N(\mathbf{\mu},\mathbf{\Sigma}) $ 와 같이 표현하기도 합니다.

 

한편, 공분산 행렬 $ \mathbf{\Sigma} $ 는 대개의 경우 positive definite할 것으로 생각할 수 있습니다.

사실 공분산 행렬의 고윳값이 0을 포함하는 것은 확률변수들이 완벽한 선형관계를 가지고 있다는 것과 동치입니다.

이를 확률변수들 간 다중공선성(multicollinearity)이 있다고 표현하기도 합니다.

확률변수 사이에 완벽한 선형관계가 있다는 것은

이들 변수 중 일부가 임의성이 전혀 없다는 것을 의미하고, 따라서 이들을 배제할 수 있다는 의미가 됩니다.

요컨대, 모든 공분산 행렬은 적절한 조작을 통해 positive definite하게 만들 수 있습니다.

만약 공분산 행렬 $ \mathbf{\Sigma} $ 가 positive definite하다면 $ \mathbf{\Sigma}^{1/2} $ 역시도 positive definite 합니다.

그리고 이의 역행렬 $ \mathbf{\Sigma}^{-1/2} $ 을 생각할 수 있게 됩니다.

그렇다면, $ \mathbf{X}=\mathbf{\Sigma ^ {1/2}Z}+\mathbf{\mu} $ 의 역변환을 아래와 같이 써볼 수 있습니다.

$ \mathbf{Z}=\mathbf{\Sigma ^ {-1/2}}(\mathbf{X}-\mathbf{\mu}) $

이 역변환에 대응되는 자코비안 행렬식은 $ det(\partial \mathbf{z}/\partial \mathbf{x})=det(\Sigma ^ {-1/2})=det(\Sigma)^{-1/2} $ 으로 계산됩니다.

따라서 $ \mathbf{X} $ 의 결합확률밀도함수는 아래와 같이 쓸 수 있습니다.

$ f_{\mathbf{X}}(\mathbf{x})=\frac{1}{(\sqrt{2 \pi})^n(det(\Sigma))^{1/2}}exp(-(\mathbf{x}-\mathbf{\mu})'\mathbf{\Sigma^{-1}}(\mathbf{x}-\mathbf{\mu})/2) $ for all $ \mathbf{x} \in \mathbb{R}^n $

 

이번 글에서는 오염정규분포와 다변량 정규분포에 대해 써보았습니다.

다음 글에서는 다변량 정규분포의 성질에 대해 써보겠습니다.