수리통계학 (31) - 다항분포의 특성

지난 글에서는 다항분포의 정의에 대해 써보았습니다.

이번 글에서는 다항분포의 특성과 함께 디리클레 분포에 대한 내용을 써보겠습니다.

 

앞선 글에서 다항분포의 확률질량함수를 아래와 같이 정의했습니다.

$p(m_1,m_2,...,m_k)=\begin{cases}\frac{N!}{m_1! m_2! ... m_k!}\prod_{k=1}^{n}p_k^{m_k} & \text{ if } \sum_{i=1}^{k} m_i = N \\ 0 & \text{ otherwise }\end{cases}$

한편, 다항분포의 평균과 공분산 행렬을 계산하려면 적률생성함수를 활용하는 것이 편리합니다.

다변량 분포의 적률생성함수는 $E[e^{\mathbf{t'x}}]=E[e^{\sum_{i=1}^{n}t_i X_i}]$ 의 식으로 계산할 수 있습니다.

따라서 다항분포의 적률생성함수는 아래와 같이 나타낼 수 있습니다.

$E[e^{\sum_{i=1}^{n}t_i M_i}]=\sum_{m_1}^{}\sum_{m_2}^{}...\sum_{m_{k-1}}^{} e^{\sum_{i=1}^{n}t_i m_i}\frac{N!}{m_1! m_2! ... m_k!}\prod_{k=1}^{n}p_k^{m_k}$ $(m_k=N-m_1-m_2-...-m_{k-1})$

위 식의 우변을 다항정리(multinomial theorem)를 활용해서 정리하면 아래와 같습니다.

$\sum_{m_1}^{}\sum_{m_2}^{}...\sum_{m_{k-1}}^{} \frac{N!}{m_1! m_2! ... m_k!}\prod_{k=1}^{n}(p_k e^{t_k})^{m_k}=[\sum_{k=1}^{n}p_k e^{t_k}]^N$

그러므로 다항분포의 적률생성함수는 $M(\mathbf{t})=[\sum_{k=1}^{n}p_k e^{t_k}]^N$ 으로 주어집니다.

 

위에서 구한 적률생성함수로 다항확률변수의 평균을 구해보면 아래와 같습니다.

$E[M_i]=\partial M(\mathbf{t})/\partial \ t_i|_{\mathbf{t}=0}=\partial[\sum_{k=1}^{n}p_k e^{t_k}]^N/\partial t_i|_{\mathbf{t}=0}=N[\sum_{k=1}^{n}p_k e^{t_k}]^{N-1}p_i e^{t_i}|_{\mathbf{t}=0}=Np_i$
(위의 식은 모든 $i=1,2,...,n$ 에 대해 성립합니다.)

 

한편, 공분산 행렬을 구하기 위해 $i,j$ 에 대한 경우를 나누어서 $Cov(M_i,M_j)$ 를 계산해보면 아래와 같습니다.

(i) $i=j$

$M_i$ 의 2차 적률을 계산한 결과는 아래와 같습니다.

$E[M_i ^2]=\frac{\partial^2 M(\mathbf{t})}{\partial t_i^2}|_{\mathbf{t}=0}=N(N-1)[\sum_{k=1}^{n}p_k e^{t_k}]^{N-2}(p_i e^{t_i})^2+N[\sum_{k=1}^{n}p_k e^{t_k}]^{N-1}p_i e^{t_i}|_{\mathbf{t}=0} =N(N-1)p_i ^2 + Np_i$

따라서 $M_i$ 의 분산은 $Var(M_i)=E[M_i ^2]- (E[M_i])^2=N(N-1)p_i ^2 + Np_i-N^2 p_i ^2 = Np_i (1-p_i)$ 로 계산됩니다.

 

(ii) $i \neq j$

$E[M_i M_j]=\frac{\partial^2 M(\mathbf{t})}{\partial t_i\partial t_j}|_{\mathbf{t}=0}=N(N-1)[\sum_{k=1}^{n}p_k e^{t_k}]^{N-2}p_i e^{t_i}p_j e^{t_j}|_{\mathbf{t}=0}=N(N-1)p_i p_j$

따라서 공분산 $Cov(M_i,M_j)$ 식의 정의에 따라 아래 식이 성립합니다.

$Cov(M_i,M_j)=E[M_i M_j]-E[M_i]E[M_j]=N(N-1)p_i p_j - (Np_i)(Np_j)=-Np_ip_j$

 

위의 결과들을 종합하면 공분산 행렬은 아래와 같이 정의됩니다.

$(\sigma^2_{ij})=\begin{cases}Np_i(1-p_i) &  \text{ if } i=j \\-Np_ip_j & \text{otherwise}\end{cases}$

 

이제 디리클레 분포를 정의해보겠습니다.

앞선 글에서 독립인 두 감마확률변수를 합하고 비율을 계산하면

이 비율이 베타분포를 따른다는 것을 언급했습니다.

디리클레 분포는 베타분포와 비슷하게 독립인 감마확률변수 여러 개를 합하여

각각의 감마확률변수가 전체 합에서 차지하는 비율들이 따르는 분포로 정의합니다.

우선 독립인 확률변수 $X_1,X_2,...,X_{k+1}$ 이 모든 $i=1,2,...,k+1$ 에 대해서

$X_i \sim \Gamma(\alpha_i,1)$ 을 만족한다고 해보겠습니다.

따라서 $X_1,X_2,...,X_{k+1}$ 의 결합확률밀도함수는 $f(x_1,x_2,...,x_{k+1})=\prod_{i=1}^{k+1}\frac{x_i^{\alpha_i -1}e^{-x_i}}{\Gamma(\alpha_i)}$ 와 같이 주어집니다.

그리고 아래와 같은 변환을 생각해보겠습니다.

$Y_i=\begin{cases}\sum_{m=1}^{k+1}X_m &  \text{ if }i=k+1  \\ X_i/(\sum_{m=1}^{k+1}X_m) & \text{ otherwise }\end{cases}$

위 변환에 대응되는 자코비안 행렬식을 구하기 위해서 역변환을 먼저 구해보면 아래와 같습니다.

$X_i=\begin{cases}Y_{k+1}(1-\sum_{m=1}^{k}Y_m) & \text{ if }i=k+1  \\ Y_iY_{k+1} & \text{ otherwise }\end{cases}$

따라서 자코비안 행렬식은 아래와 같이 계산됩니다.

$det(J)=det \begin{pmatrix}y_{k+1} & 0 & ... & 0 & y_1 \\0 & y_{k+1} & ... & 0 & y_2 \\: & : &  & : & : \\0 & 0  & ... & y_{k+1}  & y_k \\-y_{k+1} & -y_{k+1} & ... & -y_{k+1} & 1-\sum_{m=1}^k y_m \\\end{pmatrix} = y_{k+1}^k$

위의 자코비안 행렬식을 이용해서 구한 $Y_1,Y_2,...,Y_{k+1}$ 의 결합확률밀도함수는 아래와 같습니다.

$f(y_1,y_2,...,y_{k+1})=[\prod_{i=1}^{k}\frac{(y_i y_{k+1})^{\alpha_i -1}e^{-y_i y_{k+1}}}{\Gamma(\alpha_i)}][y_{k+1}(1-\sum_{m=1}^{k}y_m)]^{\alpha_{k+1}-1}y_{k+1}^{k} e^{-y_{k+1}(1-\sum_{m=1}^{k}y_m)}/\Gamma(\alpha_{k+1})$

바로 위 식을 정리하고 $y_{k+1}$ 에 대해 양변을 적분하면 아래의 주변확률밀도함수를 얻습니다.

$f(y_1,y_2,...,y_k)=\frac{\Gamma(\sum_{m=1}^{k+1}\alpha_m)}{\Gamma(\alpha_1)\Gamma(\alpha_2)...\Gamma(\alpha_{k+1})}y_1^{\alpha_1 -1}y_2^{\alpha_2 -1}...y_k^{\alpha_k -1}(1-y_1-...-y_k)^{\alpha_{k+1}-1}$
(한편, $Y_1,Y_2,...,Y_k$ 들은 정의에 따라서 0과 1 사이의 값만을 가지게 됩니다.)

이렇게 얻은 $Y_1,Y_2,...,Y_k$ 에 대한 함수 $f(y_1,y_2,...,y_k)$ 를 디리클레 분포의 확률밀도함수로 정의합니다.

디리클레 분포에서 $k=1$ 이라고 가정하면 이는 베타분포와 같아지는 것을 볼 수 있습니다.

따라서 디리클레 분포는 베타분포를 확장한 결과라고 할 수 있습니다.

 

이번 글에서는 다항분포의 특성과 디리클레 분포에 대해 써보았습니다.

다음 글에서는 정규분포에 대해 써보겠습니다.