수리통계학 (26) - 이항분포의 성질

지난 글에서는 자주 쓰이는 이산확률분포에 대해 써보았습니다.

이번 글에서는 이항분포의 성질에 대해 써보려고 합니다.

 

글을 시작하기 전에, 여러 확률변수를 선형결합해서 얻은 확률변수의 성질에 대해 써보겠습니다.

확률변수 $ X_1,X_2,...,X_n $ 이 주어졌을 때, 이들을 선형결합하면 아래와 같이 새로운 확률변수를 얻을 수 있습니다.

$ Y = \sum_{i=1}^{n}c_i X_i $

이하에서는 위의 확률변수 $ Y $ 의 평균과 분산을 계산해보겠습니다.

일단 평균 연산자는 linearity를 만족하기 때문에 모든 $ i=1,2,...,n $ 에 대해 $ X_i $ 의 평균이 잘 정의된다면

$ E[Y]=\sum_{i=1}^{n}c_i E[X_i] $ 의 식이 성립하게 됩니다.

 

한편 $ Y $ 의 분산은 $ Var(Y)=E[(\sum_{i=1}^{n}c_i X_i-\sum_{i=1}^{n}c_i E[X_i])^2] $ 의 식으로 정의됩니다.

위 식의 우변은 아래와 같이 다시 쓸 수 있습니다.

$ E[(\sum_{i=1}^{n}c_i X_i-\sum_{i=1}^{n}c_i E[X_i])^2]=E[\sum_{i=1}^{n}c_i^2 (X_i-E[X_i])^2+\sum_{i \neq j}^{}c_i c_j (X_i-E[X_i])(X_j-E[X_j])] $

따라서 $ Y $ 의 분산은 아래 식과 같이 계산됩니다.

$ Var(Y)=\sum_{i=1}^{n}c_i^2 E[(X_i-E[X_i])^2]+ 2\sum_{i < j}^{}c_i c_j E[(X_i-E[X_i])(X_j-E[X_j])]=\sum_{i=1}^{n} c_i^2 Var(X_i)+2\sum_{i < j}^{}c_i c_j Cov(X_i,X_j) $

한편 서로 다른 임의의 $ X_i,X_j $ 가 독립이라면 $ Cov(X_i,X_j)=0 $ 이 성립하고

따라서 $ Y $ 의 분산을 $ Var(Y)=\sum_{i=1}^{n} c_i^2 Var(X_i) $ 와 같이 쓸 수 있습니다.

 

지난 글에서는 $ p $ 의 확률로 성공하는 실험을 $ n $ 번 반복하는 베르누이 시행에서

실험이 성공한 총횟수가 이항분포를 따르는 것을 설명했습니다.
(확률변수 $ X $ 가 이러한 이항분포를 따르는 것을 $ X \sim b(n,p) $ 와 같이 표현하기도 합니다.)

한편, 이항확률변수의 평균과 분산은 적률생성함수를 이용하면 보다 편리하게 계산해낼 수 있습니다.

이항분포를 따르는 확률변수 $ X $ 의 적률생성함수는 아래와 같이 정의됩니다.

$ M(t)=E[e^{tX}]=\sum_{x=0}^{n}e^{tx}\binom{n}{x}p^x (1-p)^{n-x} $

바로 위 식의 우변을 이항정리를 활용해서 다시 쓰면 아래와 같습니다.

$ \sum_{x=0}^{n}e^{tx}\binom{n}{x}p^x (1-p)^{n-x}=\sum_{x=0}^{n}\binom{n}{x}(pe^t)^x (1-p)^{n-x}=(1-p+pe^t )^n $

바로 위의 적률생성함수로부터 이항확률변수의 1, 2차 적률을 구해보면 아래와 같습니다.

$ E[X]=M'(0)=\frac{\partial }{\partial t}(1-p+pe^t )^n|_{t=0}=n(1-p+pe^t )^{n-1}pe^t|_{t=0}=np $
$ E[X^2]=M''(0)=\frac{\partial^2 }{\partial t^2}(1-p+pe^t )^n|_{t=0}=np[(1-p+pe^t )^{n-1}+(n-1)(1-p+pe^t )^{n-2}pe^t]e^t|_{t=0}=np[1+(n-1)p]=np(1-p)+(np)^2 $

따라서 이항확률변수의 분산은 $ Var(X)=E[X^2]-(E[X])^2=np(1-p) $ 와 같이 계산됩니다.

 

여기서 이항확률변수 $ X $ 를 실험 횟수 $ n $ 으로 나눈 $ X/n $ 은 성공의 상대빈도로 생각할 수 있습니다.

실제로 이 상대빈도의 평균값은 $ E[X/n]=E[X]/n=p $ 로서 성공확률과 같습니다.

한편 이 상대빈도의 분산은 $ Var(X/n)=np(1-p)/n^2=p(1-p)/n $ 이 됩니다.

그렇다면 이 상대빈도가 성공확률과 실제로 얼마만큼 괴리될 수 있는가를 알아보겠습니다.

우선 체비셰프 부등식에 따르면 아래 식이 성립합니다.

$ P(|X/n-p| \geq k \sigma) \leq 1/k^2 $ (단, $ \sigma = \sqrt{p(1-p)/n} $ 입니다.)

만약 $ \epsilon = k \sigma $ 로 두면 위 부등식은 아래와 같이 다시 쓸 수 있습니다.

$ P(|X/n-p| \geq \epsilon) \leq \sigma ^2 / \epsilon ^2 =p(1-p)/(n \epsilon ^2 ) $

바로 위 부등식의 우변은 $ n $ 이 무한대로 발산함에 따라 0으로 수렴합니다.

달리 말하면 $ \underset{n \rightarrow \infty}{lim}P(|X/n-p| \geq \epsilon)=0 $ 이 성립한다는 이야기입니다.

위의 극한식은 $ X/n $ 이 $ p $ 로 확률수렴(convergence in probability)한다는 것의 정의식입니다.

따라서 상대빈도는 실험 횟수가 충분히 커지면 성공확률로 수렴하게 됩니다.

 

한편, 이항확률변수의 합에 관한 중요한 성질이 하나 남아있습니다.

서로 독립인 확률변수 $ X_1,X_2,...,X_m $ 들이 모든 $ i=1,2,...,m $ 에 대해 $ X_i \sim b(n_i,p) $ 를 만족한다고 해보겠습니다.

이때, 이 확률변수들을 모두 합한 결과는 $ \sum_{i=1}^{m}X_i \sim b(\sum_{i=1}^{m}n_i,p) $ 를 만족합니다.

다시 말해, 같은 성공확률을 공유하고 독립인 이항확률변수 여러 개를 합한 결과는 여전히 이항분포를 따르게 됩니다.

이는 적률생성함수의 성질을 이용해서 증명할 수 있습니다.

우선 $ Y:=\sum_{i=1}^{m}X_i $ 로 두면, 확률변수 $ Y $ 의 적률생성함수는

모든 $ X_i(i=1,2,...,m) $ 들의 적률생성함수를 곱한 것과 같습니다. 왜냐하면 $ X_i $ 가 서로 독립이기 때문입니다.

그렇다면 $ Y $ 의 적률생성함수는 $ M_Y (t)=\prod_{i=1}^{m}(1-p+pe^t )^{n_i}=(1-p+pe^t )^{\sum_{i=1}^{m}n_i} $ 와 같이 쓸 수 있습니다.

따라서 $ Y $ 의 적률생성함수는 $ b(\sum_{i=1}^{m}n_i,p) $ 의 이항분포를 따르는 확률변수의 적률생성함수와 같게 되고

이를 통해 $ Y \sim b(\sum_{i=1}^{m}n_i,p) $ 가 성립함을 알 수 있습니다.

 

이번 글에서는 이항분포의 여러 성질에 대해 써보았습니다.

다음 글에서는 자주 쓰이는 다른 확률분포들에 대해 써보겠습니다.