수리통계학 (3) - 확률에 대한 다른 논의

이번 글에서는 확률의 다른 성질들에 대해 써보겠습니다.

$\left \{ X_n \right \}$ 을 nondecreasing인 사건 집합이라고 해보겠습니다.

그러면 아래의 관계가 성립합니다.

$\lim_{n \rightarrow  \infty} P(X_n)=P(\lim_{n \rightarrow  \infty}X_n)=P(\bigcup_{n=1}^{ \infty } X_n)$

이 관계는 여러모로 요긴하게 쓰일 수 있습니다.

$Y_1 = X_1$ , $Y_n := X_{n} \setminus  X_{n-1} (n \geq 2)$ 인 수열을 정의하겠습니다. 

정의에 따라 $\left \{ Y_n \right \}$ 은 다음과 같은 성질을 만족합니다.

a. $Y_m \cap Y_n = \varnothing  (m \neq  n)$
b. $\bigcup_{n=1}^{ \infty } X_n = \bigcup_{n=1}^{ \infty } Y_n$
c. $P(Y_n) = P(X_n) - P(X_{n-1})$

그리고 $\left \{ X_n \right \}$ 이 nondecreasing이므로 $\lim_{n \rightarrow  \infty} X_n = \bigcup_{n=1}^{ \infty } X_n$ 임을 알 수 있습니다.

이들을 종합해서 다음 관계식을 얻을 수 있습니다.

$P[\lim_{n \rightarrow  \infty} X_n] =P(\bigcup_{n=1}^{ \infty } X_n)=P(\bigcup_{n=1}^{ \infty } Y_n)=\sum_{n=1}^{ \infty} Y_n$ ($Y_n$ 이 서로소이므로 마지막 등식이 성립합니다)

또한 $\sum_{n=1}^{ \infty} Y_n$ 과 $P(Y_n) = P(X_n) - P(X_{n-1})$ 을 통해서 위 식의 무한합이 $\lim_{n \rightarrow  \infty} P(X_n)$과 같음을 쉽게 보일 수 있습니다.

앞선 글에서 포함배제원리로부터 유도되는 Boole's inequality를 언급한 바 있습니다.

위의 성질을 이용하면 무한한 개수의 사건 집합도 Boole's inequality을 만족함을 쉽게 보일 수 있습니다.

기본적인 아이디어는 $\bigcup_{k=1}^{n} C_k$ 을 위 식에서 $X_n$으로 간주하는 것입니다.

합집합을 계속해 나가면 nondecreasing 수열을 얻게 되므로 위에서 유도한 내용을 적용하면 아래의 결과를 얻습니다.

$P(\bigcup_{n=1}^{\infty} C_n) \leq \sum_{n=1}^{\infty}P(C_n)$ (Boole's inequality) 

 

이외에도 확률을 계산할 때 자주 쓰이는 개념으로는 조건부 확률과 독립의 개념이 있습니다.

조건부 확률은 원래의 표본집합 대신, 더 작은 표본집합 하에서의 확률을 새로이 계산한 결과입니다.

가령 표본집합 $S$ 보다 조금 더 작은 $S'$을 새로운 표본집합으로 간주해 보겠습니다.

이 새로운 표본집합 하에서 사건 $X$ 가 일어날 확률은 $P(X \cap  S')/P(X)$ 으로 계산할 수 있습니다.

이 새로운 확률을 $S'$ 하에서의 $X$ 의 조건부 확률이라고 부르고, $P(X|S')$으로 표기합니다.

 

독립은 두 사건 가운데 한 사건의 결과가 다른 사건의 확률분포에 영향을 미치지 않는다는 것을 의미합니다.

두 사건 $X$ 와 $Y$ 가 독립일 필요충분조건은 $P(X \cap Y) = P(X)P(Y)$ 입니다.

세 개 이상의 사건을 고려할 때는 두 가지 상이한 독립 개념이 존재합니다.

1. pairwise independent
2. mutually(colletively) independent

이 두 개념의 차이는 pairwise independent가 두 개씩 짝지은 사건에 대해서만 독립일 것을 요구하지만, mutually independent는 사건 몇 개를 어떻게 뽑더라도 교집합의 확률이 확률의 곱이 되어야 한다는 의미입니다.

mutually independent는 pairwise independent보다 강한 조건입니다.

따라서 pairwise independent해도 mutually independent하지 않은 경우도 있습니다.

이상으로 확률에서 자주 쓰이는 개념들과 성질들에 대해서 알아보았습니다.

다음 글에서는 베이즈 정리에 대해서 써보겠습니다.