수리통계학 (46) - 최소제곱추정

지난 글에서는 회귀분석의 기본 가정들에 대해 써보았습니다.

이번 글에서는 회귀분석을 수행하는 방법 중 하나인 최소제곱추정에 대해 써보겠습니다.

 

지난 글에서 회귀분석은 아래의 식을 구성하는 벡터들을 규명하는 과정임을 언급했습니다.

$\mathbf{y}=\mathbf{X\beta}+\mathbf{\epsilon}$

회귀분석의 기본적인 목표는 $\mathbf{y},\mathbf{X}$ 간의 선형관계에 대한 정보를 담고 있는 기울기 벡터 $\mathbf{\beta}$ 를 추정하는 것입니다.

기울기 벡터 $\mathbf{\beta}$ 는 다음과 같은 여러 가지 방법으로 추정할 수 있습니다.

1. 최소제곱법(ordinary least square method)
2. 최우추정법(maximum likelihood method)
3. 일반화된 적률방법(generalized method of moments)

최소제곱법은 앞선 글에서 언급한 회귀모형의 기본 가정들이 모두 충족될 경우 활용되는 방법입니다.

반면, 최우추정법과 일반화된 적률방법은 기본 가정들이 충족되지 못할 때 쓰이는 것이 보통입니다.

이번 글에서는 지면관계상 최소제곱법만을 다뤄보겠습니다.

 

본격적으로 최소제곱법을 설명하기에 앞서 행렬과 벡터의 미분에 대한 성질 두 가지를 간략히 언급하고 넘어가겠습니다.

첫째, 벡터 $\mathbf{a},\mathbf{b} \in \mathbb{R}^p$ 에 대해서 아래의 식이 성립합니다.

$\partial(\mathbf{a'b})/\partial \mathbf{b}=\mathbf{a}$

실제로 $\mathbf{a'b}$ 를 계산해보면 $\mathbf{a'b}=\sum_{i=1}^p a_i b_i$ 으로 계산됩니다.

위 식의 우변을 벡터 $\mathbf{b}$ 에 대해 미분하면 아래와 같은 식을 얻게 됩니다.

$[\partial(\mathbf{a'b})/\partial \mathbf{b}]_i = \partial(a_ib_i)/\partial b_i = a_i$ for all $i=1,2,...,p$

따라서 $\partial(\mathbf{a'b})/\partial \mathbf{b}=\mathbf{a}$ 의 식이 성립하는 것을 알 수 있습니다.

둘째, $p \times p$ 대칭행렬 $\mathbf{A}$ 에 대해 아래 식이 성립합니다.

$\partial(\mathbf{a'Aa})/\partial \mathbf{a}=2\mathbf{Aa}$

위의 성질은 첫번째 성질과 비슷한 방식으로 증명할 수 있습니다.

따라서 이의 증명은 생략하겠습니다.

 

이제 최소제곱추정에 대해 설명해보겠습니다. 

이하의 논의에서는 앞선 글에서 언급한 회귀분석의 다섯 가지 기본 가정들이 모두 성립한다고 전제하겠습니다.

최소제곱추정은 아래와 같은 함수 $SSR(\mathbf{\widetilde{\beta}})$ 를 극소화하는 $\mathbf{\widetilde{\beta}}$ 를 구하는 과정입니다.

$SSR(\mathbf{\widetilde{\beta}}):=(\mathbf{y}-\mathbf{X\widetilde{\beta}})'(\mathbf{y}-\mathbf{X\widetilde{\beta}})=\mathbf{y'y}-2\mathbf{y'X\widetilde{\beta}}+\mathbf{\widetilde{\beta}'X'X\widetilde{\beta}}$
$\mathbf{b}=\underset{\mathbf{\widetilde{\beta}}}{\text{argmin}} \; SSR(\mathbf{\widetilde{\beta}})$

 

위 극소화 문제의 1계조건은 다음과 같습니다.

$\partial SSR( \mathbf{\widetilde{\beta}}) / \partial \mathbf{\widetilde{\beta}}|_{\mathbf{\widetilde{\beta}}=\mathbf{b}}=-2\mathbf{X'y}+2\mathbf{X'Xb}=0$

위 식을 정리하면 $\mathbf{X'Xb}=\mathbf{X'y}$ 의 관계식을 얻습니다.

행렬 $\mathbf{X'X}$ 는 $P(rank(\mathbf{X})=K)=1$ 의 조건 하에서 positive definite한 행렬이 됩니다.

따라서 양의 고윳값만을 가지고, 행렬식도 양수가 되므로 역행렬이 존재하게 됩니다.

그러므로 $\mathbf{b}=(\mathbf{X'X})^{-1}\mathbf{X'y}$ 의 식을 얻습니다.

 

한편, 위 극소화 문제의 2계조건은 $\partial^2 SSR( \mathbf{\widetilde{\beta}}) / \partial \mathbf{\widetilde{\beta}}^2|_{\mathbf{\widetilde{\beta}}=\mathbf{b}}$ 와 같이 계산되는

헤시안 행렬(Hessian matrix)이 positive definite하다는 것입니다.

실제로 위의 헤시안 행렬은 $2 \mathbf{X'X}$ 와 같이 계산됩니다.

그러므로 2계조건도 성립하는 것을 확인할 수 있습니다.

위와 같은 과정으로 구한 $\mathbf{b}$ 를 기울기 벡터 $\mathbf{\beta}$ 의 최소제곱추정량, 혹은 OLS 추정량이라고 합니다.

 

OLS 추정량은 여러 의미에서 굉장히 바람직한 추정량입니다.

우선 이 추정량은 불편성과 일치성을 모두 충족합니다.

특이한 점은, OLS 추정량이 $\mathbf{\beta}$ 의 모든 불편추정량 가운데 최소의 분산을 갖는다는 점입니다.

사실 최소제곱추정이 그다지 복잡하지 않은 과정임을 감안하면 이는 상당히 놀라운 결과입니다.

따라서 아래와 같은 부등식이 성립합니다.

$Var(\mathbf{b}|\mathbf{X})\leq Var(\mathbf{\hat{\beta}}|\mathbf{X})$ for all $\mathbf{\hat{\beta}}$ such that $E[\mathbf{\hat{\beta}}|\mathbf{X}]=\mathbf{\beta}$
(행렬 $\mathbf{A},\mathbf{B}$ 에 대해 $\mathbf{A} \geq \mathbf{B}$ 가 성립한다는 것은 $\mathbf{A}-\mathbf{B}$ 행렬이 positive semidefinite하다는 것과 동치입니다.)

다만, 잔차벡터가 정규분포를 따른다는 가정이 성립하지 않을 경우에는 이야기가 조금 다릅니다.

이 경우의 OLS 추정량은 모든 선형불편추정량 가운데 최소분산을 갖습니다.(가우스-마르코프 정리)

선형불편추정량 가운데 최소분산을 갖는 추정량은 최량선형불편추정량(BLUE, best linear unbiased estimator)이라고 부릅니다.

따라서 OLS 추정량은 BLUE이게 됩니다.

 

이제 위에서 나열한 성질 가운데 불편성과 일치성을 증명하고 글을 마치겠습니다.

OLS 추정량은 $\mathbf{b}=(\mathbf{X'X})^{-1}\mathbf{X'y}$ 와 같이 계산됩니다.

그리고 $\mathbf{y}=\mathbf{X\beta}+\mathbf{\epsilon}$ 의 관계식을 이용하면 위 식을 아래와 같이 다시 쓸 수 있습니다.

$\mathbf{b}=(\mathbf{X'X})^{-1}\mathbf{X'y}=(\mathbf{X'X})^{-1}\mathbf{X'}(\mathbf{X\beta}+\mathbf{\epsilon})=\mathbf{\beta}+(\mathbf{X'X})^{-1}\mathbf{X'\epsilon}$

한편, 회귀분석의 기본 가정중 하나인 강외생성 조건에 따르면 $E[\mathbf{\epsilon}|\mathbf{X}]=\mathbf{0}$ 이 성립합니다.

위의 사실들을 종합하면, 아래와 같은 식을 얻습니다.

$E[\mathbf{b}|\mathbf{X}]=\mathbf{\beta}+(\mathbf{X'X})^{-1}\mathbf{X'}E[\mathbf{\epsilon}|\mathbf{X}]=\mathbf{\beta}$

따라서 $\mathbf{b}$ 는 ($\mathbf{X}$ 에 조건부로) $\mathbf{\beta}$ 의 불편추정량이 됨을 알 수 있습니다.

 

한편, $\mathbf{b}$ 에 대한 위의 식을 다음과 같이 다시 쓸 수도 있습니다.

$\mathbf{b}=\mathbf{\beta}+(\mathbf{X'X})^{-1}\mathbf{X'\epsilon}=\mathbf{\beta}+(n^{-1}\mathbf{X'X})^{-1}n^{-1}\mathbf{X'\epsilon}$

위의 식은 확률수렴의 성질을 활용하면 아래와 같이 다시 쓸 수 있습니다.

$\underset{n\rightarrow \infty}{\text{plim}}\,\mathbf{b}=\mathbf{\beta}+\underset{n\rightarrow \infty}{\text{plim}}(n^{-1}\mathbf{X'X})^{-1}n^{-1}\mathbf{X'\epsilon}$
($\text{plim}$ 은 확률수렴을 나타내는 기호입니다.)

위 식에서 $n^{-1}\mathbf{X'\epsilon}$ 의 벡터는 $n$ 이 발산함에 따라 영벡터로 확률수렴합니다.

그 이유는 다음과 같습니다. 만약 행렬 $\mathbf{X}$ 의 열벡터를 $\mathbf{X}=(\mathbf{X_1},\mathbf{X_2},...,\mathbf{X_n})$ 과 같이 표현한다면

약대수의 법칙에 따라 아래의 식이 성립합니다.

$n^{-1}\mathbf{X'\epsilon} \overset{p}{\rightarrow} (E[\mathbf{X_1 ' \epsilon}|\mathbf{X}],E[\mathbf{X_2 ' \epsilon}|\mathbf{X}],...,E[\mathbf{X_K ' \epsilon}|\mathbf{X}])'=(0,0,...,0)'=\mathbf{0}$

결론적으로 $\underset{n\rightarrow \infty}{\text{plim}}\,\mathbf{b}=\mathbf{\beta}$ 의 식이 성립하고 OLS 추정량은 일치추정량이 됨을 알 수 있습니다.

 

이번 글에서는 최소제곱추정에 대해 써보았습니다.

다음 글에서는 가우스-마르코프 정리에 대해 써보겠습니다.