2. 동태적 최적화 (2)

이번 글에서는 벨만 방정식에 대해 써보겠습니다.

벨만 방정식은 동적 계획법으로 동태적 최적화 문제를 풀어내는 방법입니다.

설명을 위해 예를 하나 들어보겠습니다.

어떤 사람의 효용이 소비수준 $ c $ 에만 의존한다고 해보겠습니다.

이 사람은 생애 효용을 극대화하며 미래 효용은 $ \beta $ 의 비율로 할인됩니다.

그리고 자본을 $ k $ 만큼을 투입하면 생산물 $ f(k) $ 만큼을 얻을 수 있습니다.

자본재는 소비재와 완전대체적이며 한 기마다 $ \delta $ 의 비율로 감가상각 됩니다.

이런 최적화 문제는 아래와 같이 표현할 수 있습니다.

$ \underset{\left \{ c_t \right \}_{t=0}^\infty}{max}\sum_{t=0}^{\infty}\beta ^ tu(c_t) $
$ s.t. c_t+k_{t+1} = f(k_t)+(1-\delta)k_t $

이 최적화 문제는 여러 가지 방법으로 풀 수 있습니다.

벨만 방정식은 이 문제를 가치함수(value function)라는 개념을 도입해서 풀어내는 방법입니다.

사실 이 문제에서는 $ k_t $ 의 동학이 주어져 있기 때문에, 최적 소비의 흐름을 찾게 되면 $ k_t $ 의 흐름은 유일하게 결정됩니다.

따라서 실제로는 $ k_0 $ , 즉 초기 자본량만이 효용에 영향을 끼치게 된다는 의미입니다.

가치함수 $ v(\cdot) $ 는 어떤 시점에서 얻을 수 있는 극대화된 생애 효용을 그 기의 자본량만의 함수로 표현합니다.

따라서 위 극대화 문제의 해로 얻어지는 효용값이 다름 아닌 $ v(k_0) $ 가 되는 셈입니다.

그런데 제일 첫 번째 기의 소비로 $ u(c_0) $ 의 효용을 누리고 나면 $ k_1 $ 만큼의 자본량이 남습니다.

이 새로운 자본량 $ k_1 $ 으로 다음 기에 똑같은 최적화 문제를 푼다고 생각할 수 있습니다.

따라서 다음과 같은 관계식이 성립한다는 것을 직관적으로 알 수 있습니다.

$ v(k_t)=\underset{c_t}{max}[u(c_t)+ \beta v(k_{t+1})] $
$ s.t. c_t+k_{t+1}=f(k_t)+(1-\delta)k_t $

 

위 식에서 가치함수를 찾아낸다면 $ c_t $ 를 구할 수 있게 됩니다.

$ c_t $ 는 $ k_t $ 의 함수로 표현되는 데 이를 정책함수(policy function)라고 합니다.

흥미로운 점은 많은 동태적 최적화 문제들에서 위 문제의 가치함수가 존재하고, 또한 유일하다는 것입니다.

이것은 바나흐 고정점 정리(Banach fixed point theorem)를 통해 알 수 있는 결과입니다.

바나흐 고정점 정리는 특정한 조건을 만족하는 방정식은 항상 유일한 해가 존재한다는 내용입니다.

대부분의 동태거시모형은 미래 소비에서 얻는 효용을 할인합니다.

따라서 할인인자 $ \beta $ 가 0과 1 사이에 놓이게 됩니다.

이 할인인자는 벨만 방정식에서 미래기의 가치함수와 곱해지게 됩니다.

이 조건 때문에 바나흐 고정점 정리를 적용할 수 있게 되고, 따라서 가치함수가 항상 존재하고 유일하게 됩니다.

가치함수를 찾아내는 방법으로 다음과 같은 것들을 고려할 수 있습니다.

a. 추측하고 확인하기(guess and verify)
b. 포락선 정리(envelope theorem) 활용
c. 수치해석적 방법(numerical method)

 

a. 추측하고 확인하기

적절한 가치함수의 형태를 추측해서 맞출 수 있다면 고민 없이 그 함수를 쓸 수 있게 됩니다.

앞서 언급했듯이 서로 다른 두 개 이상의 가치함수가 존재할 수 없기 때문입니다.

 

b. 포락선 정리 활용

만약 가치함수가 모종의 이유로 미분가능하다면 포락선 정리를 써볼 수 있습니다.

가치함수는 극대화 문제의 해인 동시에 $ k_t $ 의 함수입니다.

따라서 가치함수를 $ k_t $ 에 대해 미분한 결과를 얻기 위해 포락선 정리를 활용할 수 있습니다.

늘 그런 것은 아니지만, 이 미분결과를 통해 가치함수를 찾아낼 수도 있습니다.

 

c. 수치해석적 방법

바나흐 고정점 정리는 가치함수의 존재성뿐만 아니라 이를 구할 수 있는 방법까지도 제시해줍니다.

이는 일단 적당한 함수를 가정하고, 반복 대입을 통해 정확한 가치함수의 형태를 찾아내는 것입니다.

구체적으로는 아래의 관계식을 만족하는 함수를 계속해서 찾아나가는 것입니다.

$ v_{i+1}(k) = \underset{c,k'}{max}[u(c)+\beta v_i (k')] $

$ s.t. c+k'=f(k)+(1-\delta)k $

위 식을 만족하는 새로운 함수를 계속해서 찾아나가면, $ v_i(k) $ 는 $ i $ 가 무한대로 증가하면서 진짜 가치함수로 수렴합니다.

 

이번 글에서는 동태적 최적화 문제를 풀기 위해 벨만 방정식을 어떻게 활용하는지에 대해 적어보았습니다.

다음 글에서는 무한기간모형과 중복세대모형에 대해서 다루어 보겠습니다.