TEORIA POLITICA MONETARIA

Econ. Juan Carlos Pérez Ticse.

INTRODUCCIÓN A LA PROGRAMACIÓN DINÁMICA
¿Qué tipo de problema queremos resolver?
Queremos resolver un problema de “optimización dinámica” al cual llamaremos
problema secuencial (PS).
∞

∑ 𝛽 𝑡 𝑟(𝑥𝑡 , 𝑢𝑡 )
𝑡=0

S.a
𝑥𝑡+1 = 𝑔(𝑥𝑡 , 𝑢𝑡 )
𝑢𝑡 ∈ 𝑟(𝑥𝑡 ), 𝑡 = 0,1,2, …
𝑥0 ∈ 𝑋 𝑑𝑎𝑑𝑜
Donde:
1. 𝑟(𝑥𝑡 , 𝑢𝑡 ): función de retorno.
𝑟(𝑥𝑡 , 𝑢𝑡 ) ∶ 𝑋 ℝ𝑛 → ℝ

2. 𝛽 : factor de descuento 𝛽 ∈ [0, ∞ >

3. 𝑥𝑡 : vector de variables de estado.

𝑥𝑡 ∈ ℝ𝑛
4. 𝑢𝑡 : vector de variables de control 𝑢𝑡 ∈ ℝ𝑚
5. 𝑔(𝑥𝑡 , 𝑢𝑡 ): función que describe la evolución de las variables de estado (función
de transición o ley de movimiento)

𝑔(𝑥𝑡 , 𝑢𝑡 ): 𝑥 ℝ𝑛 → 𝑥
6. 𝑟(𝑥𝑡 ): es una correspondencia que describe las posibilidades de la variable de
control cuando la economía se encuentra en el estado "𝑥𝑡 "
𝑟: 𝑥 → ℝ𝑚
7. X: es el espacio de los valores que puede tomar la variable de estado
(𝑥 ϲ ℝ𝑛 )
8. 𝑥0 : el valor inicial de la variable de estado (estado inicial).
Bellman indica que el problema secuencial tiene propiedad recursiva donde se eligen en
base a ecuaciones funcionales que muestran decisiones óptimas, las que se repite periodo
a periodo (de aquí su carácter recursivo).
Esto permite transformar el problema secuencial en un problema funcional (PF).
Función valor
1. Se define una “función valor 𝑉(𝑥0 )” que indica el valor máximo de la función
objetivo para cada 𝑥0 ≥ 0
∞

𝑉(𝑥0 ) = 𝑚á𝑥 {∑ 𝛽 𝑡 𝑟(𝑥𝑡 , 𝑢𝑡 )}

𝑡=0
{𝑢𝑡 }

2. por ejemplo: en t=1 se tiene 𝑥1

∞

𝑉(𝑥1 ) = 𝑚á𝑥 {∑ 𝛽 𝑡−1 𝑟(𝑥𝑡 , 𝑢1 )}

𝑡=1
{𝑢𝑡 }
Bellman (1974) transformó la función objetivo del problema secuencial en una
ecuación funcional:

𝑉(𝑥0 ) = 𝑚á𝑥 {∑ 𝛽 𝑡 𝑟(𝑥𝑡 , 𝑢𝑡 )}

𝑡=0
{𝑢𝑡 }

= 𝑚á𝑥{𝑟(𝑥0, 𝑢0 ) + 𝛽𝑟(𝑥1, 𝑢1 ) + 𝛽 2 𝑟(𝑥2, 𝑢2 ) … }

{𝑢𝑡 }
= 𝑚á𝑥{𝑟(𝑥0, 𝑢0 ) + 𝛽[𝑟(𝑥1, 𝑢1 ) + 𝛽𝑟(𝑥2, 𝑢2 ) … ]}
{𝑢𝑡 }

𝑉(𝑥0 ) = 𝑚á𝑥{𝑟(𝑥0, 𝑢0 ) + 𝛽 𝑉(𝑥1 )}

{𝑢𝑡 }

Esta ecuación es una ecuación funcional, es decir es una ecuación cuya solución
es una función (función valor).

Al reemplazar la ecuación de Bellman en el problema secuencial se obtiene el

problema funcional (para t).

𝑉(𝑥𝑡 ) = 𝑚á𝑥{𝑟(𝑥0, 𝑢0 ) + 𝛽 𝑉(𝑔(𝑥𝑡, 𝑢𝑡 ))}

{𝑢𝑡 }
S.a
𝑢𝑡 ∈ 𝑟(𝑥𝑡 ), ∀ 𝑡 = 0,1,2
𝑥0 ∈ 𝑋 𝑑𝑎𝑑𝑜
1. El problema de infinitos periodos (problema secuencial) se ha convertido en un
problema de dos periodos.
 2. Se está utilizando o explotando la recursividad del problema secuencial.
3. Ahora el problema consiste en encontrar la función que resuelve el problema
funcional es decir, la función valor óptima proceso de transformación del
problema secuencial al problema funcional.

Problema
secuencial

Se transforma

Problema Solución del

funcional problema funcional

Teorema de equivalencia
Se transforma
(Principio de optimalidad)
Problema de
punto fijo Solución del
problema funcional
Por el teorema
del punto fijo Es

SOLUCIÓN

Encontrar el punto fijo del operador ¬ en cada (x) → ¬ [V(x)]=V(x)

se encuentra la función valor

Resolviendo paso a paso el problema de

maximización del problema funcional
Se encuentra la función

De política: h(x)

Se encuentra el óptimo

{(𝑥𝑡 , 𝑢𝑡 )}

Cada (x): conjunto de todas las funciones acotadas.

Principio de optimálidad
Bellman propuso un principio el cual permitía encontrar una relación entre la solución
del problema secuencial y el problema funcional a este principio se le conoce como el
“principio de optimalidad”:
Teorema I
La solución “V” del problema funcional evaluado en 𝑥0 , brinda el valor del supremo en
el problema secuencial usando el estado inicial es 𝑥0 . Una secuencia {𝑢𝑡 }∞
𝑡=0 alcanza el
supremo si solo si esta secuencia satisface

𝑉(𝑥𝑡 ) = 𝑟(𝑥𝑡, 𝑢𝑡 ) + 𝛽 𝑉(𝑥𝑡+1 )

Cuatro proposiciones juntas establecen condiciones bajo las cuales la solución del
problema secuencial y del problema funcional coincide exactamente.
Proposición 1: establece que la función del supremo 𝑉̃ para el problema secuencial
satisface el problema funcional, además 𝑉̃ puede tener otras soluciones.
Proposición 2: establece lo inverso de manera parcial del problema funcional al problema
secuencial. Es parcial porque se impone una condición de acotamiento esta proposición
impide que la ecuación funcional tenga otras soluciones porque no cumplen la condición
de transversalidad fuerte. La única solución que cumple dicha condición es 𝑉̃ .
Proposición 3: muestra que si {𝑢𝑡 }∞𝑡=0 es una secuencia que alcanza el supremo en el
problema secuencial entonces satisface

𝑉(𝑥𝑡 ) = 𝑟(𝑥𝑡, 𝑢𝑡 ) + 𝛽 𝑉(𝑥𝑡+1 ) 𝑝𝑎𝑟𝑎:

𝑉 ≅ ̃𝑉
Solución del Solución del
Problema funcional
Problema secuencial
Proposición 4: establece que cualquier secuencia {𝑢𝑡 }∞ 𝑡=0 que satisface
𝑉(𝑥𝑡 ) = 𝑟(𝑥𝑡, 𝑢𝑡 ) + 𝛽 𝑉(𝑥𝑡+1 ) 𝑝𝑎𝑟𝑎 𝑉 ≅ ̃𝑉 y que también satisface una condición de
acotamiento; entonces también alcanza el supremo en el problema secuencial.
Definiciones:
1. Dinámica factible desde 𝑥0 : es una sucesión de estados y controles {(𝑥𝑡 , 𝑢𝑡 }∞ 𝑡=0
en X . ℝ𝑛 para el problema secuencial si: 𝑢𝑡 ∈ 𝑟(𝑥𝑡 ) y 𝑥𝑡+1 = 𝑔(𝑥𝑡 , 𝑢𝑡 ) para todo
t=0, 1, 2,...
2. 𝝅(𝑥0 ): conjunto de todas las dinámicas factibles desde 𝑥0
𝝅(𝑥0 ): {{(𝑥𝑡 , 𝑢𝑡 }∞
𝑡=0 } Tal que 𝑢𝑡 ∈ ¬(𝑥𝑡 ) ,∀ 𝑡 = 0,1,2, … }

3. plan factible desde 𝑥0 : es una sucesión de controles {(𝑢𝑡 )}∞

𝑡=0
4. plan óptimo desde 𝑥0 : es un plan factible {(𝑢𝑡∗ )}∞ 𝑡=0 que permite alcanzar el
supremo del problema secuencial.
5. Cabe mencionar que un plan factible determina unívocamente una dinámica
factible. Por tanto un plan óptimo {(𝑢𝑡 )}∞ 𝑡=0 determina una dinámica óptima
∗ ∗ ∞
{(𝑥𝑡 , 𝑢𝑡 )}𝑡=0 las proposiciones anteriores están basadas en tres hipótesis.

Hipótesis 1: r(x): r(x)≠ ∅ para todo 𝑥 ∈ X

La hipótesis 1 asegura que 𝝅(𝑥0 ) conjunto de dinámicas factibles desde 𝑥0 no es vacío
∀𝑥0 ∈ 𝑋 esto indica que todos los planes factibles pueden ser evaluados usando r(x, u) y
𝛽 en el problema secuencial ∑∞ 𝑡
𝑡=0 𝛽 𝑟(𝑥𝑡 , 𝑢𝑡 ) podría tomar tres valores: un numero finito,
deseamos que esta función objetivo esté acotada es decir que la sumatoria infinita tenga
un valor finito ∑∞ 𝑡
𝑡=0 𝛽 𝑟(𝑥𝑡 , 𝑢𝑡 ) sea +∞ para que se elimine esta posibilidad se restringe
el conjunto de dinámicas factibles de tal forma que dicha sumatoria esté acotada
superiormente.
Hipótesis 2: función objetivo
Para todo 𝑥0 ∈ X, existe M𝑥0 ∈ ℝ tal que ∑∞ 𝑡
𝑡=0 𝛽 𝑟(𝑥𝑡 , 𝑢𝑡 ) ≤ M𝑥0 para toda la dinámica
factible {(𝑥𝑡 , 𝑢𝑡 )}𝑡=0,1,2,… desde 𝑥0 no obstante, la función objetivo suma infinita aún
puede tomar, para ciertas dinámicas factibles el valor de-∞. Donde la hipótesis 3 busca
acotar dicha dinámicas
Por tanto esta hipótesis 2, implícitamente asume que para toda dinámica factible desde 𝑥0
la suma infinita existe y es finita. La forma más común para garantizar la hipótesis
anterior es utilizando lo que en la literatura económica se conoce como condición de NO-
PONZI en todos los casos la idea es siempre restringir el conjunto de las dinámicas
factibles, de tal forma que el retorno esté acotado.
Típicamente esta condición toma la forma de una restricción al endeudamiento de los
agentes y es, por lo tanto una restricción del problema que el agente optimizador lleva en
consideración (esta condición no debe confundirse en la condición de transversalidad)
Hipótesis 3: función objetivo
Para todo 𝑥0 ∈ X existe una dinámica factible {(𝑥𝑡 , 𝑢𝑡 )}𝑡=0,1,2,… desde 𝑥0 y un M𝑥0 ∈ ℝ
tal, que la sucesión de sumas parciales {(𝑠𝑛 }𝑡=0,1,2,… 𝑠𝑛 = ∑𝑛𝑡=0 𝛽 𝑡 𝑟(𝑥𝑡 , 𝑢𝑡 ) satisface
M𝑥0 ≤ 𝑠𝑛 para todo “n”
Ojo: hacer este supuesto utilizando todas las dinámicas factibles es más restrictivo y no
se cumplirá para la función de utilidad logarítmica ni para la función de utilidad CES con
parámetros 𝜎 < 1
Las hipótesis 1,2 y 3 tienen como único fin garantizar la existencia de un valor finito para
el supremo del problema secuencial. Ahora es claro que si 𝑟 es acotada y 𝛽 ∈ [0,1]
entonces las condiciones 2 y 3 se cumplen.
̃ 𝑥 → ℝ , donde:
Según las condiciones anteriores podemos definir la función 𝑉:
∞
𝑉̃ (𝑥0 ) = 𝑠𝑢𝑝 ∑ 𝛽 𝑡 𝑟(𝑥𝑡 , 𝑢𝑡 )
𝑡=0

Es decir 𝑉̃ (𝑥0 ) es el valor supremo del problema secuencial llamamos a la función 𝑉̃ la

función valor del problema.
Las relaciones entre problema secuencial y el problema funcional nos dan las siguientes
4 proposiciones que sustentan el principio de optimalidad.

Proposición 1 (Del problema secuencial al problema funcional)

La estrategia de demostración tiene dos pasos: el primero es encontrar la relación entre la
función supremo 𝑉̃ y la ecuación funcional para dos valores iniciales distintos 𝑥1 y 𝑥0 . El
segundo consiste en unir el resultado del paso 1 para 𝑥1 y 𝑥0 .
1. Evaluando 𝑥1 ; sea 𝜖 > 0, 𝑢𝑜 ∈ ℸ𝑥0 y 𝑥1 = 𝑔(𝑥0 , 𝑢0 )

Como 𝑉̃ (𝑥1 ) es el valor supremo del problema secuencial con valor inicial
𝑥1 (𝑡 = 1) entonces existe una dinámica factible desde 𝑥1 , {(𝑥1 , 𝑢1 ), (𝑥2 , 𝑢2 ), … }
tal que por la propiedad del supremo:

∞
∑ 𝛽 𝑡−1 𝑟(𝑥𝑡 , 𝑢𝑡 ) ≥ 𝑉̃ (𝑥1 ) − 𝜖
𝑡=1

Se sabe que {(𝑥0 , 𝑢0 ), (𝑥1 , 𝑢1 ), … } ∈ Π(𝑥1 ) y que por la propiedad del supremo:

𝑉̃ (𝑥0 ) ≥ ∑∞ 𝑡
𝑡=0 𝛽 𝑟(𝑥𝑡 , 𝑢𝑡 )
𝑉̃ (𝑥0 ) ≥ 𝑟(𝑥0 , 𝑢0 ) + 𝛽 ∑∞ 𝑡=1 𝛽
𝑡−1
𝑟(𝑥𝑡 , 𝑢𝑡 )
̃ ̃
𝑉 (𝑥0 ) ≥ 𝑟(𝑥0 , 𝑢0 ) + 𝛽𝑉 (𝑥1 ) − 𝛽𝜖
𝑉̃ (𝑥0 ) ≥ 𝑟(𝑥0 , 𝑢0 ) + 𝛽𝑉̃ (𝑔(𝑥0 , 𝑢0 )) − 𝛽𝜖

Para pasar de la segunda a la tercera línea se utiliza la ecuación:

∞
∑ 𝛽 𝑡−1 𝑟(𝑥𝑡 , 𝑢𝑡 ) ≥ 𝑉̃ (𝑥1 ) − 𝜖
𝑡=1

Como la última ecuación es verdad para todo 𝜖 > 0 𝑦 𝑢0 es cualquier elemento

de 𝑟(𝑥0 ) entonces tenemos que:

𝑉̃ (𝑥0 ) ≥ 𝑟(𝑥0 , 𝑢0 ) + 𝛽𝑉̃ (𝑔(𝑥0 , 𝑢0 )), ∀ 𝑢0 ∈ Γ(𝑥0 )

Como la ecuación anterior se cumple para todo 𝑢0 , entonces:

𝑠𝑢𝑝
𝑉̃ (𝑥0 ) ≥ 𝑢 ∈ Γ(𝑥 ){𝑟(𝑥0 , 𝑢0 ) + 𝛽𝑉̃ (𝑔(𝑥0 , 𝑢0 ))}
0 0

Generalizando para todo “t”:

𝑠𝑢𝑝
𝑉̃ (𝑥) ≥ 𝑢 ∈ ℸ(𝑥){𝑟(𝑥, 𝑢) + 𝛽𝑉̃ (𝑔(𝑥, 𝑢))} …………….. (𝐼)

2. Evaluando en 𝑥0 : Sea 𝜖 > 0, entonces por definición del supremo, pertenece una
dinámica factible desde:

𝑥0 {(𝑥0 , 𝑢𝑜 ), (𝑥1 , 𝑢1 ), … } Tal que:

∞

𝑉̃ (𝑥0 ) ≤ ∑ 𝛽 𝑡 𝑟(𝑥𝑡 , 𝑢𝑡 ) + 𝜖
𝑡=0
 𝑉̃ (𝑥0 ) ≤ 𝑟(𝑥0 , 𝑢𝑜 ) + 𝛽𝑉̃ (𝑥1 ) + 𝜖

Como 𝜖 es arbitrario entonces:

𝑉̃ (𝑥0 ) ≤ 𝑟(𝑥0 , 𝑢𝑜 ) + 𝛽𝑉̃ (𝑔(𝑥0 , 𝑢0 ))

𝑠𝑢𝑝
𝑉̃ (𝑥0 ) ≤ 𝑢 ∈ Γ(𝑥 ){𝑟(𝑥0 , 𝑢0 ) + 𝛽𝑉̃ (𝑔(𝑥0 , 𝑢0 ))}
0 0

Generalizando para todo “t”:

𝑠𝑢𝑝
𝑉̃ (𝑥0 ) ≤ 𝑢 ∈ Γ(𝑥){𝑟(𝑥, 𝑢) + 𝛽𝑉̃ (𝑔(𝑥, 𝑢))} ………………(𝐼𝐼)

3. Uniendo resultados uniendo las ecuaciones (𝐼) y (𝐼𝐼) se tiene:

𝑆𝑢𝑝 𝑆𝑢𝑝
{𝑟(𝑥, 𝑢) + 𝑉̃ (𝑔(𝑥, 𝑢))} ≤ 𝑉̃ (𝑥) ≤ {𝑟(𝑥, 𝑢) + 𝛽𝑉̃ (𝑔(𝑥, 𝑢))}
𝑢 ∈ Γ(𝑥) 𝑢 ∈ Γ(𝑥)

Por tanto:
𝑆𝑢𝑝
𝑉̃ (𝑥) = {𝑟(𝑥, 𝑢) + 𝛽𝑉̃ (𝑔(𝑥, 𝑢))} ………………(𝐼𝐼𝐼)
𝑢 ∈ Γ(𝑥)

Lo cual indica que la función supremo o función valor es una solución de la

ecuación funcional (problema funcional).
La proposición 1 nos indica que 𝑉̃ es una solución del problema funcional, pero
nos indica que sea la única con el fin de asegurar que esta sea la única solución
del problema funcional se impone una restricción adicional “condición de
transversalidad fuerte”.

La siguiente proposición nos da un converso parcial de la anterior y las

condiciones bajo las cuales se cumple una de las afirmaciones del principio de
optimalidad.
Proposición 2 (del problema funcional al problema secuencial)
Según la hipótesis 1,2 y 3, 𝑉 resuelve el problema funcional y si además se cumple la
condición de transversalidad fuerte:
lim 𝛽 𝑡 𝑉(𝑥𝑡 ) = 0
𝑡→∞

Para todo 𝑥0 ∈ 𝑋 y dinámica factible {(𝑥𝑡 , 𝑢𝑡 )} desde (𝑥0 ), entonces 𝑉̃ = 𝑉 es decir, 𝑉

resuelve el problema secuencial.
Primero demostraremos que 𝑉 es la función suprema 𝑉̃ . La estrategia de demostración
tiene dos pasos: el primero es demostrar que para toda dinámica factible desde 𝑥0 se
cumple que:
 ∞

𝑉(𝑥0 ) ≥ ∑ 𝛽 𝑡 𝑟(𝑥𝑡 , 𝑢𝑡 )
𝑡=0

El segundo es demostrar que para todo 𝜖 > 0, existe una dinámica factible {𝑥𝑡 , 𝑢𝑡 } desde
𝑥0 de modo que:
∞

𝑉(𝑥𝑜 ) ≥ ∑ 𝛽 𝑡 𝑟(𝑥𝑡 , 𝑢𝑡 ) + 𝜖
𝑡=0

Ambos pasos aseguran que 𝑉 es la función supremo o función valor.

Paso 1a: Como 𝑉 es solución del problema funcional, entonces para toda dinámica
factible {(𝑥𝑡 , 𝑢𝑡 )} ∈ Π(𝑥0 ) tenemos:
𝑉(𝑥0 ) ≥ 𝑟(𝑥0 , 𝑢0 ) + 𝛽𝑉(𝑥1 ) Por propiedad del supremo:
𝑉(𝑥1 ) ≥ 𝑟(𝑥1 , 𝑢1 ) + 𝛽𝑉(𝑥2 ) Para 𝑥1 .
(𝑥0 , 𝑢0 ) + 𝛽𝑉(𝑥1 ) ≥ 𝑟(𝑥0 , 𝑢0 ) + 𝛽𝑟(𝑥1 , 𝑢1 ) + 𝛽(𝛽𝑉(𝑥2 ))

(𝑥0 ) ≥ 𝑟(𝑥0 , 𝑢0 ) + 𝛽𝑟(𝑥1 , 𝑢1 ) + 𝛽 2 𝑉(𝑥2 )

𝑉(𝑥0 ) ≥ ∑∞ 𝑡 2
𝑡=0 𝛽 𝑟(𝑥𝑡 , 𝑢𝑡 ) + 𝛽 𝑉(𝑥2 ) En forma compacta.
⋮
𝑉(𝑥0 ) ≥ ∑∞ 𝑡
𝑡=0 𝛽 𝑟(𝑥𝑡 , 𝑢𝑡 ) + 𝛽
𝑘+1
𝑉(𝑥𝑘+1 )………………(𝐼𝑉)

Paso 1b: Haciendo 𝑘 → ∞ y usando la condición de transversalidad fuerte:

𝑉(𝑥0 ) ≥ lim {∑𝑘𝑡=0 𝛽 𝑡 𝑟(𝑥𝑡 , 𝑢𝑡 ) + 𝛽 𝑘+1 𝑉(𝑥𝑘+1 )}
𝑘→∞

𝑉(𝑥0 ) ≥ lim {∑𝑘𝑡=0 𝛽 𝑡 𝑟(𝑥𝑡 , 𝑢𝑡 ) + lim {∑𝑘𝑡=0 𝛽 𝑘+1 𝑉(𝑥𝑘+1 )}}

𝑘→∞ 𝑘→∞

Por condición de transversalidad fuerte:

𝑉(𝑥0 ) ≥ ∑∞ 𝑡
𝑡=0 𝛽 𝑟(𝑥𝑡 , 𝑢𝑡 ) + 0

𝑉(𝑥0 ) ≥ ∑∞ 𝑡
𝑡=0 𝛽 𝑟(𝑥𝑡 , 𝑢𝑡 )……………………(𝑉)

Paso 2a: Sea 𝜖 > 0 y {𝛿𝑡 }𝑡=0,1,2,… una sucesión de números reales positivos tal que:
∑∞ 𝑡
𝑡=0 𝛿𝑡 𝛽 ≤ 𝜖 …………….(𝑉𝐼)

Paso 2b: Como 𝑉 resuelve el problema funcional entonces existe 𝑢0 ∈ Γ(𝑥0 ) de modo
que:
Por propiedad del supremo:
𝑉(𝑥0 ) ≤ 𝑟(𝑥0 , 𝑢0 ) + 𝛽𝑉(𝑥1 ) + 𝛿0
También existe 𝑢1 ∈ Γ(𝑥1 ) tal que:
𝑉(𝑥0 ) ≤ 𝑟(𝑥1 , 𝑢1 ) + 𝛽𝑉(𝑥2 ) + 𝛿1
𝑟(𝑥0 , 𝑢0 ) + 𝛽𝑉(𝑥1 ) ≤ 𝑉(𝑥0 ) ≤ 𝑟(𝑥0 , 𝑢0 ) + 𝛽𝑟(𝑥1 , 𝑢1 ) + 𝛽[𝛽𝑉(𝑥2 )] + 𝛽𝛿1
Por transitividad en la primera inecuación:
𝑉(𝑥0 ) ≤ 𝑟(𝑥0 , 𝑢0 ) + 𝛽𝑟(𝑥1 , 𝑢1 ) + 𝛽 2 𝑉(𝑥2 ) + 𝛽𝛿1
En forma compacta:
1 1

𝑉(𝑥0 ) ≤ ∑ 𝛽 𝑟(𝑥𝑡 , 𝑢𝑡 ) + 𝛽 𝑉(𝑥2 ) + ∑ 𝛽 𝑡 𝛿𝑡

𝑡 2

𝑡=0 𝑡=1

Paso 2c: Por inducción (k pasos)

𝑘 𝑘
𝑡 𝑘+1
𝑉(𝑥0 ) ≤ ∑ 𝛽 𝑟(𝑥𝑡 , 𝑢𝑡 ) + 𝛽 𝑉(𝑥𝑘+1 ) + ∑ 𝛽 𝑡 𝛿𝑡
𝑡=0 𝑡=1

Paso 2d: Haciendo 𝑘 → ∞ y usando la expresión (𝑉𝐼)

𝑉(𝑥0 ) ≤ lim {∑𝑘𝑡=0 𝛽 𝑡 𝑟(𝑥𝑡 , 𝑢𝑡 ) + 𝛽 𝑘+1 𝑉(𝑥𝑘+1 ) + ∑𝑘𝑡=1 𝛽 𝑡 𝛿𝑡 }
𝑘→∞

𝑉(𝑥0 ) ≤ lim {∑𝑘𝑡=0 𝛽 𝑡 𝑟(𝑥𝑡 , 𝑢𝑡 )} + lim {𝛽 𝑘+1 𝑉(𝑥𝑘+1 )} + lim {∑𝑘𝑡=1 𝛽 𝑡 𝛿𝑡 }

𝑘→∞ 𝑘→∞ 𝑘→∞

Por condición de transversalidad fuerte y (𝑉𝐼):

𝑉(𝑥0 ) ≤ ∑∞ 𝑡
𝑡=0 𝛽 𝑟(𝑥𝑡 , 𝑢𝑡 ) + 0 + 𝜖

𝑉(𝑥0 ) ≤ ∑∞ 𝑡
𝑡=0 𝛽 𝑟(𝑥𝑡 , 𝑢𝑡 ) + 𝜖…………………….(𝑉𝐼𝐼)

El problema funcional puede tener muchas soluciones pero la proposición 2 muestra que
dichas soluciones (excepto 𝑉̃ ) violan la condición de transversalidad fuerte y la única que
satisface dicha condición es 𝑉̃ . Por tanto 𝑉 = 𝑉̃ .
Intuitivamente si se tiene lim 𝛽 𝑡 𝑉(𝑥𝑡 ) > 0, entonces a lo largo de la dinámica factible
𝑘→∞
{𝑥𝑡 }𝑡=0,1,2,… se están subutilizando los recursos. Esta interpretación sugiere que la
condición de transversalidad es muy fuerte y por lo tanto no debe ser una condición
necesaria. En efecto esta condición es necesaria a lo largo de una dinámica que resuelve
el problema secuencial pero no a lo largo de todas las dinámicas factibles.
Nuestro objetivo ahora es caracterizar los planes óptimos es decir, aquellos planes
factibles que permiten alcanzar el suprema del problema secuencial obsérvese que un plan
factible determina únicamente una dinámica factible
Proposición 3: Dinámica factible del problema secuencial al problema funcional.
Bajo las hipótesis 1, 2 y 3; sea: Sea {(𝑥𝑡∗ , 𝜇𝑡∗ )} una dinámica factible desde 𝑥0∗ que permite
alcanzar el supremo del problema secuencial entonces dicha dinámica factible cumple
con: 𝑉(𝑥𝑡 ) = r(𝑥𝑡 , 𝜇𝑡 ) + 𝛽𝑉(𝑥𝑡+1 )
𝑉̃ (𝑥𝑡 ) = r(𝑥𝑡∗ , 𝜇𝑡∗ ) + 𝛽𝑉̃ (𝑥𝑡+1
∗
) …………..VIII
Es decir permite alcanzar el supremo en el problema funcional. La estrategia de
demostración tienen dos pasos: primero demostraremos que la ecuación VIII se cumple
para t = 0. El segundo se extiende este resultado para todo t = 1, 2, 3, por inducción.
Paso 1a: Debido a que {(𝑥𝑡∗ , 𝜇𝑡∗ )} es una dinámica factible desde 𝑥0∗ que permite alcanzar
el supremo del problema secuencial entonces se cumple:
𝑉̃ (𝑋0∗ ) =∑∞ 𝑡 ∗ ∗
𝑡=0 𝛽 𝑟 (𝑥𝑡 , 𝜇𝑡 )
∞ ∞

∑β t
r (xt∗ , μ∗t ) = r(x0∗ , μ∗0 ) ∗
+ β ∑ βt r (xt+1 , μ∗t+1 ) … … … … … . . IX
t=0 t=0

Paso 1b: Para toda dinámica factible {(𝑥1∗ , 𝜇1 ), (𝑥2 , 𝜇2 ), (𝑥3 , 𝜇3 ), … … … . } ∈ 𝜋 (𝑥1∗ )
por la definición del supremo se cumple:
∞ ∞
t
∑β r (xt∗ , μ∗t ) ≥ r(xt∗ , μ∗t ) + β ∑ βt r (𝑥𝑡+1 , 𝜇𝑡+1 ) … … … … … … X
t=0 t=0

Por tanto de la expresión IX y X se tiene que:

∞ ∞
∗
∑β t
r (xt+1 , μ∗t+1 ) ≥ ∑ βt r (𝑥𝑡+1 , 𝜇𝑡+1 ) … … … … … … XI
t=0 t=0

Paso 1c: Como la dinámica factible {(x1∗ , μ1∗ ), (x2∗ , μ∗2 ), (x3∗ , μ∗3 ), … . } ∈ π (x1∗ ), entonces
se cumple que ∑∞ t ∗ ∗ ∗
t=0 β r (xt+1 , μt+1 ) tiene que ser el valor supremo con valor inicial en 𝑥1

𝑉̃ (𝑥1∗ ) = ∑∞ t ∗ ∗
t=0 β r (𝑥𝑡+1 , 𝜇𝑡+1 , ) … … … … … … … … … … … . XII

Paso 1d: reemplazando la expresión XII y IX se tiene:

𝑉̃ (𝑥0∗ ) = 𝑟(𝑥0∗ , 𝜇0∗ )+𝛽𝑉̃ (𝑥1∗ )…………………………………XIII
Paso 2a: Se probó que: 𝑉̃ (𝑥0∗ ) = 𝑟(𝑥0∗ , 𝜇0∗ )+𝛽𝑉̃ (𝑥1∗ )
∞

𝑉̃ (𝑥1∗ ) = ∑ βt r (xt+1
∗
, μ∗t+1 )
t=0

Paso 2b: Se supone una hipótesis inductiva:

 𝑉̃ (𝑥𝑘∗ ) = 𝑟(xk∗ , μ∗k ) + β𝑉̃ (𝑥𝑘+1
∗
)
𝐷𝑜𝑛𝑑𝑒 𝑉̃ (𝑥𝑘∗ )∀𝑘 ∈ IN se define como:
∞

𝑉̃ (𝑥𝑘∗ ) = ∑ βt r (xt+k
∗
, μ∗t+k )
t=0

Paso 2c: Verificando para K+1 de las ecuaciones del paso 2b

𝑟(𝑥𝑘∗ , 𝜇𝑘∗ )+𝛽𝑉̃ (𝑥𝑘+1
∗
) = 𝑉̃ (𝑥𝑘∗ ) = ∑∞ t ∗ ∗
t=0 β r (xt+k, μt+k, )

𝑟(𝑥𝑘∗ , 𝜇𝑘∗ )+𝛽𝑉̃ (𝑥𝑘+1

∗
) = 𝑟(𝑥𝑘∗ , 𝜇𝑘∗ ) + 𝐵 ∑∞ t ∗ ∗
t=0 β r (xt+(k+1) , μt+(k+1) )
∞

𝑉̃ (𝑥𝑘+1
∗ ) ∗
= ∑ βt r (xt+(k+1) , μ∗t+(k+1) )
t=0
∞

𝑉̃ (𝑥𝑘+1
∗ )
= ∗
𝑟(xk+1 , μ∗k+1 ) ∗
+ β ∑ βt r (xt+(k+2) , μ∗t+(k+2) )
t=0

𝑉̃ (𝑥𝑘+1
∗ ) ∗
= 𝑟(xk+1 ̃(xk+2
, μ∗k+1 ) + βV ∗
).................................................XIV
Por tanto la hipótesis inductiva es verdadera y generalizable para todo t = 0, 1,2,…
Finalmente tenemos un converso para esta proposición que nos da las condiciones bajo
las cuales se cumple la otra afirmación del principio de optimalidad.
Proposición 4: (Dinámica factible del problema funcional al problema secuencial), Bajo
las hipótesis 1, 2 y 3 Si {(𝑥𝑡∗ , 𝜇𝑡∗ )} una dinámica factible desde x0∗ que satisface
𝑉̃ (xt∗ ) = r(xt∗ , μ∗t ) + β𝑉̃ (𝑥𝑡+1
∗ )
y se cumple la condición de tranversalidad débil:
lim 𝛽 𝑡 𝑉(𝑥𝑡 ) ≤ 0
𝑡→∞

Entonces {(𝑥𝑡∗ , 𝜇𝑡∗ )}, resuelve el problema secuencial

La estrategia es la siguiente que {(𝑥𝑡∗ , 𝜇𝑡∗ )}, resuelve el problema secuencial significa que
𝑆𝑈𝑃
permite alcanzar el supremo 𝑉̃ (𝑥0 ) = {𝜇 } {∑∞ 𝑡 ∗ ∗ ̃ ∗
𝑡=0 𝛽 𝑟(𝑥𝑡 , 𝜇𝑡 )} es decir 𝑉 (𝑥0 ) =
𝑡

∑∞ 𝑡 ∗ ∗
𝑡=0 𝛽 𝑟(𝑥𝑡 , 𝜇𝑡 ), esto último es lo que tenemos que demostrar.

Paso 1: Como {(𝑥𝑡∗ , 𝜇𝑡∗ , )} es una dinámica factible desde 𝑥0 entonces:

∞

𝑉̃ (𝑥0∗ ) ≥ ∑ 𝛽 𝑡 𝑟(𝑥𝑡∗ , 𝜇𝑡∗ ) … … … … … . . (𝑋𝑉)

𝑡=0

Paso 2: 𝑉̃ (𝑥0∗ ) = 𝑟(𝑥0∗ , 𝜇0∗ ) + 𝛽𝑉̃ (𝑥1∗ )

𝑉̃ (𝑥0∗ ) = 𝑟(𝑥1∗ , 𝜇1∗ ) + 𝛽𝑉̃ (𝑥2∗ )
𝑉̃ (𝑥0∗ ) = 𝑟(𝑥𝑡∗ , 𝜇𝑡∗ ) + 𝛽𝑉̃ (𝑥𝑡+1
∗
)
Reemplazando: 𝑉(𝑥2∗ ) 𝑒𝑛 𝑉(𝑥1∗ )
𝑉̃ (𝑥2∗ ) = 𝑟(𝑥2∗ , 𝜇2∗ ) + 𝛽𝑉̃ (𝑥3∗ )
𝑉̃ (𝑥1∗ ) = 𝑟(𝑥1∗ , 𝜇1∗ ) + 𝛽[𝑟(𝑥2∗ , 𝜇2∗ ) + 𝛽𝑉̃ (𝑥3∗ )]
Reemplazando: 𝑉̃ (𝑥1∗ ) 𝑒𝑛 𝑉̃ (𝑥0∗ )
𝑉̃ (𝑥0∗ ) = 𝑟(𝑥0∗ , 𝜇0∗ ) + 𝛽[𝑟(𝑥1∗ , 𝜇1∗ ) + 𝐵𝑟(𝑥2∗ , 𝜇2∗ ) + 𝛽 2 𝑉̃ (𝑥3∗ )]
De forma compacta
2

𝑉̃ (𝑥0∗ ) = ∑ 𝛽 𝑡 𝑟(𝑥𝑡∗ , 𝜇𝑡∗ ) + 𝛽 3 𝑉̃ (𝑥3∗ )

𝑡=0

Por inducción (k pasos)

𝑘

𝑉̃ (𝑥0∗ ) = ∑ 𝛽 𝑡 𝑟(𝑥𝑡∗ , 𝜇𝑡∗ ) + 𝛽 𝑘+1 𝑉̃ (𝑘𝑘+1

∗
) … … … … . . (𝑋𝑉𝐼)
𝑡=0

Tomando k → ∞ en la ecuación (XVI)

∞

𝑉̃ (𝑥0∗ ) = lim [∑ 𝛽 𝑡 𝑟(𝑥𝑡∗ , 𝜇𝑡∗ ) + 𝛽 𝑘+1 𝑉̃ (𝑘𝑘+1

∗ )]
𝑘→∞
𝑡=0
∞

𝑉̃ (𝑥0∗ ) = ∑ 𝛽 𝑡 𝑟(𝑥𝑡∗ , 𝜇𝑡∗ ) + lim [𝛽 𝑘+1 𝑉̃ (𝑘𝑘+1

∗
)]
𝑘→∞
𝑡=0

Por condición de transversalidad débil: lim 𝐵 𝑡 𝑉(𝑥𝑡 ) ≤ 0

𝑡→∞
∞

𝑉̃ (𝑥0∗ ) ≤ ∑ 𝛽 𝑡 𝑟(𝑥𝑡∗ , 𝜇𝑡∗ ) … … … … … . (𝑋𝑉𝐼𝐼)

𝑡=0

De la inecuación (XVI) y (XVII) se tiene:

∞ ∞

∑𝛽 𝑡
𝑟(𝑥𝑡∗ , 𝜇𝑡∗ ) ≤ 𝑉̃ (𝑥0∗ ) ≤ ∑ 𝛽 𝑡 𝑟(𝑥𝑡∗ , 𝜇𝑡∗ ) … … … … … . (𝑋𝑉𝐼𝐼𝐼)
𝑡=0 𝑡=0

Por tanto:
∞

𝑉̃ (𝑥0∗ ) = ∑ 𝛽 𝑡 𝑟(𝑥𝑡∗ , 𝜇𝑡∗ )

𝑡=0

La cual indica que la dinámica factible {(𝑥𝑡∗ , 𝜇𝑡∗ )}, resuelve el problema secuencial.
Hasta aquí se ha estudiado la relación entre el problema secuencial y el problema
funcional pero no se ha dado ningún método para solucionar el problema funcional. El
principal método es considerar al problema funcional como un problema de punto fijo.
Para ello necesitamos dos hipótesis adicionales sobre la correspondencia T(x) y la función
de retorno r(x,𝜇).
Hipótesis 4: r(x)
𝑇: 𝑋 ⇉ 𝑋 Es una correspondencia de valores compactos (i.e. r(x)) es compacto para todo
x) continua y r(x)≠ ∅ para todo x.
Hipótesis 5:
B ∈ (0,1) Y r (𝑥𝑡 , 𝜇𝑡 ) es acotado y continua sobre el grafo r (el grado de r es el conjunto
{(x, y)∈ X x ℝ𝑚 : 𝑦 ∈ 𝑇(𝑥)}. La hipótesis 4 y 5 implican las * hipótesis 1,2 y 3 por tanto
las proposiciones 1 al 4 se mantienen y por ende el principio de optimalidad.
* Por la hipótesis 5 𝑉̃ (y por lo tanto “V” por el principio de optimalidad) que es una
función real también es acotada y continua.
Al problema funcional le asociamos un operador T de cierto espacio de funciones sobre
x en si mismo este se define de la siguiente manera:
Definamos Ca(x): espacio de las funciones reales, continuas y acotadas entonces 𝑉̃ =
𝑉 ∈ 𝐶𝑎(𝑥).
Definamos un operador T: Ca(x) → Ca(x) del problema funcional.
𝑆𝑈𝑃
T[V](X) = {𝜇} {(𝑥, 𝜇) + 𝛽𝑉(𝑔(𝑥𝜇))} … … … … … (𝑋𝐼𝑋)
∈ 𝑟(𝑥)
Del problema funcional sabemos:
𝑆𝑈𝑃
V(x) = {𝜇} {𝑟(𝑥, 𝜇) + 𝛽𝑉(𝑔(𝑥, 𝜇))} … … … … … (𝑋𝑋)
∈ 𝑟(𝑥)
De (XIX) y (XX) el problema funcional se convierte en un problema de punto fijo:
T[V](X) = V(x) ……………………………………………………………(XXI)
Donde la función V es el punto fijo, si encontramos la función V que resuelve (XXI)
entonces tendremos la solución del problema funcional y por el principio de optimalidad
tendremos la solución del problema secuencial.
Debido a que se tiene la función valor se puede encontrar el plan óptimo.
* Forma 1: resolviendo paso a paso el problema del máximo que aparece en el problema
funcional (encontramos la función política)
∗ ),
* Forma 2: resolviendo el sistema o ecuaciones. 𝑉(𝑥𝑡∗ ) = 𝑟(𝑥𝑡∗ , 𝜇𝑡∗ ) + 𝛽𝑉(𝑥𝑡+1 𝑡=
0,1,2,3,
Necesitamos un teorema que asegure que el operador T: Ca(x) → Ca(x) tiene un único p
unto fijo y por tanto una solución al punto fijo. El teorema del punto fijo para
contracciones asegura lo anterior.

Teorema 2: (Punto fijo para contracciones)

Bajo la hipótesis 4 y 5 y sea 𝐶𝑎 (𝑥) el espacio de las funciones reales, continuas y acotadas
sobre X con la norma del Supremo II.II entonces el operador T definido en 𝐶𝑎 (𝑥) es una
aplicación de este espacio en si mismo.
T: Ca (x)  Ca (x) definido como
𝑇[𝑉](𝑥) = 𝑆𝑢𝑝 {𝑟(𝑥𝑡 , 𝑢𝑡 ) + 𝛽 𝑉 (𝑔(𝑥𝑡 , 𝑢𝑡 )}
Sujeto a: 𝑢𝑡 ∈ Γ(𝑥𝑡 ) satisfice
1.- 𝑇[𝑉] ∈ 𝐶𝑎 (𝑥)
2.- “T” tiene un único punto fijo
“V”: 𝑇[𝑉] = 𝑉
3. - Para cualquiera 𝑉0 ∈ 𝐶𝑎 (𝑥)
Se tiene:
‖𝑇 𝑛 (𝑉0 ) − 𝑉‖ ≤ 𝛽 𝑛 ‖𝑉0 − 𝑉‖
En particular
lim 𝑇 𝑛 (𝑉0 ) = 𝑉
𝑛→∞

El teorema del punto fijo ofrece un método de solución del problema funcional la
convergencia de interacciones sucesivas de una función contractiva al punto fijo la cual
consiste en la sucesión de funciones {𝑉𝑛 }∞
𝑛=0 definida como:

𝑉𝑛 = 𝑇[𝑉𝑛−1 ] ; 𝑛 ≥ 1
Converge al punto fijo (𝑉) de la contracción 𝑇, es decir:
lim 𝑉𝑛 = 𝑉
𝑛→∞

Demostración del teorema 2:

Paso 1: Bajo la hipótesis 4, 5 y 3 se tiene que para cada 𝑓 ∈ 𝐶𝑎 (𝑥) ∧ 𝑥 ∈ 𝑋 el problema
del punto fijo.
𝑇[𝑓](𝑥) = max {𝑟(𝑥𝑡 , 𝑢𝑡 ) + 𝛽 𝑓(𝑢𝑡 )}
𝑢𝑡 ∈ Γ(𝑥)

Se reduce a maximizar la función continua:

{𝑟(𝑥𝑡 ; ∙) + 𝛽 𝑓(∙)}
Sobre el conjunto compacto Γ(𝑥) esto permite alcanzar el máximo, una pregunta que
tenemos que responder es:
¿ 𝑇(𝑓) Es acotada y continua? Se sabe que su dominio lo es.
Paso 2: debido a que 𝑟(𝑥𝑡 ; 𝑢𝑡 ) 𝑦 𝑓(𝑢𝑡 ) son acotadas entonces 𝑇[𝑓] también es acotada.
Debido a que 𝑟(𝑥𝑡 ; 𝑢𝑡 ) 𝑦 𝑓(𝑢𝑡 ) son continuas y Γ(𝑥) es compacto entonces por el
teorema del máximo se tiene que 𝑇[𝑓] es continua.
𝑇[𝑓] es continua y acotada, dado que 𝑇 fue definido (dominio) en 𝐶𝑎 (𝑥) entonces se
obtiene que el operador 𝑇[𝑓] es:
𝑇[𝑓]: 𝐶𝑎 (𝑥) → 𝐶𝑎 (𝑥)
 𝑇 es una contraccion esto se debe a que el operador 𝑇 cumple con las condiciones
de Blackwell.
 𝑇 tiene un unico punto fijo debido a que 𝐶𝑎 (𝑥) es una espacio de Banach entonces
por el teorema de la aplicación contractiva 𝑇 tiene un unico punto fijo 𝑉 ∈ 𝐶𝑎 (𝑉)
y se cumple que:

‖𝑇 𝑛 (𝑉0 ) − 𝑉‖ ≤ 𝛽 𝑛 ‖𝑉0 − 𝑉‖
Método del cálculo diferencial para solucionar el problema funcional
Para aplicar los métodos de cálculo diferencial en la solución de problemas de
optimización dinámica se requiere que la función valor tenga tres propiedades
importantes:
 Monotocidad
 Concavidad
 Diferenciabilidad
Monotocidad de V(𝑥𝑡 )
Hipótesis 6: r(𝑥, 𝑢)𝑦 𝑔(𝑥, 𝑢) para cada u ∈ ℝ𝑚 las funciones
𝑟(𝑥𝑡 , 𝑢𝑡 ): 𝑋 → ℝ 𝑒𝑠 𝑒𝑠𝑡𝑟𝑖𝑐𝑡𝑎𝑚𝑒𝑛𝑡𝑒 𝑐𝑟𝑒𝑐𝑖𝑒𝑛𝑡𝑒.
𝑔(𝑥𝑡 , 𝑢𝑡 ): 𝑋 → 𝑋 𝑒𝑠 𝑐𝑟𝑒𝑐𝑖𝑒𝑛𝑡𝑒.
Hipótesis 7: Γ(𝑥)
Γ Es monotoma (si 𝑥 ′ > 𝑥 → Γ(x ′ ) ≥ Γ(x)
La función valor es estrictamente creciente, el primero es demostrar que 𝑇[𝑓] es una
función estrictamente creciente, el segundo paso es considerar el punto fijo y de allí
derivar que “V” es también estrictamente creciente.
1 Sabemos:

𝐶𝑎 (𝑥) es el espacio de las funciones reales, continuas y acotadas con la norma

del supremo.
𝐶𝑐 (𝑥) ⊂ 𝐶𝑎 (𝑥) es el espacio de las funciones reales, continuas, acotadas y
crecientes.
Se observa que 𝐶𝑐 (𝑥) es un sub espacio cerrado en 𝐶𝑎 (𝑥) y por tanto es un
espacio completo en la norma del supremo

Paso 1:
 Vamos a probar que si 𝑓 ∈ 𝐶𝑎 (𝑥) es creciente entonces Γ[𝑓] es una función
estrictamente creciente.
Paso 1a:
Si 𝑥 ′ ≥ 𝑥 entonces 𝑔(𝑥 ′ , 𝑢) ≥ 𝑔(𝑥, 𝑢)∀𝑢
Dado que 𝑓(𝑔(𝑥 ′ , 𝑢)) ≥ 𝑓(𝑔(𝑥, 𝑢))
𝛾(𝑥 ′ , 𝑢) + 𝛽𝑓(𝑔(𝑥 ′ , 𝑢)) ≥ 𝛾(𝑥 ′ , 𝑢) + 𝛽𝑓(𝑔(𝑥, 𝑢))
Por la hipótesis 𝛾(𝑥, 𝑢) es creciente
𝛾(𝑥′, 𝑢) ≥ 𝛾(𝑥, 𝑢) entonces
𝛾(𝑥 , 𝑢) + 𝛽𝑓(𝑔(𝑥 ′ , 𝑢)) ≥ 𝛾(𝑥, 𝑢) + 𝛽𝑓(𝑔(𝑥, 𝑢))……… 22
′

Paso 1b:
Aplicando ¨𝑚𝑎𝑥¨ en relación a la ecuación 22
max 𝑢 ∈ Γ(𝑥) {𝛾(𝑥 ′ , 𝑢) + 𝛽𝑓(𝑔(𝑥 ′ , 𝑢))} > max 𝑢 ∈ Γ(𝑥) {𝛾(𝑥, 𝑢) + 𝛽𝑓(𝑔(𝑥, 𝑢))}
Teorema 3: Diferenciabilidad de la función valor Benveniste-scheinkman
La función valor es continuamente diferenciable en 𝑥0 y su derivada está dada
por:
𝜕𝛾(𝑥0 ) 𝜕𝛾(𝑥0 , ℎ(𝑥0 )) 𝜕𝛾(𝑔(𝑥0 ), ℎ(𝑥0 ))
= +𝛽
𝜕𝑥0 𝜕𝑥0 𝜕𝑥0
Esto es generalizado para todo ¨t¨

1 Este teorema es un paso previo para demostrar el teorema de la envolvente

2 Requiere que en la ecuación de Bellman se introduzca la función de política
ℎ(𝑥) además de la ecuación de movimiento de la variable de estado 𝑔(𝑥, ℎ(𝑥))
3 Las hipótesis descritas aseguran que la función valor sea dos veces
diferenciables (Stokey y Lucas, 1998. Pág. 84) la cual asegura que la función de
política ℎ(𝑥) sea diferenciable. Esta propiedad es recogida en el teorema
Benveniste-scheinkman
Teorema 4: teorema de la envolvente

Si 𝑥0 ∈ ln 𝑡(𝑥) y ℎ(𝑥0 ) ∈ Γ ln 𝑡(Γ(𝑥0 )) y cumpliendo el teorema 3 entonces para (𝑥, 𝑢)

se cumple
𝜕𝛾(𝑥0 ) 𝜕𝛾(𝑥0 , 𝜇0 )
=
𝜕𝑥0 𝜕𝜇0
Este teorema asegura una relación entre la función de valor y la función de utilidad.

En la ecuación de Bellman aplicar las condiciones de primer orden es decir derivar el

lado derecho de dicha ecuación con respecto a la variable de control.

Al aplicar el teorema del envolvente recordar que el teorema de la diferenciabilidad es

solo para demostrar el teorema del envolvente
Aplicación del teorema de la envolvente
Problema de optimización de un consumidor

𝑚𝑎𝑥 ∑∞ 𝑡
𝑡=0 𝛽 𝑢(𝐶𝑡 )

{𝐶𝑡 , 𝑊𝑡+1 }𝑡=0

Sujeto a: 𝑊𝑡+1 = (1 + 𝑟)(𝑊𝑡 + 𝐶𝑡 )

Donde:𝛽 ∈ (0,1), 𝑊𝑡 es la riqueza del individuo y 𝑊0 dado

Solución:

V (𝑊𝑡 )= 𝑚𝑎𝑥{𝑢(𝐶𝑡 ) + 𝛽𝑣(𝑊𝑡+1 )}

{𝐶𝑡 }∞
𝑡=0

Introduciendo la ecuación de la variable de estado

V (𝑊𝑡 )= 𝑚𝑎𝑥{𝑢(𝐶𝑡 ) + 𝛽𝑣((1 + 𝑟)(𝑊𝑡 + 𝐶𝑡 ))}

{𝐶𝑡 }∞
𝑡=0

Condiciones de primer orden derivamos el lado derecho de la ecuación de Bellman con

respecto a la variable de control 𝐶𝑡
𝜕𝑢(𝐶𝑡 ) 𝜕𝑣(𝑊𝑡+1 ) [(1 + 𝑟)(𝑊𝑡 + 𝐶𝑡 )]
+𝛽 =0
𝜕𝐶𝑡 𝑊𝑡+1 𝜕𝐶𝑡
𝜕𝑢(𝐶𝑡 ) 𝜕𝑣(𝑊𝑡+1 )
+𝛽 (−1)(1 + 𝑟) = 0
𝜕𝐶𝑡 𝑊𝑡+1
𝜕𝑢(𝐶𝑡 ) 𝜕𝑣(𝑊𝑡+1 )
= 𝛽(1 + 𝑟)
𝜕𝐶𝑡 𝑊𝑡+1
El teorema de la envolvente indica
𝜕𝑣(𝑊𝑡 ) 𝜕𝑢(𝐶𝑡 )
=
𝑊𝑡 𝜕𝐶𝑡
Un periodo hacia adelante
𝜕𝑣(𝑊𝑡+1 ) 𝜕𝑢(𝐶𝑡+1 )
=
𝑊𝑡+1 𝜕𝐶𝑡+1
Encontrando la ecuación de EULER

En el teorema de la envolvente en la ecuación condición de primer orden se tiene la

ecuación de EULER
𝜕𝑢(𝐶𝑡 ) 𝜕𝑣(𝑊𝑡+1 )
= 𝛽(1 + 𝑟)
𝜕𝐶𝑡 𝑊𝑡+1
𝜕𝑢(𝐶𝑡 ) 𝜕𝑢(𝐶𝑡+1 )
= 𝛽(1 + 𝑟)
𝜕𝐶𝑡 𝐶𝑡+1
Modelo de Brock y Mirmau (1972)
El modelo básico de crecimiento esta descrito por el siguiente problema
𝑚𝑎𝑥 ∑∞ 𝑡
𝑡=0 𝛽 ln(𝑐𝑡 )

{𝐶𝑡 , 𝑘𝑡+1 }∞
𝑡=0

Sujeto a:

𝑘𝑡+1 = (1 + 𝛿)𝑘𝑡 + 𝑖𝑡

𝐶𝑡 + 𝑖𝑡 = 𝑓(𝑘𝑡 )

𝐶𝑡 , 𝑘𝑡 ≥ 0
La ecuación funcional de Bellman es:

V (𝑘𝑡 )= 𝑚𝑎𝑥{𝑙𝑛(𝐶𝑡 ) + 𝛽𝑣(𝑘𝑡+1 )}

{𝐶𝑡 , 𝑘𝑡+1 }∞
𝑡=0

Al reemplazar la restricción en la ecuación de Bellman 𝑘𝑡+1 = 𝑘𝑡𝛼 − 𝐶𝑡 el problema

funcional asociado queda descrito de la siguiente manera

V (𝑘𝑡 )= 𝑚𝑎𝑥{𝑙𝑛(𝐶𝑡 ) + 𝛽𝑣(𝑘𝑡𝛼 − 𝐶𝑡 )}

{𝐶𝑡 , }∞
𝑡=0

0 ≤ 𝐶𝑡 ≤ 𝑘𝑡𝛼
Encontrando la función valor

Para resolver el problema funcional utilizaremos el método de iteración de la función

valor propuesto por el teorema del punto fijo para contracciones

𝑉𝑛 = 𝑇[𝑉𝑛−1 ] 𝑛≥1

Se inicia con la función más sencilla 𝑉0 = 0

Encontrando 𝑉1

𝑉1 = 𝑇[𝑉0 ]

= 𝑚𝑎𝑥{𝑙𝑛(𝐶𝑡 ) + 𝛽𝑣0 (𝑘𝑡𝛼 − 𝐶𝑡 )}

{𝐶𝑡 , }∞
𝑡=0

= 𝑚𝑎𝑥{𝑙𝑛(𝐶𝑡 )}
{𝐶𝑡 , }∞
𝑡=0

Con esta etapa se aplica la condición de primer orden

𝜕 𝑓𝑢𝑛𝑐𝑖𝑜𝑛 𝑜𝑏𝑗𝑒𝑡𝑖𝑣𝑜
=0
𝜕𝐶𝑡
No obstante en este caso por ser ¨𝑙𝑛¨ monótona entonces el valor máximo se alcanza
cuando
 𝐶𝑡= 𝑘𝑡𝛼

Reemplazando 𝐶𝑡 que maximiza la función objetivo se tiene 𝑇[𝑉0 ] por ende 𝑉1

𝑉1 = 𝑇[𝑉0 ] = 𝑙𝑛[𝑘𝑡𝛼 ]

𝑉1 = 𝛼𝑙𝑛[𝑘𝑡 ]
Encontrando 𝑉2

𝑉2 = 𝑇[𝑉1 ]

= 𝑚𝑎𝑥{𝑙𝑛(𝐶𝑡 ) + 𝛽𝑣1 (𝑘𝑡𝛼 − 𝐶𝑡 )}

{𝐶𝑡 , }∞
𝑡=0

∝ ln(𝑘𝑡𝛼 − 𝐶𝑡 )

= 𝑚𝑎𝑥{𝑙𝑛(𝐶𝑡 ) + 𝛽𝛼ln(𝑘𝑡𝛼 − 𝐶𝑡 )}
{𝐶𝑡 , }∞
𝑡=0

En esta etapa se aplica la condición de primer orden

𝜕 𝑓𝑢𝑛𝑐𝑖𝑜𝑛 𝑜𝑏𝑗𝑒𝑡𝑖𝑣𝑜
=0
𝜕𝐶𝑡
𝑘𝛼
𝑡
𝐶𝑡 = 1+𝛽𝛼 ….1

Reemplazando 𝐶𝑡 que maximiza la función objetivo en 1 se obtiene 𝑇[𝑉1 ] y por ende

𝑉2:
𝛼𝛽
𝑉2 = 𝑇[𝑉1 ] = 𝛼(1 + 𝛽) ln(𝑘𝑡 ) + 𝛽𝛼𝑙𝑛 [ ] − ln(1 + 𝛽𝛼)
1 + 𝛼𝛽
De igual forma podemos hacer para 𝑉3 y luego en forma general vemos que:
𝑛−1

𝑉𝑛 [𝑘𝑡 ] = 𝐴𝑛 + (𝛼 ∑(𝛽𝛼)𝑖 ln(𝑘𝑡 ))

𝑖=0

Donde hacemos que 𝑛 → ∞

lim 𝑉𝑛 = 𝑉
𝑛→∞

𝑛−1

lim 𝑉𝑛 (𝑘𝑡 ) = lim 𝐴𝑛 + lim(𝛼 ∑(𝛽𝛼)𝑖 ln(𝑘𝑡 ))

𝑛→∞ 𝑛→∞
𝑖=0
𝑛→∞
∞

𝑉 = 𝐴 + 𝛼 ∑(𝛽𝛼)𝑖 ln(𝑘𝑡 )
𝑖=0
 𝛼
𝑉 =𝐴+ ln(𝑘𝑡 )
1 − 𝛽𝛼

La constante ¨A¨ la podemos encontrar reemplazando ¨V¨ y la dinámica optima en la

ecuación de Bellman
Encontrando la función de política

Donde que ya conocemos la función valor ¨V¨ la cual reemplazamos en la ecuación de

Bellman del problema funcional
Reemplazando la función valor en el problema funcional

V (𝑘𝑡 )= 𝑚𝑎𝑥{𝑙𝑛(𝐶𝑡 ) + 𝛽[𝑙𝑛(𝑘𝑡𝛼 − 𝐶𝑡 )]}

{𝐶𝑡 , }∞
𝑡=0

0 ≤ 𝐶𝑡 ≤ 𝑘𝑡𝛼

El problema funcional se convierte en un problema de optimización estándar en ¨t¨ a la

cual se pueda aplicar las condiciones de primer orden
Aplicando la condición de primer orden
𝜕 𝑓𝑢𝑛𝑐𝑖𝑜𝑛 𝑜𝑏𝑗𝑒𝑡𝑖𝑣𝑜
=0
𝜕𝐶𝑡
Encontramos la función de política

𝐶𝑡 = (𝑘𝑡 )

𝐶𝑡 = (1 − 𝛼𝛽)𝑘𝑡𝛼
Encontrando la constante ¨A¨

Reemplazando la función valor y la función de política en la ecuación de Bellman el

máximo desaparece porque la función de política permite alcanzar dicho máximo
𝛼
𝐴+ ln(𝑘𝑡 ) = ln(ℎ(𝑘𝑡 ) + 𝛽[ln(𝑘𝑡𝛼 − ℎ(𝑘𝑡 ))])
1 − 𝛽𝛼
Resolviendo e igualando los coeficientes de los términos similares

1 𝛼𝛽
𝐴=[ ] (ln(1 − 𝛼𝛽) + ln(𝛼𝛽)
1−𝛽 1 − 𝛼𝛽
Ecuación de evolución de la variable de estado

𝑘𝑡+1 = 𝑘𝑡∝ − (1 − 𝛼𝛽)𝑘𝑡∝ = 𝛼𝛽𝑘𝑡∝

Función de política

𝐶𝑡 = (1 − 𝛼𝛽)𝑘𝑡∝