Marco de optimización recursiva que descompone problemas de decisión multietapa en subproblemas superpuestos resueltos por inducción hacia atrás o hacia adelante, centralizando la función de valor como el objeto que codifica los retornos futuros óptimos.

Principio

Principio de optimalidad de Bellman: una política óptima tiene la propiedad de que, cualquiera que sea el estado inicial y la primera decisión, las decisiones restantes constituyen una política óptima con respecto al estado resultante; la recursión sobre funciones de valor implementa esto.

Demostración

En control óptimo de horizonte finito, calcular el coste a futuro V_t(x) por inducción hacia atrás: V_T(x)=coste terminal y V_t(x)=min_u{ coste_etapa(x,u)+V_{t+1}(f(x,u)) } hasta t=0, obteniendo una secuencia óptima de controles.

Aplicación incorrecta

Tratar problemas no markovianos como si fueran markovianos sin ampliar el estado, o intentar DP tabular exacta en espacios de muy alta dimensión sin aproximación (la maldición de la dimensionalidad), conduce a soluciones incorrectas o inviables.

Consecuencia

La aplicación correcta produce políticas y funciones de valor óptimas, descomposiciones tratables para muchos problemas estructurados y sienta bases para algoritmos de control y aprendizaje por refuerzo, aunque puede requerir aproximación a gran escala.

Inversión

Métodos codiciosos o miopes hacen elecciones localmente óptimas sin resolver la recursión y por ello suelen fallar al encontrar estrategias globalmente óptimas cuando los costes futuros influyen significativamente en las decisiones presentes.

Límite

Se aplica cuando el problema admite descomposición por etapas y estructura de transición markoviana o una ampliación equivalente del estado; excluye directamente problemas parcialmente observados u objetivos no separables sin reformulación.

Tensión semántica

Tensión con la programación dinámica aproximada y el aprendizaje por refuerzo: DP ofrece recursión exacta y garantías cuando es factible, mientras que las aproximaciones cambian óptimo por factibilidad y generalización en entornos de alta dimensión.

Síntesis

Programación Dinámica = usar la optimalidad de Bellman para expresar la optimización multietapa global como problemas locales recursivos sobre funciones de valor, resolver mediante inducción hacia atrás/adelante o backups iterativos, y gestionar la complejidad mediante aproximación cuando sea necesario.