## [Programación Dinámica](/es/node/59734) Definición Marco de optimización recursiva que descompone problemas de decisión multietapa en subproblemas superpuestos resueltos por inducción hacia atrás o hacia adelante, centralizando la función de valor como el objeto que codifica los retornos futuros óptimos. ## Principio Principio Principio de optimalidad de Bellman: una política óptima tiene la propiedad de que, cualquiera que sea el estado inicial y la primera decisión, las decisiones restantes constituyen una política óptima con respecto al estado resultante; la recursión sobre funciones de valor implementa esto. ## Demostración Demostración En control óptimo de horizonte finito, calcular el coste a futuro V_t(x) por inducción hacia atrás: V_T(x)=coste terminal y V_t(x)=min_u{ coste_etapa(x,u)+V_{t+1}(f(x,u)) } hasta t=0, obteniendo una secuencia óptima de controles. ## Aplicación incorrecta Aplicación incorrecta Tratar problemas no markovianos como si fueran markovianos sin ampliar el estado, o intentar DP tabular exacta en espacios de muy alta dimensión sin aproximación (la maldición de la dimensionalidad), conduce a soluciones incorrectas o inviables. ## Consecuencia Consecuencia La aplicación correcta produce políticas y funciones de valor óptimas, descomposiciones tratables para muchos problemas estructurados y sienta bases para algoritmos de control y aprendizaje por refuerzo, aunque puede requerir aproximación a gran escala. ## Inversión Inversión Métodos codiciosos o miopes hacen elecciones localmente óptimas sin resolver la recursión y por ello suelen fallar al encontrar estrategias globalmente óptimas cuando los costes futuros influyen significativamente en las decisiones presentes. ## Límite Límite Se aplica cuando el problema admite descomposición por etapas y estructura de transición markoviana o una ampliación equivalente del estado; excluye directamente problemas parcialmente observados u objetivos no separables sin reformulación. ## Tensión semántica Tensión semántica Tensión con la programación dinámica aproximada y el aprendizaje por refuerzo: DP ofrece recursión exacta y garantías cuando es factible, mientras que las aproximaciones cambian óptimo por factibilidad y generalización en entornos de alta dimensión. ## Síntesis Síntesis Programación Dinámica = usar la optimalidad de Bellman para expresar la optimización multietapa global como problemas locales recursivos sobre funciones de valor, resolver mediante inducción hacia atrás/adelante o backups iterativos, y gestionar la complejidad mediante aproximación cuando sea necesario.