Conjunto de métodos y formulaciones de optimización en los que la función objetivo, las restricciones o ambas dependen de variables aleatorias u observaciones ruidosas, y se buscan soluciones que tengan en cuenta esa aleatoriedad mediante expectativas, muestras o garantías probabilísticas.

Principio

Sustituir o complementar objetivos y restricciones deterministas por descripciones estadísticas (esperanzas, promedios muestrales, restricciones de probabilidad) y utilizar muestreo, gradientes estocásticos o optimización por simulación para orientar la búsqueda hacia soluciones que funcionen bien en promedio o con una probabilidad especificada.

Demostración

Entrenar un modelo de aprendizaje automático minimizando la pérdida esperada mediante descenso de gradiente estocástico: cada iteración usa un minibatch muestreado de la distribución de datos para aproximar el gradiente de la pérdida esperada y actualizar los parámetros.

Aplicación incorrecta

Tratar una sola muestra ruidosa como sustituto de toda la distribución sin estimar la varianza, lo que puede provocar sobreajuste al ruido muestral o el incumplimiento de restricciones probabilísticas fuera de muestra.

Consecuencia

Bien usada, proporciona soluciones que generalizan frente a realizaciones aleatorias, permite compromisos entre coste computacional y precisión estadística, y posibilita la incorporación de incertidumbres basadas en simulación o datos; suele requerir más iteraciones o muestras que los métodos deterministas.

Inversión

La optimización determinista asume parámetros fijos y evaluaciones exactas de objetivos y restricciones; invertir las suposiciones estocásticas produce soluciones optimizadas para una sola realización pero potencialmente frágiles ante la variabilidad.

Límite

Se aplica cuando las evaluaciones del modelo son ruidosas, dependen de entradas aleatorias o proceden de simulaciones Monte Carlo; excluye problemas puramente deterministas sin incertidumbre y métodos que no consideran la variabilidad estadística (a menos que se usen como aproximaciones).

Tensión semántica

En tensión con la optimización robusta: la optimización estocástica se centra en el rendimiento medio o en garantías probabilísticas, mientras que la optimización robusta se centra en garantías de peor caso sobre conjuntos de incertidumbre; pueden ser complementarias pero implican distinto grado de conservadurismo.

Síntesis

La optimización estocástica integra aproximaciones por muestreo y el tratamiento probabilístico de restricciones para producir soluciones que explicítamente consideran la aleatoriedad, equilibrando fidelidad estadística y esfuerzo computacional para obtener rendimiento fiable en promedio.