Une famille de méthodes et de formulations d'optimisation dont la fonction objectif, les contraintes ou les deux dépendent de variables aléatoires ou d'observations bruitées ; les solutions recherchées tiennent compte de cette incertitude par des espérances, des échantillons ou des garanties probabilistes.

Principe

Remplacer ou compléter les objectifs et contraintes déterministes par des descriptions statistiques (espérances, moyennes d'échantillons, contraintes de chance) et utiliser l'échantillonnage, les gradients stochastiques ou l'optimisation par simulation pour diriger la recherche vers des solutions performantes en moyenne ou avec une probabilité donnée.

Démonstration

Entraîner un modèle d'apprentissage automatique en minimisant la perte attendue par descente de gradient stochastique : chaque itération utilise un minibatch échantillonné de la distribution de données pour approximer le gradient de la perte attendue et mettre à jour les paramètres vers une erreur attendue plus faible.

Mauvaise application

Considérer un seul échantillon bruité comme substitut de toute la distribution sans estimer la variance, ce qui peut conduire à un surapprentissage du bruit d'échantillon ou à l'incapacité de satisfaire des contraintes probabilistes hors échantillon.

Conséquence

Utilisée correctement, elle fournit des solutions qui se généralisent aux réalisations aléatoires, offre des compromis entre coût de calcul et précision statistique, et permet d'incorporer des incertitudes issues de simulations ou de données ; elle nécessite généralement plus d'itérations ou d'échantillons que les méthodes déterministes.

Inversion

L'optimisation déterministe suppose des paramètres fixes et des évaluations exactes des objectifs et contraintes ; inverser les hypothèses stochastiques produit des solutions optimales pour une seule réalisation mais potentiellement fragiles face à la variabilité.

Limite

S'applique lorsque les évaluations du modèle sont bruitées, dépendent d'entrées aléatoires ou proviennent de simulations Monte Carlo ; exclut les problèmes purement déterministes sans incertitude et les méthodes qui ignorent la variabilité statistique (sauf comme approximations).

Tension sémantique

Entre en tension avec l'optimisation robuste : l'optimisation stochastique vise la performance moyenne ou des garanties probabilistes, tandis que l'optimisation robuste vise des garanties de pire cas sur des ensembles d'incertitude ; elles sont complémentaires mais entraînent des niveaux de conservatisme différents.

Synthèse

L'optimisation stochastique intègre des approximations par échantillonnage et le traitement probabiliste des contraintes pour produire des solutions qui tiennent explicitement compte de l'aléa, équilibrant fidélité statistique et coût computationnel pour obtenir des performances fiables au sens moyen.