Eine Klasse von Optimierungsmethoden und -formulierungen, bei denen die Zielfunktion, die Nebenbedingungen oder beides von Zufallsvariablen oder verrauschten Beobachtungen abhängen; es werden Lösungen gesucht, die diese Zufälligkeit mittels Erwartungswerten, Stichproben oder probabilistischer Zusicherungen berücksichtigen.

Prinzip

Deterministische Ziele und Nebenbedingungen durch statistische Beschreibungen (Erwartungswerte, Stichprobenmittel, Chance-Constraints) ersetzen oder ergänzen und stichprobenbasiertes Vorgehen, stochastische Gradienten oder Simulationsoptimierung verwenden, um Lösungen zu finden, die im Durchschnitt oder mit vorgegebener Wahrscheinlichkeit gut sind.

Demonstration

Training eines Machine-Learning-Modells durch Minimierung des erwarteten Verlusts mittels Stochastic Gradient Descent: In jeder Iteration wird ein Minibatch aus der Datenverteilung gezogen, um den Gradienten des Erwartungsverlusts zu approximieren und die Parameter zu aktualisieren.

Fehlanwendung

Eine einzelne verrauschte Stichprobe als Ersatz für die gesamte Verteilung zu behandeln, ohne die Varianz zu schätzen, was zu Overfitting auf Stichprobenrauschen oder zum Versagen probabilistischer Nebenbedingungen außerhalb der Stichprobe führen kann.

Konsequenz

Richtig angewendet führt es zu Lösungen, die über Zufallsrealisationen generalisieren, bietet Kompromisse zwischen Rechenaufwand und statistischer Genauigkeit und erlaubt die Einbeziehung simulations- oder datenbasierter Unsicherheit; typischerweise sind mehr Iterationen oder Stichproben erforderlich als bei deterministischen Verfahren.

Umkehrung

Deterministische Optimierung geht von festen Parametern und exakten Auswertungen aus; das Umkehren der stochastischen Annahmen ergibt Lösungen, die für eine einzelne Realisierung optimal sind, jedoch gegenüber Variabilität anfällig sein können.

Abgrenzung

Gilt, wenn Modellevaluierungen verrauscht sind, von Zufallsgrößen abhängen oder per Monte-Carlo-Simulation gewonnen werden; ausgeschlossen sind rein deterministische Probleme ohne Unsicherheit und Methoden, die statistische Variabilität nicht berücksichtigen (außer als Approximation).

Semantische Spannung

Im Spannungsverhältnis zur robusten Optimierung: Stochastische Optimierung fokussiert auf Durchschnittsverhalten oder probabilistische Garantien, robuste Optimierung auf Worst-Case-Garantien über Unsicherheitsmengen; beide Ansätze sind komplementär, führen aber zu unterschiedlichen Konservativitätsgraden.

Synthese

Stochastische Optimierung verbindet stichprobenbasierte Approximationen mit probabilistischer Behandlung von Nebenbedingungen, um Lösungen zu erzeugen, die explizit die Zufälligkeit berücksichtigen und einen Ausgleich zwischen statistischer Treue und Rechenaufwand herstellen.