Ein iteratives Optimierungsverfahren, das Variablen aktualisiert, indem es in Richtung des negativen Gradienten einer Zielfunktion geht, um deren Wert zu verringern; typischerweise mit Kontrolle der Schrittweite (Lernrate).

Prinzip

Die ordnende Idee ist, dass der negative Gradient die Richtung des steilsten lokalen Abfalls einer differenzierbaren Funktion ist; sukzessive kleine Schritte entlang −∇f reduzieren den Funktionswert bis zu einem stationären Punkt unter geeigneten Bedingungen.

Demonstration

Minimiere eine konvexe Quadratik f(x)=1/2 x^T A x − b^T x mit A symmetrisch positiv definit durch Iteration x_{k+1} = x_k − α ∇f(x_k) = x_k − α(Ax_k − b); mit α in (0,2/λ_max(A)) konvergiert die Methode linear zum Minimierer.

Fehlanwendung

Eine zu große feste Schrittweite kann Divergenz oder Oszillation verursachen; die Anwendung der einfachen Gradientenabstiegsmethode auf schlecht konditionierte Probleme führt zu sehr langsamer Konvergenz; Vernachlässigung der Nichtkonvexität kann Iterierte in Sattelpunkte oder schlechte lokale Minima einsperren.

Konsequenz

Bei angemessener Wahl der Schrittweite und Problemregularität konvergiert der Gradientenabstieg zu Stationärpunkten und bietet einen einfachen, skalierbaren Algorithmus für großskalige Optimierung und maschinelles Lernen.

Umkehrung

Das Gegenstück ist der Gradientenanstieg, der in Gradient-Richtung zur Maximierung geht; drastischer ersetzen Zweitordnungs- oder Quasi-Newton-Methoden die steilste Richtung durch durch die Krümmung informierte Suchrichtungen.

Abgrenzung

Erfordert Differenzierbarkeit (oder Subgradient-Verallgemeinerungen) der Zielfunktion und geeignete Lipschitz- oder Konvexitätsbedingungen für globale Garantien; schließt Probleme mit rein diskreten Entscheidungsvariablen aus, sofern nicht relaxiert.

Semantische Spannung

Wettbewerb mit Koordinatenabstieg, stochastischen Methoden und Newton-artigen Verfahren: Gradientenabstieg ist einfach und speicherschonend, kann aber langsamer sein als krümmungsinformierte oder stochastische Varianten bei großen Datenmengen.

Synthese

Gradientenabstieg ist der prototypische Erstordnungsabstiegsalgorithmus: Lokalen Gradienten berechnen, eine schrittweite wählen, die Stabilität und Fortschritt erlaubt, und iterieren, um das Ziel zu verringern; dabei wird Einfachheit und Skalierbarkeit gegen mögliche Langsamkeit auf schlecht konditionierten oder nichtkonvexen Landschaften eingetauscht.