##  [Gradientenabstieg](/de/node/59621) 

 Definition

Ein iteratives Optimierungsverfahren, das Variablen aktualisiert, indem es in Richtung des negativen Gradienten einer Zielfunktion geht, um deren Wert zu verringern; typischerweise mit Kontrolle der Schrittweite (Lernrate).

 

 

 

 

 

 





## Prinzip

Prinzip

Die ordnende Idee ist, dass der negative Gradient die Richtung des steilsten lokalen Abfalls einer differenzierbaren Funktion ist; sukzessive kleine Schritte entlang −∇f reduzieren den Funktionswert bis zu einem stationären Punkt unter geeigneten Bedingungen.

 

 

 

 

 





## Demonstration

Demonstration

Minimiere eine konvexe Quadratik f(x)=1/2 x^T A x − b^T x mit A symmetrisch positiv definit durch Iteration x_{k+1} = x_k − α ∇f(x_k) = x_k − α(Ax_k − b); mit α in (0,2/λ_max(A)) konvergiert die Methode linear zum Minimierer.

 

 

 

 

## Fehlanwendung

Fehlanwendung

Eine zu große feste Schrittweite kann Divergenz oder Oszillation verursachen; die Anwendung der einfachen Gradientenabstiegsmethode auf schlecht konditionierte Probleme führt zu sehr langsamer Konvergenz; Vernachlässigung der Nichtkonvexität kann Iterierte in Sattelpunkte oder schlechte lokale Minima einsperren.

 

 

 

 

 





## Konsequenz

Konsequenz

Bei angemessener Wahl der Schrittweite und Problemregularität konvergiert der Gradientenabstieg zu Stationärpunkten und bietet einen einfachen, skalierbaren Algorithmus für großskalige Optimierung und maschinelles Lernen.

 

 

 

 

## Umkehrung

Umkehrung

Das Gegenstück ist der Gradientenanstieg, der in Gradient-Richtung zur Maximierung geht; drastischer ersetzen Zweitordnungs- oder Quasi-Newton-Methoden die steilste Richtung durch durch die Krümmung informierte Suchrichtungen.

 

 

 

 

 





## Abgrenzung

Abgrenzung

Erfordert Differenzierbarkeit (oder Subgradient-Verallgemeinerungen) der Zielfunktion und geeignete Lipschitz- oder Konvexitätsbedingungen für globale Garantien; schließt Probleme mit rein diskreten Entscheidungsvariablen aus, sofern nicht relaxiert.

 

 

 

 

 





## Semantische Spannung

Semantische Spannung

Wettbewerb mit Koordinatenabstieg, stochastischen Methoden und Newton-artigen Verfahren: Gradientenabstieg ist einfach und speicherschonend, kann aber langsamer sein als krümmungsinformierte oder stochastische Varianten bei großen Datenmengen.

 

 

 

 

 





## Synthese

Synthese

Gradientenabstieg ist der prototypische Erstordnungsabstiegsalgorithmus: Lokalen Gradienten berechnen, eine schrittweite wählen, die Stabilität und Fortschritt erlaubt, und iterieren, um das Ziel zu verringern; dabei wird Einfachheit und Skalierbarkeit gegen mögliche Langsamkeit auf schlecht konditionierten oder nichtkonvexen Landschaften eingetauscht.