Eine Familie von Techniken, die schlecht gestellte oder schlecht konditionierte Probleme durch Hinzufügen von Information, Nebenbedingungen oder Glättungstermen (Regularisierer) stabilisiert, um eine wohlgeformte Lösung auszuwählen; häufig in inversen Problemen, Optimierung und maschinellem Lernen verwendet.

Prinzip

Zusätzliche Struktur oder Strafterm einführen (z. B. Normstrafen, Glättungsoperatoren, Priorverteilungen), um Instabilität oder Nicht-Eindeutigkeit zu kontrollieren, dabei Bias gegen Varianz tauschen und stabile Numerik sowie sinnvolle Lösungswahl ermöglichen.

Demonstration

Tikhonov-Regularisierung für lineare inverse Probleme: min_x ||Ax−b||^2 + λ||Lx||^2 lösen, wobei λ>0 Glättung oder Bestrafung steuert (L häufig Identität oder Ableitungsoperator); mit wachsendem λ wird die Lösung glatter und stabiler, zu Lasten eines Bias.

Fehlanwendung

Einen ungeeigneten Regularisierer oder Parameter wählen (Überregularisierung, die Signal unterdrückt; Unterregularisierung, die Instabilität belässt), Regularisierung einsetzen, um Modellfehler zu kaschieren statt das Modell zu korrigieren, oder skalenabhängige Effekte bei der Interpretation ignorieren.

Konsequenz

Erzeugt stabile, eindeutig bestimmte approximative Lösungen mit kontrollierter Empfindlichkeit gegenüber Rauschen; ermöglicht numerische Löser und statistische Interpretation, erfordert aber Parameterauswahl und Bewusstsein für eingeführten Bias.

Umkehrung

Unregularisierte Inversion oder Anpassung, die versucht, ein schlecht gestelltes Problem direkt zu lösen und oft Rauschen verstärkt sowie nicht eindeutige oder instabile Lösungen liefert.

Abgrenzung

Regularisierung adressiert Instabilität und Nicht-Eindeutigkeit für gegebenes Modell und Daten, ersetzt aber nicht die korrekte Modellspezifikation und kann nicht über die in den Daten enthaltene Information hinaus extrapolieren; Wahl des Regularisierers und seines Parameters beeinflusst das Ergebnis entscheidend.

Semantische Spannung

Spannung zwischen Bestrafungs- (frequentistischer) und Prior- (bayesianischer) Interpretation: Derselbe Regularisierer kann als Strafterm oder als Prior gelesen werden, was zu unterschiedlichen Intuitionen über Bias, Unsicherheitsquantifizierung und Parameterauswahl führt.

Synthese

Regularisierung führt zusätzliche Nebenbedingungen oder Strafterme ein, um schlecht konditionierte oder schlecht gestellte Probleme stabil und lösbar zu machen, wobei Stabilität und Bias durch Wahl und Stärke des Regularisierers kontrolliert werden.