Famille de techniques qui stabilisent des problèmes mal posés ou mal conditionnés en ajoutant de l'information, des contraintes ou des termes de lissage (régularisateurs) pour sélectionner une solution bien comportée ; utilisée en problèmes inverses, optimisation et apprentissage automatique.

Principe

Introduire une structure supplémentaire ou une pénalité (p. ex. pénalités de norme, opérateurs de lissage, distributions a priori) pour contrôler l'instabilité ou la non-unicité, échangeant biais contre variance et permettant un calcul stable et une sélection de solution significative.

Démonstration

Régularisation de Tikhonov pour problèmes inverses linéaires : résoudre min_x ||Ax−b||^2 + λ||Lx||^2 où λ>0 contrôle le lissage ou la pénalisation (L souvent identité ou opérateur dérivé) ; quand λ augmente la solution est plus lisse et plus stable, au prix d'un biais.

Mauvaise application

Choisir un régularisateur ou un paramètre inapproprié (sur-régularisation qui efface le signal, sous-régularisation qui laisse l'instabilité), utiliser la régularisation pour masquer une mauvaise spécification du modèle au lieu de corriger le modèle, ou ignorer les effets liés à l'échelle lors de l'interprétation des résultats.

Conséquence

Fournit des solutions approximatives stables et déterminées de manière unique avec sensibilité au bruit contrôlée ; permet des solveurs numériques et une interprétation statistique mais requiert le choix d'un paramètre et la prise en compte du biais introduit.

Inversion

Inversion ou ajustement non régularisé qui tente de résoudre directement un problème mal posé et amplifie souvent le bruit en produisant des solutions non uniques ou instables.

Limite

La régularisation traite l'instabilité et la non-unicité pour un modèle et des données donnés, mais ne remplace pas une spécification correcte du modèle ni ne permet d'extrapoler au-delà de l'information contenue dans les données ; le choix du paramètre et de la forme du régularisateur affecte profondément les résultats.

Tension sémantique

Tension entre interprétations par pénalisation (fréquentiste) et par a priori (bayésien) : le même régularisateur peut se lire comme pénalité ou comme loi a priori, conduisant à des intuitions différentes sur le biais, la quantification de l'incertitude et le choix de paramètres.

Synthèse

La régularisation impose des contraintes ou pénalités supplémentaires pour transformer des problèmes mal conditionnés ou mal posés en problèmes stables et résolubles, produisant des solutions approximatives dont la stabilité et le biais sont contrôlés par le type et la force du régularisateur.