Un algorithme quasi-Newton d'optimisation qui construit et met à jour de manière itérative une approximation de l'inverse de Hessien à partir des différences de gradient, permettant une minimisation non contrainte efficace avec une convergence supralinéaire près d'un minimiseur local sans calculer le Hessien exact.

Principe

Utiliser les évaluations de gradient pour former des mises à jour de faible rang (la mise à jour BFGS) d'une approximation de l'inverse du Hessien qui préserve symétrie et positivité définie sous des conditions de courbure standards ; combiner avec une recherche linéaire pour garantir des propriétés de convergence globale et des longueurs de pas stables.

Démonstration

Minimiser une fonction non linéaire lisse comme la log-vraisemblance négative d'une régression logistique : initialiser l'approximation inverse du Hessien par l'identité, calculer des directions de recherche en appliquant l'approximation au gradient négatif, effectuer une recherche linéaire et mettre à jour l'approximation inverse à partir des différences de gradient et de pas successifs.

Mauvaise application

Employer BFGS avec des estimations de gradient inexactes ou bruitées sans protections, ou omettre une recherche linéaire adéquate, ce qui peut entraîner la perte de positivité définie, des pas erratiques ou l'échec de convergence, notamment sur des objectifs mal conditionnés ou non lisses.

Conséquence

BFGS obtient typiquement une convergence rapide supralinéaire près d'un minimiseur tout en n'exigeant que des évaluations de gradient et une mémoire modeste ; il constitue une alternative pratique à la méthode de Newton lorsque le calcul du Hessien est impraticable.

Inversion

Les méthodes de Newton pures calculent et inversent le Hessien exact pour obtenir une convergence quadratique en conditions idéales mais engendrent des coûts importants en calcul et mémoire ; la descente de gradient simple échange vitesse contre itérations peu coûteuses.

Limite

Adapté aux problèmes non contraints lisses et continûment différentiables et de taille modérée ; pour des problèmes très grands utiliser L-BFGS (mémoire limitée) ou recourir à des méthodes du premier ordre lorsque la mémoire ou le coût des gradients domine, et éviter sur des objectifs nondifférentiables.

Tension sémantique

Tension entre BFGS et méthodes à mémoire limitée ou du premier ordre portant sur le compromis entre information de courbure (convergence locale plus rapide) et coût mémoire/computationnel ; les variantes stochastiques sacrifient l'exactitude de la courbure pour l'évolutivité sous gradients bruités.

Synthèse

BFGS intègre une approximation de la courbure dans la descente itérative en mettant à jour une estimation de l'inverse du Hessien à partir de l'historique de gradients et de pas, offrant une optimisation robuste et typiquement supralinéaire pour des problèmes lisses tout en équilibrant coût et performance via des variantes à mémoire limitée.