Un algoritmo de optimización quasi-Newton que construye y actualiza iterativamente una aproximación de la inversa del Hessiano usando diferencias de gradiente, permitiendo minimización no restringida eficiente con convergencia superlineal cerca de un minimizador local sin calcular el Hessiano exacto.

Principio

Usar evaluaciones de gradiente para formar actualizaciones de bajo rango (la actualización BFGS) a una aproximación de la inversa del Hessiano que preserva simetría y positividad definida bajo condiciones habituales de curvatura; combinar con una búsqueda en la dirección para asegurar propiedades de convergencia global y longitudes de paso estables.

Demostración

Minimizar un objetivo no lineal suave como la log-verosimilitud negativa de una regresión logística: inicializar la aproximación inversa del Hessiano con la identidad, calcular direcciones de búsqueda aplicando la aproximación al gradiente negativo, realizar una búsqueda de paso y actualizar la aproximación inversa usando las diferencias sucesivas de gradientes y pasos.

Aplicación incorrecta

Aplicar BFGS con estimaciones de gradiente inexactas o ruidosas sin salvaguardas, u omitir una búsqueda de paso adecuada, lo que puede provocar pérdida de positividad definida, pasos erráticos o fallo en la convergencia, especialmente en objetivos mal condicionados o no suaves.

Consecuencia

BFGS suele alcanzar convergencia superlineal rápida cerca de un minimizador mientras solo requiere evaluaciones de gradiente y memoria modesta; ofrece una alternativa práctica al método de Newton cuando el cálculo del Hessiano resulta impracticable.

Inversión

Los métodos de Newton puros calculan e invierten el Hessiano exacto para obtener convergencia cuadrática en condiciones ideales, pero implican costes importantes de cálculo y almacenamiento; el descenso por gradiente simple intercambia rapidez por iteraciones baratas.

Límite

Apropiado para problemas no restringidos suaves y continuamente diferenciables y de tamaño moderado; para problemas de gran escala usar L-BFGS (memoria limitada) o cambiar a métodos de primer orden cuando la memoria o el coste de gradientes domina, y evitar en objetivos no diferenciables.

Tensión semántica

Tensión entre BFGS y métodos de memoria limitada o de primer orden se centra en el intercambio entre información de curvatura (convergencia local más rápida) y coste de memoria/cómputo; las variantes estocásticas sacrifican curvatura exacta por escalabilidad bajo gradientes ruidosos.

Síntesis

BFGS incorpora aproximación de la curvatura en la descent iterativa actualizando una estimación de la inversa del Hessiano a partir del historial de gradientes y pasos, proporcionando optimización robusta y típicamente superlineal para problemas suaves mientras equilibra coste y rendimiento mediante variantes de memoria limitada.