Une classe d'algorithmes d'échantillonnage qui construit une chaîne de Markov dont la distribution stationnaire coïncide avec une distribution cible, produisant des échantillons dépendants utilisés pour approximer des espérances et des intégrales de probabilité de distributions complexes ou de haute dimension.

Principe

Construire un noyau de transition satisfaisant l'équilibre détaillé ou l'ergodicité par rapport à la distribution cible de sorte que les échantillons le long de la chaîne suivent asymptotiquement cette distribution ; en pratique, on gère le mélange, la période de burn-in et l'échantillonnage afin de réduire la dépendance et le biais d'initialisation.

Démonstration

Appliquer l'algorithme Metropolis-Hastings pour échantillonner le posterior bayésien d'un modèle hiérarchique : proposer une mise à jour de paramètre, l'accepter selon le rapport des densités cibles corrigé par la loi de proposition, et répéter pour obtenir une chaîne dont les moyennes empiriques approximent les moyennes a posteriori.

Mauvaise application

Considérer à tort les tirages MCMC corrélés comme indépendants lors de l'estimation de variance ou utiliser un burn-in insuffisant en considérant les premiers échantillons comme représentatifs, ce qui sous-estime l'incertitude et génère des résumés biaisés.

Conséquence

Lorsqu'il est correctement mis en œuvre et diagnostiqué, le MCMC fournit des approximations asymptotiquement correctes des espérances, des intervalles de crédibilité et des densités marginales pour des modèles analytiquement intraitables, permettant une inférence bayésienne raisonnée en haute dimension.

Inversion

Les méthodes d'échantillonnage indépendant (tirages i.i.d. exacts ou échantillonnage par importance avec propositions indépendantes) produisent des tirages non corrélés et évitent la dépendance en chaîne, au prix d'exiger des lois de proposition traitables ou d'engendrer une variance excessive en grande dimension.

Limite

S'applique aux distributions cibles pour lesquelles on peut construire un noyau de Markov adéquat et obtenir un mélange en temps raisonnable ; il n'assure pas une convergence rapide pour des cibles multimodales, à forte courbure ou de dimension extrêmement élevée sans échantillonneurs avancés ou réglages fins.

Tension sémantique

Tension entre MCMC et l'inférence variationnelle ou l'échantillonnage par importance : le MCMC vise l'exactitude asymptotique via la dépendance des échantillons, tandis que les méthodes variationnelles sacrifient l'exactitude pour la vitesse via des familles approximatives indépendantes ; les deux cherchent à approximer les mêmes cibles mais avec des modes d'erreur différents.

Synthèse

Le MCMC est un cadre d'échantillonnage par dépendance qui convertit des règles de transition locales en approximations globales de distributions de probabilité difficiles ; sa force provient de la construction de noyaux ergodiques dont la mesure empirique converge vers la cible, mais le succès pratique dépend du diagnostic, du réglage et des ressources computationnelles.