Règle d'affectation d'une distribution de probabilité en présence d'informations partielles : choisir la distribution qui maximise l'entropie (de Shannon) sous les contraintes connues, afin de rester le plus impartial possible sur les aspects inconnus.

Principe

Lorsque seules des contraintes partielles (généralement des valeurs d'espérance ou la normalisation) sont disponibles, privilégier la distribution d'entropie maximale compatible avec ces contraintes pour éviter d'introduire des structures non justifiées.

Démonstration

Connaissant uniquement l'énergie moyenne d'un système, maximiser l'entropie sous cette contrainte donne la distribution de Gibbs (famille exponentielle) ; connaissant uniquement une moyenne liée au biais d'une pièce, MaxEnt fournit la distribution la moins informative qui respecte cette statistique.

Mauvaise application

Utiliser MaxEnt avec des contraintes mal spécifiées, dérivées de résumés bruités ou biaisés, ou l'employer à la place d'une mise à jour bayésienne lorsque des informations a priori pertinentes existent conduit à des inférences trompeuses. Employer une mesure d'entropie inadaptée constitue aussi une mauvaise application.

Conséquence

Une application correcte produit des distributions de la famille exponentielle, des estimations objectivement les moins biaisées données les contraintes, et une représentation canonique de l'ignorance souvent cohérente avec des régularités statistiques observées.

Inversion

Minimiser l'entropie sous les mêmes contraintes concentre la masse de probabilité et impose des hypothèses injustifiées, donnant des modèles excessivement confiants ou dégénérés.

Limite

S'applique quand les contraintes sont bien définies et représentent toute l'information connue ; ce n'est pas un substitut aux modèles causaux, cela ne prescrit pas le choix des contraintes et dépend de la mesure d'entropie et du domaine (discret, continu, fonctionnel).

Tension sémantique

Conflit avec le choix bayésien subjectif de priors et avec des méthodes qui incorporent des hypothèses structurelles supplémentaires (par exemple, modèles paramétriques ou priors hiérarchiques) ; la tension porte sur ce qui compte comme 'contraintes connues' et si MaxEnt ou un prior choisi encode mieux la connaissance préalable.

Synthèse

MaxEnt formalise l'idée d'une inférence probabiliste la moins engagée compatible avec des contraintes spécifiées : maximiser l'entropie pour transformer ces contraintes en une distribution canonique (typiquement une famille exponentielle) qui n'encapsule que l'information justifiée.