Eine Regel zur Zuordnung einer Wahrscheinlichkeitsverteilung bei unvollständiger Information: Wähle die Verteilung, die die (Shannon-)Entropie unter den bekannten Nebenbedingungen maximiert, um gegenüber unbekannten Details möglichst nicht festgelegt zu sein.

Prinzip

Sind nur partielle Nebenbedingungen (typischerweise Erwartungswerte oder Normierung) bekannt, so wird die Verteilung mit größter Entropie, die diese Nebenbedingungen erfüllt, bevorzugt, um unbegründete Annahmen zu vermeiden.

Demonstration

Kennt man nur die mittlere Energie eines Systems, führt die Entropiemaximierung unter dieser Nebenbedingung zur Gibbs-Verteilung (Exponentialfamilie); bei Kenntnis nur eines Mittelwerts, der mit der Schiefe einer Münze zusammenhängt, liefert MaxEnt die am wenigsten informierende Verteilung, die diese Statistik erfüllt.

Fehlanwendung

MaxEnt mit falsch angegebenen Nebenbedingungen, aus verrauschten oder verzerrten Zusammenfassungen abgeleiteten Bedingungen oder als Ersatz für bayessches Aktualisieren bei vorhandener Vorinformation anzuwenden, führt zu irreführenden Schlussfolgerungen. Die falsche Wahl des Entropiebegriffs ist ebenfalls fehlerhaft.

Konsequenz

Korrekte Anwendung ergibt Exponentialfamilien, objektiv wenig voreingenommene Schätzungen bezogen auf die Nebenbedingungen und eine kanonische Repräsentation von Unwissenheit, die oft mit beobachteten statistischen Regularitäten übereinstimmt.

Umkehrung

Entropie unter denselben Nebenbedingungen zu minimieren konzentriert die Wahrscheinlichkeitsmasse und erzwingt unberechtigte Annahmen; das ergibt zu überzuverlässige oder entartete Modelle.

Abgrenzung

Gilt, wenn die Nebenbedingungen klar definiert sind und alle bekannten Informationen repräsentieren; es ersetzt keine kausalen Modelle, trifft keine Aussage über die Auswahl der Nebenbedingungen und hängt vom gewählten Entropiebegriff und Dem Bereich (diskret, kontinuierlich, funktional) ab.

Semantische Spannung

Steht im Wettbewerb mit subjektiven bayesschen Priorwahlen und Methoden, die zusätzliche strukturelle Annahmen einbeziehen (z. B. parametrische Modelle oder hierarchische Priors); die Spannung liegt darin, was als 'bekannte Nebenbedingungen' gilt und ob MaxEnt oder ein gewählter Prior Wissen besser kodiert.

Synthese

MaxEnt formalisert die Idee, die am wenigsten festgelegte Wahrscheinlichkeitsaussage zu treffen, die mit gegebenen Nebenbedingungen verträglich ist: Entropie maximieren, um diese Nebenbedingungen in eine kanonische Verteilung (meist Exponentialfamilie) zu überführen, die nur die gerechtfertigte Information enthält.