Regla para asignar una distribución de probabilidad con información incompleta: elegir la distribución que maximiza la entropía (de Shannon) sujeta a las restricciones conocidas, permaneciendo así lo menos comprometido posible sobre los detalles desconocidos.

Principio

Cuando solo se conocen restricciones parciales (normalmente valores esperados o la normalización), preferir la distribución de entropía máxima compatible con esas restricciones para evitar introducir estructuras no justificadas.

Demostración

Si solo se conoce la energía media de un sistema, maximizar la entropía con esa restricción conduce a la distribución de Gibbs (familia exponencial); si solo se conoce una media asociada al sesgo de una moneda, MaxEnt produce la distribución menos informativa que respeta esa estadística.

Aplicación incorrecta

Usar MaxEnt con restricciones mal especificadas, derivadas de resúmenes ruidosos o sesgados, o sustituir el ajuste bayesiano cuando existe información previa pertinente puede producir inferencias erróneas. Emplear una funcionalidad de entropía inadecuada también es un mal uso.

Consecuencia

La aplicación correcta produce distribuciones de familia exponencial, estimaciones objetivamente menos sesgadas dadas las restricciones y una representación canónica de la ignorancia que a menudo coincide con regularidades observadas.

Inversión

Minimizar la entropía bajo las mismas restricciones concentra la masa de probabilidad e impone supuestos injustificados, produciendo modelos excesivamente confiados o degenerados.

Límite

Se aplica cuando las restricciones están bien definidas y representan toda la información conocida; no sustituye a modelos causales, no prescribe la elección del conjunto de restricciones y depende de la medida de entropía escogida y del dominio (discreto, continuo o funcional).

Tensión semántica

Compite con la elección subjetiva bayesiana de priors y con métodos que incorporan supuestos estructurales adicionales (por ejemplo, modelos paramétricos o priors jerárquicos); la tensión se da en qué se considera 'restricciones conocidas' y si MaxEnt o un prior elegido codifica mejor el conocimiento previo.

Síntesis

MaxEnt formaliza hacer la inferencia probabilística menos comprometida compatible con restricciones dadas: maximizar la entropía para convertir esas restricciones en una distribución canónica (típicamente de la familia exponencial) que codifica únicamente la información justificada.