La entropía métrica a escala ε de un conjunto S es el logaritmo (habitualmente en base e o 2) de su número de cobertura N(ε,S,ρ); comprime el conteo dependiente de la escala de bolas de radio ε en una cantidad aditiva útil en cotas de información y aprendizaje.

Principio

Convertir conteos multiplicativos de cobertura en medidas de información aditivas: tomar log N(ε) para obtener cantidades tipo entropía que se suman bajo estructuras producto y aparecen linealmente en cotas de complejidad muestral.

Demostración

Para la bola unidad en R^d con métrica euclidiana, la entropía métrica se comporta como d·log(1/ε) para ε pequeño: tomar el log de (1/ε)^d produce la escala dimensional familiar usada en estimaciones de complejidad.

Aplicación incorrecta

Descuidar la elección de la base logarítmica o mezclar entropías métricas calculadas en escalas ε incompatibles; o usar entropía métrica cuando los números de cobertura son infinitos sin especificar truncamiento o regularización.

Consecuencia

La entropía métrica proporciona un resumen conciso de la capacidad que entra directamente en cotas de convergencia uniforme, penalizaciones de regularización métricas y tasas para procedimientos de estimación y aproximación.

Inversión

Contrastarla con los números de cobertura en bruto (multiplicativos) o con tasas de entropía temporales (p. ej. entropía de Kolmogorov–Sinai) que describen sistemas dinámicos; la entropía métrica es una cantidad geométrica estática, no una tasa temporal de aleatoriedad.

Límite

Definida solo cuando los números de cobertura son finitos en el ε elegido; depende de la métrica, la definición de bolas y la base del log; comprime la información de escala y puede ocultar estructura geométrica más allá del conteo.

Tensión semántica

Compite con descriptores dimensionales (Hausdorff, Minkowski, dimensión intrínseca) y con otras medidas de complejidad (complejidad de Rademacher, dimensión VC); conjuntos con igual entropía métrica a una escala pueden diferir en comportamiento de aproximación o en estructura multi-escala.

Síntesis

La entropía métrica es la transformación logarítmica del número de cobertura: una medida aditiva dependiente de la métrica y la escala de la capacidad de un conjunto que convierte conteos multiplicativos en cantidades directamente utilizables en cotas estadísticas y de aproximación.