L'entropie métrique à l'échelle ε d'un ensemble S est le logarithme (généralement en base e ou 2) de son nombre de recouvrement N(ε,S,ρ) ; elle compresse le comptage dépendant de l'échelle en une quantité additive utile pour les bornes d'information et d'apprentissage.

Principe

Convertir des comptes multiplicatifs de recouvrement en mesures d'information additives : prendre log N(ε) pour obtenir des quantités de type entropie qui s'additionnent sous structures produit et apparaissent linéairement dans les bornes de complexité d'échantillonnage.

Démonstration

Pour la boule unité de R^d avec métrique euclidienne, l'entropie métrique se comporte comme d·log(1/ε) pour petit ε : le logarithme de (1/ε)^d donne l'échelle dimensionnelle familière utilisée dans les estimations de complexité.

Mauvaise application

Négliger le choix de la base du logarithme ou mélanger des entropies métriques calculées à des échelles ε incompatibles ; ou employer l'entropie métrique lorsque les nombres de recouvrement sont infinis sans préciser une troncation ou une régularisation.

Conséquence

L'entropie métrique fournit un résumé concis de la capacité qui intervient directement dans les bornes de convergence uniforme, les pénalités de régularisation métrique et les vitesses d'approximation et d'estimation.

Inversion

Contraster avec les nombres de recouvrement bruts (multiplicatifs) ou avec des taux d'entropie continus (par ex. entropie de Kolmogorov–Sinai) qui décrivent des systèmes dynamiques ; l'entropie métrique est une quantité géométrique statique, non un taux temporel d'aléa.

Limite

Définie seulement lorsque les nombres de recouvrement sont finis pour l'ε choisi ; dépend de la métrique, de la définition des boules et de la base du log ; elle compresse l'information d'échelle et peut masquer la structure géométrique au-delà du comptage.

Tension sémantique

Conflit avec des descripteurs dimensionnels (Hausdorff, Minkowski, dimension intrinsèque) et avec d'autres mesures de complexité (complexité de Rademacher, dimension VC) ; deux ensembles ayant la même entropie métrique à une échelle peuvent différer en comportement d'approximation ou en structure multi-échelle.

Synthèse

L'entropie métrique est la transformée logarithmique du nombre de recouvrement : une mesure additive, dépendante de l'échelle et de la métrique, de la capacité d'un ensemble qui simplifie les comptes multiplicatifs en quantités exploitables pour des bornes statistiques et d'approximation.