Die metrische Entropie auf Skala ε einer Menge S ist der Logarithmus (üblicherweise zur Basis e oder 2) ihrer Überdeckungszahl N(ε,S,ρ); sie komprimiert die skalenabhängige Anzahl von ε-Kugeln zu einer additiven Größe, die in Informations- und Lernabschätzungen verwendet wird.

Prinzip

Wandle multiplikative Überdeckungszählungen in additive Informationsmaße um: Nimm log N(ε), um entropieartige Größen zu erhalten, die sich unter Produktstrukturen addieren und linear in Stichproben-Komplexitätsabschätzungen erscheinen.

Demonstration

Für die Einheitskugel in R^d mit euklidischer Metrik verhält sich die metrische Entropie für kleines ε wie d·log(1/ε): der Logarithmus von (1/ε)^d liefert die vertraute dimensionale Skalierung in Komplexitätsabschätzungen.

Fehlanwendung

Den Logarithmus-Basiswahl zu ignorieren oder metrische Entropien, die auf inkompatiblen ε-Skalen berechnet wurden, miteinander zu vermischen; oder metrische Entropie zu verwenden, wenn Überdeckungszahlen unendlich sind, ohne Trunkierung oder Regularisierung anzugeben.

Konsequenz

Metrische Entropie liefert eine prägnante Zusammenfassung der Kapazität, die direkt in Schranken für gleichmäßige Konvergenz, metrische Regularisierungsstrafen und Konvergenzraten für Approximation und Schätzung eingeht.

Umkehrung

Gegenüberstellen mit rohen Überdeckungszahlen (multiplikativ) oder mit zeitlichen Entropieraten (z. B. Kolmogorov-Sinai-Entropie) die dynamische Systeme beschreiben; metrische Entropie ist eine statische geometrische Größe, kein zeitlicher Zufallsrate.

Abgrenzung

Definiert nur, wenn die Überdeckungszahlen für das gewählte ε endlich sind; hängt von Metrik, Kugeldefinition und Log-Basis ab; sie komprimiert Skaleninformationen und kann geometrische Struktur jenseits des Zählens verbergen.

Semantische Spannung

Spannung zu dimensionsbasierten Beschreibungen (Hausdorff, Minkowski, intrinsische Dimension) und zu anderen Komplexitätsmaßen (Rademacher-Komplexität, VC-Dimension); zwei Mengen mit gleicher metrischer Entropie auf einer Skala können sich in Approximationsverhalten oder Mehrskalenstruktur unterscheiden.

Synthese

Metrische Entropie ist die logarithmische Transformation der Überdeckungszahl: ein skalen- und metriksensitives additives Maß der Kapazität, das multiplikative Überdeckungszählungen in direkt verwendbare Größen für statistische und approximative Schranken überführt.