Ein kombinatorisches Kapazitätsmaß für eine Klasse von Indikatorfunktionen (binär), definiert als die größte Mächtigkeit einer endlichen Punktmenge, die die Klasse 'shattern' kann, d.h. auf der sie jede mögliche Binärbeschriftung realisieren kann.

Prinzip

Kapazität wird durch die Fähigkeit gemessen, alle Beschriftungen auf endlichen Punktmengen zu realisieren; die VC‑Dimension ist die maximale Anzahl von Punkten, für die diese vollständige Beschriftungsfreiheit gilt.

Demonstration

Bei Intervallen auf der reellen Achse können zwei beliebige Punkte so beschriftet werden, dass alle vier möglichen Binärlabel realisierbar sind; für drei Punkte ist das mit Intervallen nicht garantiert, daher ist die VC‑Dimension von Intervallen gleich 2.

Fehlanwendung

Die VC‑Dimension als direkten Vorhersager für Testfehler zu verwenden, ohne Verteilungseffekte, Margen oder Regularisierung zu berücksichtigen; oder die VC‑Dimension einer anderen Hypothesenklasse zu berechnen als der tatsächlich verwendeten.

Konsequenz

Richtig eingesetzt liefert die VC‑Dimension Aussagen über uniforme Konvergenz und Stichprobenkomplexität: Eine höhere VC‑Dimension verlangt mehr Trainingspunkte, um sicherzustellen, dass das empirische Risiko das wahre Risiko gleichmäßig approximiert.

Umkehrung

Umgekehrt interpretiert bedeutet eine kleine VC‑Dimension geringe Ausdruckskraft und tendenziell bessere Generalisierung, während unendliche VC‑Dimension auf mögliche Überanpassung hinweist, sofern nicht andere Beschränkungen gelten.

Abgrenzung

Gilt für Klassen binärer Indikatorfunktionen; für reellwertige Hypothesen gibt es Erweiterungen (Pseudo‑Dimension, Fat‑Shattering). Es ist eine worst‑case‑kombinatorische Größe und kann für spezifische Verteilungen oder Algorithmen zu grob sein.

Semantische Spannung

Steht im Spannungsverhältnis zu datenabhängigen Komplexitätsmaßen (Rademacher‑Komplexität, Stabilität, Margen), weil die VC‑Dimension distributionsfrei ist und daher praktisch weniger genau sein kann als datenabhängige Maße.

Synthese

Die VC‑Dimension fasst die kombinatorische Ausdruckskraft einer binären Hypothesenklasse im Worst‑Case zusammen, indem sie die größte Punktmenge zählt, die vollständig labelbar ist; sie ist nützlich für theoretische Stichprobenabschätzungen, aber nicht immer scharf.