Der Prozess des Vergleichs und der Wahl zwischen konkurrierenden mathematischen oder statistischen Modellen anhand von Kriterien wie prädiktiver Leistung, Komplexität, Parsimonie, Informationskriterien oder Kreuzvalidierungswerten.

Prinzip

Model Selection balanciert Anpassungsgüte gegen Modellkomplexität, um Überanpassung zu vermeiden, unter Verwendung formaler Kriterien (AIC, BIC), prädiktiver Validierung (Kreuzvalidierung) oder entscheidungstheoretischer Metriken, die den erwarteten prognostischen Verlust und die Interpretierbarkeit gewichten.

Demonstration

Die Wahl zwischen linearer und polynomialer Regression anhand des kreuzvalidierten Vorhersagefehlers; Auswahl der Komponentenanzahl in einem Mischmodell mittels BIC; Entscheidung zwischen konkurrierenden mechanistischen epidemiologischen Modellen anhand von Out-of-Sample-Vorhersagen und Parsimonie.

Fehlanwendung

Modelle ausschließlich auf In-Sample-Fit oder einem einzelnen p-Wert zu selektieren, ohne Komplexität zu bestrafen, oder Auswahl mit denselben Daten durchzuführen, die später für Inferenz oder Tests verwendet werden (Datenleck), was die scheinbare Leistung überbewertet und zu schlechter Generalisierung führt.

Konsequenz

Angemessene Modellauswahl liefert Modelle, die besser auf neue Daten verallgemeinern, vereinfacht die Interpretation und unterstützt verlässliche Entscheidungen; sie macht außerdem Modellunsicherheit deutlich und kann zum Modellmittelung führen, wenn kein einzelnes Modell eindeutig überlegen ist.

Umkehrung

Modellmittelung oder Ensemble-Ansätze: statt ein Modell auszuwählen, mehrere Modelle nach Leistung oder posteriorer Wahrscheinlichkeit gewichten und kombinieren, um gegen Selektionsunsicherheit abzusichern und oft die Vorhersagegenauigkeit zu verbessern.

Abgrenzung

Konzentriert sich auf strukturelle Entscheidungen zwischen konkurrierenden Modellformen und Komplexitätsgraden; schließt die Parameterschätzung innerhalb eines festen Modells aus (obwohl beide interagieren) und die Kalibrierung, die auf das Abstimmen der prädiktiven Leistung eines gewählten Modells abzielt, ohne dessen Struktur zu ändern.

Semantische Spannung

Es besteht Spannung zwischen Auswahl und Mittelung: Auswahl verpflichtet zu einer Struktur und vereinfacht die Interpretation, während Mittelung Modellunsicherheit anerkennt und prädiktiv besser sein kann, jedoch Interpretierbarkeit und operationelle Einfachheit vermindert.

Synthese

Modellauswahl ist der prinzipielle Vergleich und die Wahl unter Alternativmodellen unter Verwendung von Komplexitätsstrafen und Maßen prädiktiver Leistung; sie liefert eine begründete strukturelle Entscheidung und erkennt zugleich verbleibende Modellunsicherheit und die Option des Mittelns an.