Évaluation visant à déterminer si un modèle mathématique ou numérique est suffisamment précis et adapté à son usage prévu en comparant ses prédictions à des données indépendantes, à des comportements observés ou à des références établies.

Principe

S'appuyer sur des preuves indépendantes et des critères de performance pertinents pour le contexte décisionnel afin d'estimer si les sorties et comportements du modèle sont compatibles avec la réalité ; insister sur la représentativité des cas d'essai et la quantification de l'erreur prédictive.

Démonstration

Un modèle pluie-débit calibré sur un sous-ensemble de bassins équipés est évalué sur des observations de débit provenant de bassins et d'événements pluviométriques exclus de la calibration pour vérifier si la qualité des prévisions répond aux besoins de gestion de l'eau.

Mauvaise application

Utiliser les mêmes données pour la calibration et la validation, choisir des métriques de validation non alignées avec l'objectif décisionnel, ou assimiler un grand nombre de tests réussis à une validité universelle.

Conséquence

Bien réalisée, la validation donne aux parties prenantes une confiance justifiée dans les décisions fondées sur le modèle, ou met au jour des limites du modèle conduisant à sa révision ou à la collecte de données supplémentaires.

Inversion

Déclarer un modèle invalide en montrant des échecs prédictifs systématiques sur des tests indépendants, ou confondre validation et vérification (cette dernière vérifie le code et non l'adéquation prédictive).

Limite

La validation ne prouve pas la vérité de façon universelle ; elle dépend des scénarios testés, de la qualité des données indépendantes et des métriques choisies ; elle exclut la détection des bogues logiciels, qui relève de la vérification.

Tension sémantique

Souvent confondue avec la vérification et la calibration ; une tension apparaît lorsque « validation » est employée pour signifier la vérification du code, l'ajustement de paramètres ou la sélection de modèle plutôt que l'évaluation prédictive indépendante.

Synthèse

La validation de modèle consiste à vérifier, au regard d'éléments indépendants et de scénarios pertinents, l'aptitude du modèle à son usage afin d'établir un niveau de confiance et de préciser ses limites.