Monitoring : supervision, surveillance.
Motivation
S'assurer que des modèles de ML en production restent équitables, explicables et conformes aux attentes.
Analyse
La surveillance d'un modèle peut inclure de vérifier régulièrement :
- la bonne santé du modèle, au travers d'indicateurs de :
- dérive des données (data drift)
- qualité du modèle, au travers d'indicateurs comme
- la fiabilité d'un modèle de classification binaire
- ROC/AUC ;
- exactitude (accuracy) : vérifier si la prédiction est confirmée par les faits (ground truth) constatés par la suite.
- Données déformées (data skew) : le modèle a été entraîné sur des données
qui ne sont pas représentatives. Soit parce que:
- le traffic de prédictions
Conception
Dérive
La dérive de données consiste à comparer les données d'entraînement aux données de
prédiction.
Elle peut être évaluée à travers de tests de type :