Regularization.
Atténuer la précision d'une hypothèse de modèle.
Lors d'un calcul de coût d'une hypothèse, un coût nul ne signifie pas forcément que l'hypothèse est excellente. Cela peut plutôt paraître suspect et demande une vérification qu'il ne s'agit pas d'un cas de surapprentissage.
On ajoute à la fonction de coût une surévaluation de paramètres. Par ex :
`J = 1/m sum_(i=1)^m c(h_Θ, y) + λ sum_(j=1)^n θ_j^2`
ce qui ajoute au coût une pénalité qui augmente d'autant que les paramètres `Θ` augmente, et où `λ` doit être suffisamment grand (1000 par ex) mais pas trop (sinon sous-apprentissage) pour que la minimisation du coût fasse tendre les `θ` vers zéro.
À noter que `θ_0` ne doit pas être régularisé.
`sum_(j=1)^n θ_j^2` est équivalent à `θ^Tθ` (toujours en ignorant `θ_0`).