Régression statistique

Motivation

Déterminer la relation entre 2 variables.

Analyse

Soit :

• `X` une matrice de `m xx n` caractéristiques (features)
• `y` un vecteur de données résultantes connues

Il existe plusieurs types de régressions, suivant que l'on modélise la prédiction sous forme de :

• droite/surface plane (pente constante) : linéaire
• ligne/surface courbe (pente variable) : non linéaire
• succès/échec (binaire) ou classe/catégorie : logistique
• quantile
• non paramétrique

Un même ensemble de données peut être modélisé par divers types de régressions, mais une de celle-ci sera plus adaptée/fidèle aux données que les autres.

Conception

On utilisera des outils comme :

• une fonction de coût
• l'algorithme de descente de gradient
• l'équation normale
• régularisation des paramètres

Exemples

Les régressions sont une des techniques de ML.

Notes

Le terme de "régression" a été introduit par Francis Galton à la suite d'une étude statistique sur la taille des descendants de personnes de grande taille, qui diminue de générations en générations vers une taille moyenne (donc leur taille "régresse") s1Stephen M. Stigler : "Francis Galton's Account of the Invention of Correlation", Statist. Sci. Volume 4, Number 2 (1989), 73-79. s2Francis Galton, "Regression Towards Mediocrity in Hereditary Stature", Journal of the Anthropological Institute, vol. 15,‎ 1886, p. 246-263.