Barbara
PLONGEONS DANS LA RÉGRESSION LINÉAIRE MULTIPLE AVEC DES EXEMPLES EN PYTHON
Dans la première partie de cet article, nous avons défini formellement le problème de régression linéaire et montré comment résoudre des problèmes de régression linéaire simple, où l’ensemble de données ne contient qu’une seule caractéristique. Dans la deuxième partie de l’article, nous aborderons les problèmes de régression linéaire multiple, où l’ensemble de données peut contenir un nombre quelconque de caractéristiques.
NOUS GÉNÉRALISONS LA SOLUTION DE FORME FERMÉE QUE NOUS AVONS TROUVÉE POUR LA RÉGRESSION LINÉAIRE SIMPLE À TOUT NOMBRE DE CARACTÉRISTIQUES.
Pour simplifier la dérivation des équations normales pour le cas général, nous définissons d’abord une matrice X qui contient les valeurs de toutes les caractéristiques de l’ensemble de données, y compris les termes d’interception. Cette matrice est appelée la matrice de conception.
Ensuite, nous définissons le vecteur y comme un vecteur n-dimensional qui contient toutes les valeurs cibles.
NOUS DISCUTONS DES AVANTAGES ET DES INCONVÉNIENTS DE L’UTILISATION DE LA SOLUTION DE FORME FERMÉE PAR RAPPORT À L’APPROCHE BASÉE SUR LE GRADIENT DESCENDANT.
Nous explorons également les classes dans Scikit-Learn qui mettent en œuvre les deux approches et démontrons comment les utiliser sur un ensemble de données réelles.
Dans les problèmes de régression, nous sommes donnés un ensemble de n exemples étiquetés : D = {(x₁, y₁), (x₂, y₂), …, (xₙ, yₙ)}, où xᵢ est un vecteur m-dimensional contenant les caractéristiques de l’exemple i, et yᵢ est une valeur réelle qui représente l’étiquette de cet exemple.
Dans les problèmes de régression linéaire, nous supposons qu’il existe une relation linéaire entre le vecteur de caractéristiques x et l’étiquette y, de sorte que notre hypothèse de modèle prend la forme suivante :
LE BUT EST DE TROUVER LES PARAMÈTRES W DE CE MODÈLE QUI MINIMISENT LA SOMME DES RÉSIDUS AU CARRÉ.
Nous avons montré comment trouver le W optimal pour le cas de m = 1 en utilisant les équations normales. Nous allons maintenant étendre ces équations pour n’importe quel nombre de caractéristiques m.
LE COÛT DE LA FONCTION DANS OLS EST ÉCRIT SOUS LA FORME MATRICIELLE.
Nous notons d’abord que la fonction J(w) est convexe, donc elle a un seul minimum local, qui est également le minimum global. Pour trouver ce minimum global, nous calculons le gradient de J(w) par rapport à w et le fixons à zéro.
LE GRADIENT DE J(W) PAR RAPPORT À W EST :
Nous pouvons maintenant utiliser cette fonction pour trouver le W optimal pour l’ensemble de données en appelant np.linalg.inv(X.T @ X) @ X.T @ y.
SCIKIT-LEARN FOURNIT UNE CLASSE APPELÉE LINEARREGRESSION QUI IMPLÉMENTE ÉGALEMENT LA SOLUTION DE FORME FERMÉE AU PROBLÈME DE LA MOINDRE QUADRATIQUE ORDINAIRE.
Par défaut, cette classe ajoute automatiquement une colonne de 1s à la matrice de conception, donc vous n’avez pas besoin de l’ajouter manuellement comme nous l’avons fait précédemment.
Nous pouvons maintenant évaluer le modèle sur l’ensemble d’entraînement et l’ensemble de test en utilisant la fonction de score R². Il est important d’évaluer votre modèle sur les deux ensembles, car une grande différence entre les scores d’entraînement et de test peut indiquer que votre modèle est surajusté.
Enfin, nous avons évalué le modèle avec un score R² de 0,60890 pour l’ensemble d’entraînement et un score R² de 0,59432 pour l’ensemble de test. Cela indique que la relation entre les caractéristiques et l’étiquette peut ne pas être linéaire et qu’une régression polyynomiale peut être envisagée.
