Lab « 3 » :

1. Qu'est-ce que la régression dans le contexte de l'apprentissage automatique ?

La régression est une technique d'apprentissage automatique qui permet de prédire

une variable continue en se basant sur des données d'entrée. Plus précisément, la
régression consiste à trouver une fonction mathématique qui relie les variables
d'entrée à la variable de sortie. Cette fonction peut ensuite être utilisée pour prédire
la valeur de la variable de sortie pour de nouvelles données d'entrée.

La régression est utilisée dans de nombreux domaines de l'apprentissage

automatique, notamment pour la prédiction de prix, la prévision de la demande, la
détection de fraudes, la modélisation du comportement des utilisateurs, la prédiction
de la qualité des produits, etc.

Il existe plusieurs types de régressions en fonction des caractéristiques des données

et de l'objectif de prédiction. Par exemple, la régression linéaire, la régression
polynomiale, la régression logistique, la régression de Poisson, etc. Chacun de ces
types de régressions utilise une méthode mathématique différente pour trouver la
fonction qui relie les variables d'entrée à la variable de sortie.

2. Quels sont les différents types de régression ? Pouvez-vous expliquer la différence

entre la régression linéaire (simple et multiple), la régression logistique et la
régression polynomiale ?

 Régression linéaire :

La régression linéaire est une méthode couramment utilisée pour modéliser la

relation entre une variable de réponse continue et une ou plusieurs variables
explicatives continues. Il y a deux types de régression linéaire : simple et multiple. La
régression linéaire simple est utilisée lorsqu'il y a une seule variable explicative, tandis
que la régression linéaire multiple est utilisée lorsqu'il y a plusieurs variables
explicatives. Dans les deux cas, la fonction de régression est linéaire, ce qui signifie
qu'elle est représentée par une équation linéaire.
 Régression logistique :
La régression logistique est utilisée pour modéliser la relation entre une variable
binaire (oui/non) ou une variable catégorielle et une ou plusieurs variables
explicatives continues ou catégorielles. La fonction de régression est non linéaire et
est représentée par l'équation de la fonction logistique, qui permet de transformer les
valeurs continues des variables explicatives en probabilités de la variable de réponse.
 Régression polynomiale :
La régression polynomiale est utilisée pour modéliser une relation non linéaire entre
une variable de réponse continue et une ou plusieurs variables explicatives continues.
La fonction de régression est représentée par une équation polynomiale qui peut être
de différents ordres (par exemple, quadratique, cubique, etc.) en fonction de la
complexité de la relation non linéaire. La régression polynomiale peut donc modéliser
des relations plus complexes que la régression linéaire.
En résumé, la principale différence entre ces trois types de régression réside dans la
nature de la relation entre la variable de réponse et les variables explicatives. La
régression linéaire est utilisée lorsque la relation est linéaire, la régression logistique
est utilisée lorsque la variable de réponse est binaire ou catégorielle et la régression
polynomiale est utilisée lorsque la relation est non linéaire et peut être modélisée par
une fonction polynomiale.
3. Comment fonctionne l'algorithme d'apprentissage de la régression linéaire ?
Pouvez-vous expliquer les différentes étapes impliquées dans le processus
d'apprentissage ?

La régression linéaire est une méthode statistique pour prédire une variable de sortie
continue en fonction d'une ou plusieurs variables d'entrée. L'algorithme
d'apprentissage de la régression linéaire est un algorithme supervisé qui utilise des
données d'entrée et de sortie pour apprendre à prédire les sorties futures en fonction
des entrées données.

Voici les étapes impliquées dans le processus d'apprentissage de la régression

linéaire :

Collecte de données d'entraînement : La première étape consiste à collecter des

données d'entraînement pour l'algorithme. Les données d'entraînement
comprennent un ensemble de variables d'entrée (X) et un ensemble de variables de
sortie (Y) correspondantes.

Séparation des données : Les données collectées doivent être séparées en deux
ensembles : un ensemble d'entraînement et un ensemble de test. L'ensemble
d'entraînement est utilisé pour entraîner l'algorithme, tandis que l'ensemble de test
est utilisé pour évaluer la performance de l'algorithme.

Normalisation des données : Les données doivent être normalisées pour garantir que
les différentes variables ont la même échelle. Cela peut être fait en soustrayant la
moyenne de chaque variable et en divisant par l'écart type.

Initialisation des paramètres : Les paramètres initiaux doivent être définis pour
l'algorithme, tels que les coefficients de régression et le biais.

Définition de la fonction de coût : Une fonction de coût est définie pour mesurer l'écart
entre les prédictions de l'algorithme et les sorties réelles. La fonction de coût est
généralement une fonction quadratique.
Optimisation des paramètres : L'algorithme doit trouver les valeurs optimales des
paramètres pour minimiser la fonction de coût. Cela peut être fait en utilisant une
méthode d'optimisation telle que la descente de gradient.

Évaluation de la performance : L'ensemble de test est utilisé pour évaluer la

performance de l'algorithme. La performance peut être mesurée en utilisant des
métriques telles que l'erreur quadratique moyenne (EQM) ou le coefficient de
détermination (R²).

Utilisation de l'algorithme : Une fois que l'algorithme est entraîné et que sa

performance est satisfaisante, il peut être utilisé pour prédire les sorties futures en
fonction des entrées données.

Ces étapes constituent le processus d'apprentissage de la régression linéaire. En

résumé, l'algorithme d'apprentissage de la régression linéaire utilise les données
d'entraînement pour apprendre à prédire les sorties futures en fonction des entrées
données.

4. Comment fonctionne l'algorithme de régression polynomiale ? Quels sont les

différents paramètres impliqués dans cet algorithme ?

L'algorithme de régression polynomiale est une technique de modélisation statistique

qui permet de représenter la relation entre une variable dépendante et une ou
plusieurs variables indépendantes en utilisant une fonction polynomiale. Cette
méthode est souvent utilisée lorsque la relation entre les variables ne peut pas être
modélisée de manière linéaire.

L'algorithme de régression polynomiale fonctionne en ajustant une courbe

polynomiale à un ensemble de données. Plus précisément, il cherche à trouver les
coefficients du polynôme qui minimisent l'erreur de prédiction entre les valeurs
réelles et prédites.

Les différents paramètres impliqués dans l'algorithme de régression polynomiale

sont:

Le degré du polynôme : C'est le paramètre le plus important de l'algorithme. Il

détermine le nombre de termes polynomiaux dans la fonction de régression. Par
exemple, un polynôme de degré 2 aurait des termes tels que x^2, x, et une constante.

Les coefficients du polynôme : Ce sont les paramètres que l'algorithme cherche à

estimer. Ils représentent les poids qui sont appliqués à chaque terme dans la fonction
polynomiale pour ajuster la courbe aux données.

La méthode d'optimisation : L'algorithme doit choisir une méthode pour trouver les
valeurs des coefficients du polynôme qui minimisent l'erreur de prédiction. Les
méthodes courantes comprennent la méthode des moindres carrés ordinaires et la
méthode des moindres carrés pondérés.

La normalisation : Il est important de normaliser les données pour éviter les effets
de mise à l'échelle. La normalisation peut être effectuée en soustrayant la moyenne
de chaque variable et en divisant par l'écart-type.

En somme, l'algorithme de régression polynomiale est un outil de modélisation

statistique flexible qui peut être utilisé pour modéliser des relations non linéaires
entre des variables. Les différents paramètres impliqués dans l'algorithme doivent
être choisis judicieusement pour obtenir les meilleurs résultats de prédiction.

5. Quels sont les différentes métriques d'évaluation de la performance pour la

régression linéaire ? Comment pouvez-vous interpréter ces métriques ?

Il existe plusieurs métriques pour évaluer la performance d'un modèle de régression

linéaire. Voici quelques-unes des plus courantes :

Erreur quadratique moyenne (EQM) : L'EQM mesure la moyenne des carrés des
différences entre les valeurs prédites et les valeurs réelles. Plus l'EQM est faible,
meilleure est la performance du modèle.

Racine carrée de l'erreur quadratique moyenne (RMSE) : Le RMSE est la racine

carrée de l'EQM et représente la différence moyenne entre les valeurs prédites et les
valeurs réelles. Le RMSE est plus facile à interpréter que l'EQM car il est exprimé dans
les mêmes unités que la variable dépendante.

Coefficient de détermination (R²) : Le R² mesure la proportion de la variance de la

variable dépendante qui peut être expliquée par le modèle. Un R² de 1 indique une
correspondance parfaite entre les valeurs prédites et les valeurs réelles, tandis qu'un
R² de 0 indique que le modèle ne peut pas expliquer la variance de la variable
dépendante.

Erreur absolue moyenne (EAM) : L'EAM mesure la moyenne des différences

absolues entre les valeurs prédites et les valeurs réelles. Elle est utile pour interpréter
l'erreur moyenne absolue de prédiction du modèle.

Pour interpréter ces métriques, il est important de les comparer avec les valeurs de la
variable dépendante. Par exemple, si la variable dépendante a une plage de valeurs
de 0 à 100, un RMSE de 10 indique que le modèle produit des prédictions qui sont en
moyenne écartées de 10 unités de la variable dépendante. Si l'EQM est élevée, cela
signifie que le modèle a des erreurs de prédiction importantes. Si le R² est faible, cela
signifie que le modèle n'explique pas bien la variance de la variable dépendante. En
fin de compte, le choix de la métrique dépendra de l'objectif de la modélisation et
des caractéristiques des données utilisées.
 6. Quelles sont les applications pratiques de la régression linéaire ? Pouvez-vous
donner des exemples d'utilisation de la régression linéaire dans des problèmes du
monde réel ?

La régression linéaire est une méthode statistique fondamentale utilisée pour

modéliser la relation entre une variable dépendante et une ou plusieurs variables
indépendantes. Elle est largement utilisée dans de nombreuses applications pratiques
pour prédire les valeurs de la variable dépendante en fonction des variables
indépendantes.

Voici quelques exemples d'applications de la régression linéaire dans des problèmes

du monde réel :

Prévision des prix immobiliers : La régression linéaire est utilisée pour prédire les
prix immobiliers en fonction de caractéristiques telles que la taille de la propriété, le
nombre de chambres, la localisation, etc.

Analyse de la production manufacturière : La régression linéaire peut être utilisée

pour analyser la production manufacturière en fonction de variables telles que le
temps, la quantité de matières premières utilisées, la taille de l'équipe de production,
etc.

Modélisation de la demande des consommateurs : La régression linéaire peut être

utilisée pour prédire la demande des consommateurs en fonction de variables telles
que le prix, le revenu, la publicité, etc.

Prédiction des résultats sportifs : La régression linéaire peut être utilisée pour
prédire les résultats sportifs en fonction de variables telles que les scores précédents,
le temps de jeu, l'emplacement, etc.

Modélisation des performances académiques : La régression linéaire peut être

utilisée pour modéliser les performances académiques des étudiants en fonction de
variables telles que le temps d'étude, la participation en classe, les scores des
examens antérieurs, etc.

En fin de compte, la régression linéaire est utilisée dans de nombreux domaines, tels
que l'économie, la finance, la médecine, la météorologie, etc. Elle peut être appliquée
dans n'importe quelle situation où il y a une relation linéaire entre une variable
dépendante et une ou plusieurs variables indépendantes.