Backpropagation dans les Réseaux de Neurones

November 13, 2023

Exercice 1 : Compréhension de l’algorithme de

rétropropagation
1. Expliquez ce qu’est l’algorithme de rétropropagation et son rôle dans
l’apprentissage des réseaux de neurones.

2. Décrivez les deux phases principales de l’algorithme de rétropropagation.

3. Qu’est-ce qu’une fonction de perte (loss function) et pourquoi est-elle cru-
ciale dans l’algorithme de rétropropagation ? Expliquez comment la fonc-
tion de perte est utilisée pour mettre à jour les poids dans un réseau de
neurones.

Exercice 2 : Propagation avant et rétropropagation

manuelles
Contexte : Vous avez un réseau de neurones très simple avec la structure
suivante :
• Une couche d’entrée avec deux neurones (nœuds d’entrée).

• Une couche cachée avec deux neurones.

• Une couche de sortie avec un seul neurone.
Fonctions d’activation : Utilisez la fonction sigmoı̈de pour les neurones
de la couche cachée et de sortie.
Fonction de perte : Utilisez l’erreur quadratique moyenne (MSE) pour
évaluer la performance du réseau.
Taux d’apprentissage : α = 0.1
Objectif :
1. Passez en revue les étapes de la propagation avant pour calculer la sortie
du réseau.

1
 2. Effectuez ensuite la backpropagation pour mettre à jour les poids et les
biais.
Initialisation :
(1) (1)
• Poids de la couche d’entrée à la couche cachée : w11 = 0.15, w12 =
(1) (1)
0.25, w21 = 0.20, w22 = 0.30
(2) (2)
• Poids de la couche cachée à la couche de sortie : w11 = 0.40, w21 = 0.45
(1) (1)
• Biais de la couche cachée : b1 = 0.35, b2 = 0.35
(2)
• Biais de la couche de sortie : b1 = 0.60

• Entrées : x1 = 0.05, x2 = 0.10

• Sortie attendue : ytrue = 0.01

Questions
• Effectuez une propagation avant manuellement et calculez la sortie du
réseau.
• Calculez l’erreur MSE basée sur la sortie attendue.
• Appliquez la rétropropagation pour mettre à jour les poids et les biais.

Exercice 3 : Implémentation de l’algorithme de

rétropropagation
Dans cet exercice pratique, vous allez implémenter l’algorithme de rétropropagation
pour un réseau de neurones à deux couches cachées.

1. Fonction d’activation sigmoı̈de

Implémentez la fonction d’activation sigmoı̈de et sa dérivée.

2. Initialisation des poids

Écrivez une fonction qui initialise les poids et les biais du réseau de manière
aléatoire.

3. Propagation avant
Implémentez la fonction forward propagation qui effectue la propagation avant
du réseau de neurones.

2
4. Rétropropagation
Implémentez la fonction backward propagation qui effectue la rétropropagation
des erreurs et met à jour les poids du réseau.

5. Entraı̂nement du réseau
Entraı̂nez le réseau de neurones sur un ensemble de données d’apprentissage à
l’aide de l’algorithme de rétropropagation.

Questions supplémentaires
• Comment choisiriez-vous le nombre d’époques pour l’entraı̂nement ?
• Comment vérifieriez-vous si votre réseau de neurones est en surapprentis-
sage ?
• Quelles méthodes pourriez-vous utiliser pour améliorer la performance de
votre réseau ?