Chapitre 2

Introduction aux réseaux de neurones

 I. Introduction
Ce chapitre présente les réseaux de neurones, largement utilisés comme
modèle pour l’apprentissage automatique. Le réseau de neurones a une longue
histoire de développement et de nombreuses réalisations issues de travaux de
recherche. Il existe de nombreux livres disponibles qui se concentrent
uniquement sur le réseau de neurones. Parallèlement au regain d'intérêt croissant
pour le Deep Learning, les réseaux de neurones ont également considérablement
gagné en importance. Nous passerons brièvement en revue les techniques
pertinentes et pratiques permettant de mieux comprendre l'apprentissage
profond. Pour ceux qui sont nouveaux dans le concept de réseau de neurones,
nous commençons par les fondamentaux.
Dans un premier temps, nous verrons comment le réseau de neurones est lié
à l’apprentissage automatique. Les modèles d'apprentissage automatique
peuvent être mis en œuvre sous différentes formes. Le réseau de neurones est
l'un d'entre eux. La figure 2-1 illustre la relation entre le Machine Learning et le
réseau de neurones. Notez que nous avons le réseau de neurones à la place du
modèle et la règle d'apprentissage à la place de Machine Learning. Dans le
contexte du réseau de neurones, le processus de détermination du modèle
(paramètres du réseau de neurones) est appelé règle d'apprentissage. Ce chapitre
explique les règles d’apprentissage pour un réseau de neurones à une couche.
Les règles d'apprentissage d'un réseau de neurones multicouches sont abordées
dans les chapitres prochains.

Figure 2-1. La relation entre le Machine Learning et les réseaux de neurones

 II. Nœuds d'un réseau de neurones
Chaque fois que nous apprenons quelque chose, notre cerveau stocke les
connaissances. L'ordinateur utilise la mémoire pour stocker des informations.
Bien qu'ils stockent tous les deux des informations, leurs mécanismes sont très
différents. L'ordinateur stocke des informations à des emplacements spécifiés de
la mémoire, tandis que le cerveau modifie l'association des neurones. Le neurone
lui-même n'a pas de capacité de stockage ; il ne fait que transmettre des signaux
d'un neurone à l'autre. Le cerveau est un réseau gigantesque de ces neurones et
l'association des neurones forme une information spécifique.
Un réseau de neurones imite le mécanisme du cerveau. Comme le cerveau
est composé de connexions de nombreux neurones, le réseau de neurones est
construit avec des connexions de nœuds, qui sont des éléments correspondant aux
neurones du cerveau. Le réseau de neurones imite l’association des neurones, qui
est le mécanisme le plus important du cerveau, en utilisant la valeur de poids.

Expliquer cela plus tard en utilisant du texte peut causer plus de confusion.
Examinons un exemple simple pour mieux comprendre le mécanisme du réseau
de neurones. Considérons un nœud (un neurone) qui reçoit trois entrées, comme
illustré à la figure 2-2.

Figure 2-2. Un nœud (neurone) qui reçoit trois entrées

Le cercle et la flèche de la figure désignent respectivement le nœud (un

neurone) et le flux de signal. x1, x2 et x3 sont les signaux d'entrée. w1, w2 et
w3 sont les poids pour les signaux correspondants. Enfin, b est le biais, qui est un
autre facteur associé au stockage d'informations. En d'autres termes, les
informations du réseau neuronal sont stockées sous forme de poids et de biais.
Le signal entrant de l'extérieur est multiplié par le poids avant qu'il n'atteigne
le nœud. Une fois que les signaux pondérés sont collectés au nœud, ces valeurs
sont ajoutées pour constituer la somme pondérée. La somme pondérée de cet
exemple est calculée comme suit :

𝑣 = (𝑤1 𝑥1 ) + (𝑤2 𝑥2 ) + (𝑤3 𝑥3 ) + 𝑏

Cette équation indique que le signal avec un poids supérieur a un effet plus
important. Par exemple, si le poids w1 est égal à 2 et que w2 est égal à 10, l'effet
du signal x2 est cinq fois plus important que celui de x1. Lorsque w1 est égal à
zéro, x1 n'est pas du tout transmis au nœud(NEURONE). Cela signifie que x1 est
déconnecté du nœud. Cet exemple montre que les poids du réseau de neurones
imitent la manière dont le cerveau modifie l'association des neurones. L'équation
de la somme pondérée peut être écrite avec des matrices comme :

𝑣 = 𝑤𝑥 + 𝑏
Où 𝑤 = [𝑤1 𝑤2 𝑤3 ] et 𝑥 = [𝑥1 𝑥2 𝑥3 ]

Enfin, le nœud entre la somme pondérée dans la fonction d’activation,

notée souvent 𝜑 , et renvoie sa sortie. La fonction d'activation détermine le
comportement (aussi la sortie) du nœud.
𝑦 = 𝜑(𝑣)
𝑣 = 𝑤𝑥 + 𝑏
Où 𝑤 = [𝑤1 𝑤2 𝑤3 ] et 𝑥 = [𝑥1 𝑥2 𝑥3 ]

𝜑 de cette équation est la fonction d'activation. De nombreux types de

fonctions d'activation sont possibles pour les réseaux de neurones. Passons
brièvement en revue le mécanisme du réseau neuronal. Le processus suivant est
effectué à l'intérieur du nœud du réseau neuronal de la figure2-2 :

1. La somme pondérée des signaux d'entrée est calculée.

𝑣 = (𝑤1 𝑥1 ) + (𝑤2 𝑥2 ) + (𝑤3 𝑥3 ) + 𝑏

2. La sortie de la fonction d’activation vers la pondérée la somme est

passée à l'extérieur.
𝑦 = 𝜑(𝑣) = 𝜑(𝑤𝑥 + 𝑏)
 III. Couches de réseau de neurones
Le cerveau étant un gigantesque réseau de neurones, le réseau de neurones
artificiel est un réseau de nœuds. Une variété de réseaux de neurones peut être
créée en fonction de la façon dont les nœuds sont connectés. L'un des types de
réseaux neuronaux les plus couramment utilisés utilise une structure en couches
de nœuds, comme illustré à la figure 2-3.

Figure 2-3. Une structure en couches de nœuds

Le groupe de nœuds carrés de la figure 2-3 s'appelle la couche d'entrée

(input layer). Les nœuds de la couche d'entrée agissent simplement comme le
passage qui transmet les signaux d'entrée aux nœuds suivants. Par conséquent, ils
ne calculent pas la somme pondérée et la fonction d'activation. C'est la raison
pour laquelle ils sont indiqués par des carrés et distingués des autres nœuds
circulaires. En revanche, le groupe des nœuds les plus à droite est appelé la
couche de sortie. La sortie de ces nœuds devient le résultat final du réseau de
neurones. Les couches situées entre les couches d'entrée et de sortie sont appelées
couches cachées. Ce nom leur est attribué, car ils ne sont pas accessibles de
l’extérieur du réseau de neurones.

Les réseaux de neurones artificiels ont été développés à partir d’une

architecture simple, et maintenant on retrouve dans la littérature des structures de
plus en plus complexes. Initialement, les pionniers des réseaux de neurones
avaient une architecture très simple avec uniquement des couches d'entrée et de
sortie, appelées réseaux de neurones à une couche. Lorsque des couches
masquées sont ajoutées à un réseau de neurones à une couche, un réseau de
neurones à plusieurs couches est créé. Par conséquent, le réseau de neurones
multicouches comprend une couche d'entrée, une ou plusieurs couches cachées
et une couche de sortie. Le réseau de neurones qui possède une seule couche
cachée est appelé réseau de neurones peu profond. Un réseau neuronal
multicouche contenant deux ou plusieurs couches cachées est appelé réseau
neuronal profond. La plupart des réseaux de neurones contemporains utilisés
dans des applications pratiques sont des réseaux de neurones profonds.
La raison pour laquelle nous classifions le réseau de neurones multicouches
selon ces deux types est liée à son historique de développement. Le réseau de
neurones a commencé comme le réseau de neurones à une couche et a évolué pour
devenir le réseau de neurones peu profond, suivi du réseau de neurones profonds.
Le réseau de neurones profonds n'a pas été sérieusement mis en évidence avant le
milieu des années 2000-2010, soit donc après deux décennies écoulées depuis le
développement du réseau de neurones peu profonds. Par conséquent, pendant
longtemps, le réseau neuronal multicouche ne désignait que le réseau neuronal
à couche cachée unique. Lorsque le besoin de distinguer plusieurs couches
cachées est apparu, ils ont attribué un nom distinct au réseau de neurones
profonds. Voir la figure 2-4.

Figure2-4 Type de réseaux de neurones

 Dans le réseau de neurones en couches, le signal entre dans la couche
d'entrée, passe à travers les couches cachées et quitte à travers la couche de sortie.
Au cours de ce processus, le signal avance couche par couche. En d'autres
termes, les nœuds d'une couche reçoivent le signal simultanément et envoient le
signal traité à la couche suivante en même temps.
Suivons un exemple simple pour voir comment les données d’entrée sont
traitées lorsqu’elles traversent les couches. Considérez le réseau de neurones avec
une seule couche masquée illustrée à la figure 2-5.

Figure2-5 Un réseau de neurones avec une seule couche cachée

Juste pour des raisons pratiques, la fonction d'activation de chaque nœud est
supposée ici, dans cet exemple, être une fonction linéaire illustrée à la figure 2-6.
Cette fonction permet aux nœuds d’envoyer la somme pondérée elle-même.

Figure 2-6 Fonction d’activation linéaire

 Nous allons maintenant calculer le résultat de la couche cachée (Figure 2-
7). Comme indiqué précédemment, aucun calcul n'est nécessaire pour les nœuds
d'entrée, car ils ne font que transmettre le signal.

Figure2-7 Calculer la sortie de la couche cachée

Le premier nœud de la couche masquée calcule la sortie comme suit:

𝑣 = (3 × 1) + (1 × 2) + 1 = 6
Comme la fonction d’activation est supposée linéaire, y=v=6
Pour le deuxième nœud de la couche cachée :
𝑣 = (2 × 1) + (4 × 2) + 1 = 11
Comme la fonction d’activation est supposée linéaire, y=v=11

L’écriture matricielle donne :

3 1 1 1 6
𝑌=[ ][ ] + [ ] = [ ]
2 4 2 1 11

Les poids du premier nœud de la couche masquée sont dans la première ligne
et les poids du deuxième nœud sont dans la deuxième ligne. Ce résultat peut être
généralisé comme l'équation suivante :

𝑦 = 𝑣 = 𝑊𝑥 + 𝑏

Même procédure peut être appliquée à la couche de sortie. Regardez la

figure2-8.
Figure2-8 : Déterminer les sorties de la couche de sortie

3 2 6 1 41
𝑌=[ ][ ]+ [ ] = [ ]
5 1 11 1 42

Le processus peut être un peu lourd, mais le calcul en soi n’est pas difficile.
Comme nous venons de le voir, le réseau de neurones n'est rien d'autre qu'un
réseau de nœuds en couches, qui effectue uniquement des calculs simples. Cela
n'implique aucune équation difficile ni une architecture compliquée. Bien que cela
semble simple, le réseau de neurones a battu tous les records de performance
pour les principaux domaines du Machine Learning, tels que la reconnaissance
d'images et la reconnaissance vocale. N'est-ce pas intéressant ? On dirait que la
citation «Toute la vérité est simple» est une description pertinente.
Je dois laisser un dernier commentaire avant de terminer la section. Nous
avons utilisé une équation linéaire pour l'activation des nœuds cachés, simplement
par commodité. Ce n'est pas pratiquement correct. L'utilisation d'une fonction
linéaire pour les nœuds annule l'effet de l'ajout d'une couche. Dans ce cas, le
modèle est mathématiquement identique à un réseau de neurones à une seule
couche, qui ne comporte pas de couches cachées. Voyons ce qui se passe
réellement. En substituant l'équation de la somme pondérée de la couche masquée
à l'équation de la somme pondérée de la couche en sortie, on obtient l'équation
suivante (un petit détail est donné dans la diapo du cours avec une explication en
cours) :
 Cette équation matricielle indique que cet exemple de réseau de neurones est
équivalent à un réseau de neurones à une seule couche, comme illustré à la figure
2-9.

Figure 2-9. Cet exemple de réseau de neurones est équivalent à un réseau de

neurones à une seule couche

Gardez à l'esprit que la couche masquée devient inefficace lorsque les nœuds
masqués ont des fonctions d'activation linéaire. Cependant, les nœuds de sortie
peuvent, et doivent parfois, utiliser des fonctions d'activation linéaires.

IV. Apprentissage supervisé d'un réseau de neurones

Cette section présente les concepts et le processus d’apprentissage supervisé
du réseau de neurones. Parmi les nombreuses méthodes d’apprentissage utilisées,
ce cours ne traite que de l’apprentissage supervisé. Par conséquent, seul
l’apprentissage supervisé est également abordé pour le réseau de neurones. Dans
l’ensemble, l’apprentissage supervisé du réseau de neurones se déroule comme
suit:

1. Initialisez les poids avec des valeurs adéquates.

2. Prenez «l'entrée» dans les données d'apprentissage, qui est organisée
comme {entrée, sortie correcte}, et entrez-la dans le réseau de
neurones. Obtenez la sortie du réseau de neurones et calculez l'erreur
à partir de la sortie correcte.
3. Ajustez les poids pour réduire l'erreur.
4. Répétez les étapes 2 et 3 pour toutes les données d'entrainement.

Ces étapes sont fondamentalement identiques au processus d’apprentissage

supervisé pour « l’apprentissage automatique». Cela a du sens, car l’apprentissage
supervisé est un processus qui modifie le modèle pour réduire la différence entre
la sortie correcte et la sortie du modèle. La seule différence est que la
modification du modèle devient les changements de poids du réseau de neurones.
La figure 2-10 illustre le concept d'apprentissage supervisé expliqué jusqu'à
présent. Cela vous aidera à comprendre clairement les étapes décrites
précédemment.

Figure 2-10 Le concept d'apprentissage supervisé en réseaux de neurones

V. Entrainement d'un réseau de neurones monocouche :

Comme indiqué précédemment, le réseau de neurones stocke les
informations sous forme de poids. Par conséquent, afin de former le réseau de
neurones avec de nouvelles informations, les poids doivent être modifiés en
conséquence. L’approche systématique pour modifier les poids en fonction de
l’information donnée est appelée règle d’apprentissage. Étant donné que
l’entrainement est le seul moyen pour le réseau de neurones de stocker
systématiquement les informations, la règle d'apprentissage est un élément
essentiel de la recherche sur les réseaux de neurones.
Dans cette section, nous traitons de la règle delta, la règle d’apprentissage
représentative du réseau de neurones à une couche. Bien qu'il ne soit pas capable
de former un réseau de neurones multicouches, il est très utile pour étudier les
concepts importants de la règle d'apprentissage du réseau de neurones.

Prenons un réseau de neurones à une seule couche, comme illustré à la

figure 2-11. Dans la figure, di est la sortie correcte du nœud de sortie i.

Figure 2-11. Un réseau de neurones monocouche

La règle delta qui permet à ce type de réseaux d’apprendre à partir des

données d’entrainement est :
𝑤𝑖𝑗 = 𝑤𝑖𝑗 + 𝛼 𝑒𝑖 𝑥𝑗 Equation 2.1

𝑥𝑗 = la sortie du noeud d'entrée j, (j = 1, 2, 3)

𝑒𝑖 = l'erreur du noeud de sortie i
𝑤𝑖𝑗 = le poids entre le noeud de sortie i et l'entrée noeud j
α = taux d'apprentissage (0 < α < 1)
 Le taux d'apprentissage, α, détermine le taux de la modification du poids à
chaque itération. Si cette valeur est trop élevée, la sortie risque de rater la
solution et ne convergera pas. En revanche, s'elle est trop basse, le calcul
convergera trop lentement. Pour prendre un exemple concret, considérons le
réseau de neurones monocouche, composé de trois nœuds d'entrée et d'un nœud
de sortie, comme illustré à la figure 2-12. Par souci de commodité, nous ne
supposons aucun biais pour le nœud de sortie pour le moment. Nous utilisons
une fonction d'activation linéaire ; c'est-à-dire que la somme pondérée est
directement transférée à la sortie.

Figure 2-12. Un réseau de neurones monocouche avec trois noeuds d'entrée et un noeud de
sortie

Notez que le premier numéro de l'indice (1) indique le numéro du nœud dans
lequel l'entrée est entrée. Par exemple, le poids entre le nœud d'entrée 2 et le nœud
de sortie 1 est noté w12. Cette notation permet des opérations plus simples avec
des matrices ; les poids associés au nœud i sont attribués au rang i-ème de la
matrice de poids. L'application de la règle delta de l'équation 2.1 à l'exemple de
réseau neuronal donne le renouvellement des pondérations sous la forme:
𝑤11 = 𝑤11 + 𝛼 𝑒1 𝑥1
𝑤12 = 𝑤12 + 𝛼 𝑒1 𝑥2
𝑤13 = 𝑤13 + 𝛼 𝑒1 𝑥3

Résumons l’algorithme d’apprentissage en utilisant la règle delta pour le

réseau de neurones à une couche.
 1. Initialisez les poids aux valeurs adéquates.

2. Prenez «l'entrée» dans les données d'apprentissage de {entrée, sortie

correcte} et entrez-la dans le réseau de neurones. Calculez l'erreur de la sortie,
yi, de la sortie correcte, di, à l'entrée.
𝑒𝑖 = 𝑑𝑖 − 𝑦𝑖
3. Calculez les mises à jour de poids en fonction de la règle de delta
suivante :
∆𝑤𝑖𝑗 = 𝛼 𝑒𝑖 𝑥𝑗

4. Ajustez les poids comme suit :

𝑤𝑖𝑗 = 𝑤𝑖𝑗 + ∆𝑤𝑖𝑗
5. Effectuez les étapes 2 à 4 pour toutes les données d'entrainement.
6. Répétez les étapes 2 à 5 jusqu'à ce que l'erreur atteigne un niveau de
tolérance acceptable.

Figure 2-13. Le processus de formation

 Ces étapes sont presque identiques à celles du processus d’apprentissage
supervisé de la section «Apprentissage supervisé d’un réseau de neurones». La
seule différence est l'ajout de l'étape 6. L'étape 6 indique simplement que
l'ensemble du processus de formation est répété. Une fois l’étape 5 terminée, le
modèle a été formé à chaque point de données. Alors, pourquoi le formons-nous
en utilisant toutes les mêmes données de formation ? C'est parce que la règle delta
recherche la solution à mesure qu'elle répète le processus, plutôt que de la
résoudre en une seule fois. L'ensemble du processus est répété, car la nouvelle
formation du modèle avec les mêmes données peut améliorer le modèle. À titre
de référence, le nombre d'itérations de formation, dans chacune desquelles toutes
les données de formation passent par les étapes 2 à 5 une fois, est appelé une
époque. Par exemple, epoch = 10 signifie que le réseau de neurones effectue 10
processus de formation répétés avec le même jeu de données.
V.2. Généralisation de la loi de Widrow-Hoff (règle dalta)
Cette section aborde certains aspects théoriques de la règle du delta. Nous
allons passer en revue les sujets les plus essentiels sans trop préciser sur les détails.
La règle delta de la section précédente est plutôt obsolète. Des études ultérieures
ont révélé qu'il existait une forme plus généralisée de la règle du delta. Pour une
fonction d'activation arbitraire, la règle delta est exprimée sous la forme de
l'équation suivante.
𝑤𝑖𝑗 = 𝑤𝑖𝑗 + 𝛼𝛿𝑖 𝑥𝑗 Equation 2.2
C'est la même chose que la règle delta de la section précédente, sauf que
𝑒𝑖 est remplacé par 𝛿𝑖 . Dans cette équation, 𝛿𝑖 est défini comme suit:
𝛿𝑖 = 𝜑 ′ (𝑣𝑖 )𝑒𝑖 Equation 2.3
Avec :
𝑒𝑖 = l'erreur du noeud de sortie i
𝑣𝑖 = la somme pondérée du noeud de sortie i
𝜑 ′ = La dérivée de la fonction d'activation du nœud de sortie i

V.3. Stochastic Gradient Descent, méthode du gradient stochastique

La descente de gradient stochastique (SGD) calcule l’erreur pour chaque
donnée d’entrainement et ajuste les poids immédiatement (en utilisant les
équations 2.2 et 2.3). Si nous avons 100 points de données d’entrainement, le SGD
ajuste les poids 100 fois.
V.3 La méthode BATCH, par lot
Dans la méthode par lots, chaque mise à jour de poids est calculée pour toutes
les erreurs des données d'apprentissage et la moyenne des mises à jour de poids
est utilisée pour ajuster les poids. Cette méthode utilise toutes les données
d'apprentissage et ne se met à jour qu'une seule fois.
V.4. La méthode Mini Batch, Mini Lot
La méthode des mini lots est un mélange des méthodes SGD et batch. Elle
sélectionne une partie des données d'apprentissage et l'utilise pour l'apprentissage
de la méthode par lots. Par conséquent, il calcule les mises à jour de poids des
données sélectionnées et entraine le réseau de neurones avec la mise à jour de
poids moyen. Par exemple, si 20 points de données arbitraires sont sélectionnés
sur 100 points de données d'apprentissage, la méthode par lots est appliquée aux
20 points de données. Dans ce cas, cinq ajustements de poids au total sont
effectués pour terminer le processus d’entrainement pour tous les points de
données (5 = 100/20).