Académique Documents
Professionnel Documents
Culture Documents
RCP208 1 2017-2018
Le neurone formel
• Système Nerveux : environ 100 milliards de neurones et 10 000 synapses par neurone
RCP208 2 2017-2018
Le neurone produit scalaire
wij : poids synaptique d’un neurone j vers un neurone i. Les poids synaptiques jouent
un rôle de pondération des valeurs d’entrée d’un neurone
wi0 : seuil (ou biais) du neurone i
RCP208 3 2017-2018
Fonctions d’activation (exemples)
RCP208 4 2017-2018
Fonctions sigmoı̈de
1
1+e−kAi
1−e−kAi
a 1+e−kAi
RCP208 5 2017-2018
Classification
RCP208 6 2017-2018
Quelle famille de surfaces choisir ?
• Cas simple : une séparation linéaire
RCP208 7 2017-2018
Exemple : 2 classes
Séparation par hyperplans
x ∈ Rn (entrée)
∑
n
Hyperplan dans Rn défini par l’équation : (H) wi x i + w0 = 0
i=1
RCP208 8 2017-2018
Distance algébrique h de x à l’hyperplan
∑
n
• Si on pose : g(x) = wi xi + w0 alors g(x) = 0 ⇔ x ∈ (H)
i=1
RCP208 9 2017-2018
Formulation neuronale : cas de 2 classes
g : fonction de décision
→ décider C1 si g(x) ≥ 0
→ décider C2 si g(x) < 0
RCP208 10 2017-2018
Le perceptron : présentation
RCP208 11 2017-2018
Le perceptron : Illustartion : calcul du OU
RCP208 12 2017-2018
Le perceptron
Apprentissage
• On commence par initialiser les poids W de façon aléatoire
• A chaque présentation d’un exemple d’apprentissage k
– Calculer l’erreur : E k = dki − yik
dki : réponse attendue pour k
yik : sortie calculée par le réseau pour k
– Corriger les poids selon l’erreur
Si E k ̸= 0 Alors wij t t−1
= wij + ϵE k xj
ϵ : taux (pas) d’apprentissage
t : itération de minimisation
+ Seul les exemples en erreur contribuent à la correction des poids
RCP208 13 2017-2018
Le perceptron
• Le perceptron ne peut résoudre que des problèmes linéairement séparables.
• Le << OU>> est séparable linéairement
RCP208 14 2017-2018
Règle de Widrow-Hoff
RCP208 15 2017-2018
Comparaison des deux approches
Dans le cas dun problème de classification linéairement séparable
• Le perceptron s’arrêtera à la première
solution trouvée. Cette solution peut ne pas
être robuste (moins efficiente pour classer un
exemple qui n’a pas participé à l’apprentissage
,→ c’est la notion de généralisation)
• Avec la règle de Widrow-Hoff, on obtient
une solution qui est souvent plus robuste
Si le problème n’est pas linéairement séparable
• Avec Widrow-Hoff, on aboutit
toujours à une solution acceptable
• Le perceptron, par contre, ne trouve
pas une solution finale sur laquelle
s’arrêter, il oscille entre plusieurs
solutions possibles.
RCP208 16 2017-2018
Éléments d’apprentissage du Perceptron
RCP208 17 2017-2018
Exemple du ET logique
RCP208 18 2017-2018
Paysage de la fonction d’erreur
RCP208 19 2017-2018
Quelles famille de surfaces choisir ?
RCP208 20 2017-2018
Réseaux multicouches
RCP208 21 2017-2018
Réseaux multicouches
• Souvent, les connexions sont complètes entre couches. Elles sont orientées d’une
couche i vers une couche j supérieur à i (j > i).
• Il n’y a donc pas de connexion d’une cellule vers une cellule de niveau inférieur
(donc pas de boucle), ni de connexion entre cellules d’une même couche.
RCP208 22 2017-2018
Réseaux multicouches
• Tous les neurones, sauf ceux d’entrées, sont également affectés d’une connexion de
seuil.
RCP208 23 2017-2018
Propagation avant des états
RCP208 24 2017-2018
Réseaux multicouches
Exemple de propagation avant
On suppose que les neurones 3, 4 et 5 ont la même fonction d’activation f.
RCP208 25 2017-2018
Apprentissage
• On dispose d’un ensemble d’apprentissage
App = {(xk , dk ); k = 1, · · · , N}
,→ xk : représentation d’un individu
,→ dk : réponse désirée correspondante
• Le réseau définit une fonction Y = G(X, W)
• Pour un individu xk le réseau calcule la sortie yk
yk = G(xk , W)
• L’apprentissage consiste à trouver les poids W de façon que pour tout xk
yk ≈ dk
RCP208 26 2017-2018