Réseau Neuronaux Artifitiels

Réseaux de neurones artificiels :
architectures et
applications
Patrice Wira
1. Introduction
2. Modèles patrice.wira@uha.fr
de neurones www.trop.mips.uha.fr
3. Structures
des réseaux
Université de Haute Alsace
4. Apprentissage
Laboratoire MIPS (Modélisation, Intelligence, Processus, Systèmes)
5. Applications
Avril 2009
6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace
www.trop.mips.uha.fr – Laboratoire MIPS
Université de Haute Alsace
• à Mulhouse et Colmar (France)
• 8000 étudiants
• impliquée dans 3 pôles de compétitivités à vocation internationale
(Fibre Grand Est, Innovation thérapeutique, Véhicule du Futur)
Laboratoire MIPS
(Modélisation, Intelligence, Processus, Systèmes)
• thématique principale : véhicule intelligent
• 100 personnes (75 permanents + 25 doctorants)
1. Introduction
• 3 axes de recherche
2. Modèles
de neurones
3. Structures
axedes
automatique
réseaux axe signal et image axe informatique et réseau
4. Apprentissage
MIAM : applications au LABEL : traitement des GRT : réseaux mobiles et qualité
véhicule
5. Applications images de services
TROP : contrôle FOTI : traitement optique LSI : modèle objet et pattern des
6. Conclusions
neuromimétique Patrice.Wira@uha.fr
des informations – Université lois
de Haute Alsace
de commande
Master 1 et 2 AII
Automatique et Informatique Industrielle
options Recherche ou Professionnel
http://www.trop.mips.uha.fr/master/
Master recherche Sciences et Technologies

1. Introduction mention information systèmes communication
2. Modèles spécialité information systèmes communications
de neurones Référence : 17315-20098
3. Structures
des réseaux
http://www.campusfrance.org/
4. Apprentissage
(portail obligatoire pour accéder à l’enseignement supérieur français)
5. Applications

architectures et applications
– Sommaire –
1. Introduction
2. Modèles de neurones
3. Structures des réseaux de neurones artificiels

Différentes architectures neuronales – Structure du réseau multicouche –
Stratégies d’apprentissage – Apprentissage supervisé/non supervisé –
Exemple : apprendre un processus – Apprentissage d’un réseau multicouche –
1. Introduction Apprentissage d’une carte auto-organisatrice
2. Modèles 4. Apprentissage de systèmes dynamiques

de neurones
3. Structures5. Applications des réseaux de neurones
des réseaux Approximation linéaire (Adaline) – Apprentissage de fonctions (carte de
4. Apprentissage Kohonen) – Estimation de fonctions robotiques (carte de Kohonen et Adaline) –
Identification d’une fonction de transfert (réseau multicouche)
5. Applications
6. Conclusion
architectures et
applications
1. Introduction
2. Modèles
de neurones
3. Structures
des réseaux Introduction
4. Apprentissage
5. Applications

Les origines biologiques des réseaux de neurones
Les neurones sont considérés comme le support physique de

l’intelligence. Ils fascinent puisque comprendre et savoir utiliser
l’intelligence permet de réaliser des buts inimaginables.
Depuis quelques années, on cherche à copier les réseaux de
neurones pour faire des lois de commande intelligentes.
Ce cours introduit l’approche « traitement du signal » des
1. Introduction réseaux de neurones artificiels

2. Modèles ou
de neurones
3. Structures réseaux neuromimétiques.
des réseaux
4. Apprentissage
5. Applications

www.trop.mips.uha.fr – Laboratoire MIPS 6
Eléments historiques
Dès 1943, Mac Culloch et Pitts ont proposé des neurones formels
mimant les neurones biologiques et capables de mémoriser des
fonctions booléennes simples.
Les réseaux de neurones artificiels réalisé à partir de ce types de

neurones sont ainsi inspirés du systèmes nerveux. Ils sont conçus
pour reproduire certaines caractéristiques des mémoires
biologiques par le fait qu’ils sont:
1. Introduction
• massivement parallèles ;
2. Modèles
de neurones • capables d’apprendre ;
3. Structures
des réseaux • capables de mémoriser l’information dans les connexions
entre les neurones ;
4. Apprentissage
• capables de traiter des informations incomplètes.
5. Applications

Les neurones biologiques
vue de plusieurs neurones biologiques :
1. Introduction
2. Modèles
de neurones
3. Structures
des réseaux
4. Apprentissage
5. Applications

Du neurone biologique au neurone formel
dendrite arborisation
simplification d’un neurone biologique : terminale
corps cellulaire
noyau (cellule de
Schwann)
noyau gaine de myéline
axone (cellule de Schwann)
1. Introduction
2. Modèles
un neurone formel :
de neurones
3. Structures ∑
des réseaux
4. Apprentissage
5. Applications

Architecture d’un neurone formel
Le neurone formel : exemple avec 3 entrées
Un neurone est une cellule qui "concentre" des signaux, qui les traite et
qui les traduit en une réponse.
poids synaptiques fonction d’activation

f ( )
x1
1. Introduction plusieurs entrées w1

2. Modèles x2 ∑ y
de neurones w2
3. Structures
des réseaux w3
x3 1 sortie
4. Apprentissage
fonction d’agrégation
5. Applications

Couplage synaptiques et apprentissage
En 1949, Hebb a mis en évidence l’importance du couplage

synaptique dans l’apprentissage par renforcement ou dégénérescence
des liaisons inter-neuronales lors de l’interaction du cerveau avec le
milieu extérieur.
Le premier modèle opérationnel est le Perceptron inspiré du modèle
visuel et capable d’apprentissage. Il a été proposé en 1958 par
Rosenblatt.
Les limites du Perceptron monocouche du point de vue performance
1. Introduction ont été montrées en 1969 par les mathématiciens Minsky et Papert.
2. Modèles Les travaux de Hopfield en 1982 ont montrés que des réseaux de
de neurones
3. Structures neurones artificiels étaient capables de résoudre des problèmes
des réseaux d’optimisation et ceux de Kohonen (1982) ont montrés qu’ils étaient
capables des résoudre des tâches de classification et de
4. Apprentissage
reconnaissance.
5. Applications

Exemples d’application
Aujourd’hui, les réseaux de neurones artificiels ont de nombreuses

applications dans des secteurs très variés :
• traitement d’images : reconnaissance de caractères et de
signatures, compression d’images, reconnaissance de forme,
cryptage, classification, etc.
• traitement du signal : filtrage, classification, identification de
source, traitement de la parole…
• contrôle : commande de processus, diagnostic, contrôle qualité,
1. Introduction
asservissement de robots…
2. Modèles
de neurones • optimisation : planification, allocation de ressource, gestion et
3. Structures finances, etc.
des réseaux
• simulation : simulation de boîte noire, prévision météorologique,
4. Apprentissage
recopie de modèle…
5. Applications

architectures et
applications
1. Introduction
2. Modèles
de neurones
3. Structures
des réseaux Modèles de neurones
4. Apprentissage
5. Applications

Le neurone formel : architecture et calculs
Le neurone formel : exemple avec 3 entrées

x1
w1 f ( )
x2 ∑ y
w2
w3
x3
1. Introduction Calcul de la sortie du neurone :

y = f ( w0 + x1w1 + x2 w2 + ... + xn wn ) = f ( w0 + w T x )
2. Modèles
de neurones
3. Structures
des réseaux Correction des poids synaptiques :
4. Apprentissage
w k +1 = w k + Δw k
5. Applications

L’Adaline et le Perceptron
On distingue 2 types de neurone formel :
1 Le Perceptron de F. Rosenblatt (1958)

+ la règle de D. Hebb (1949)
2 L’Adaline
1. Introduction (ADApitve LINear Element)
2. Modèles de B. Widrow et T. Hoff (1960)
de neurones
3. Structures
des réseaux
4. Apprentissage
5. Applications

Le Perceptron
Le Perceptron de F. Rosenblatt (1958) et la règle de D. Hebb (1949)
A chaque itération : x1
w k +1 = w k + Δw k w1 f ( )
Δw k = η yk x k x2 ∑
y
w2
1. Introduction w3
2. Modèles
de neurones x3 règle
3. Structures d’apprentissage
des réseaux η représente le coefficient d’apprentissage
4. Apprentissage (sa valeur est généralement comprise entre 0 et 1)
5. Applications

Le Perceptron
Le Perceptron
Pour traiter plusieurs sorties, on utilise plusieurs Perceptron en

parallèle, on parle alors de réseau monocouche.
L’utilisation d’une fonction d’activation du type « automate linéaire à

seuil » permet de réaliser pour chaque neurone i une partition des
vecteurs d’entrées en deux classes dont la frontière est définie par
l’hyperplan de dimension n-1 (n = nombre d’entrées) et d’équation :
1. Introduction n
2. Modèles ∑w x ij j + wi 0 = 0
de neurones j =1
3. Structures
des réseaux Le Perceptron permet donc de ne séparer que des exemples
4. Apprentissage linéairement séparables. Il ne peut pas par exemple réaliser un OU
exclusif (ou XOR). Les réseaux multicouches pallient cette limitation.
5. Applications

L’Adaline
L’Adaline de B. Widrow et T. Hoff (1960)

(ADAptive LINear Element, la fonction d’activation est unitaire)
w k +1 = w k + Δw k
x1
ε k = d k − yk = d k − w x k
T
k
w1
On peut utiliser 2 règles : x2 ∑
y ∑
w2 − +
µ LMS
1. Introduction w3
Δw k = µε k x kα
2. Modèles x3
de neurones règle
3. Structures α LMS d’apprentissage
des réseaux ε k xk
Δw k = α
4. Apprentissage λ + xk
2
5. Applications

L’Adaline
L’Adaline
Pour traiter plusieurs sorties, on utilise plusieurs Adaline en

parallèle, on parle alors de MAdaline (Muti-Adaline).
L’apprentissage d’un Adaline s’effectue en ligne et est basé sur la

minimisation d’une erreur, l’erreur quadratique moyenne.
Lorsque le nombre d’entrées (exemples) tend vers l’infini,

1. Introduction l’Adaline tend vers la solution de Gauss ou le filtre de Wiener.
2. Modèles Les poids de l’Adaline ont alors convergé vers les coefficients
de neurones optimaux (au sens des moindres carrés) et sont équivalents aux
3. Structures coefficients du filtre de Wiener.
des réseaux
4. Apprentissage
5. Applications

Neurones formels utilisés
Que ce soit le Perceptron ou l’Adaline, ces 2 modèles sont toujours

actuellement utilisés. Ils sont la base de tous réseaux de neurones
artificiels dans le domaine de l’intelligence artificielle en particulier
dans le traitement du signal.
La représentation d’un neurone formel peut se simplifier :
1. Introduction
2. Modèles ∑ ∑
de neurones
3. Structures
des réseaux
4. Apprentissage
5. Applications

Autres neurones formels
Il existe d’autres modèles de neurone formel.
Leur utilisation dépend des objectifs…
1. Introduction
2. Modèles
de neurones
3. Structures
des réseaux
4. Apprentissage
5. Applications

Des neurones pour différents objectifs
Les objectifs sont ceux des sciences différentes regroupées autours

de ce qu’on appelle les neurosciences : neurologie, neurophysiologie,
neuro-biologie, sciences cognitives, etc.
Elles cherchent à étudier :

le neurone biologique,
le cerveau, les aires de la motricité et des activités cérébrales,
la perception,
la formation de la pensée,
1. Introduction
la conscience,
2. Modèles etc.
de neurones
3. Structures
des réseaux
4. Apprentissage
5. Applications

Étude de la conscience avec le modèle de Grossberg (2007) :
1. Introduction
2. Modèles
de neurones
3. Structures
des réseaux
4. Apprentissage
5. Applications

Étude de la perception :
signaux neuronaux signaux neuronaux

stimulus afférents efférents comportement
sensoriel récepteur centre nerveux effecteur moteur
(organe sensoriel) (cerveau) (muscles)
1. Introduction
2. Modèles
de neurones
3. Structures
des réseaux
4. Apprentissage
5. Applications

architectures et
applications
1. Introduction
2. Modèles
de neurones
3. Structures
des réseaux Structures des réseaux
4. Apprentissage
de neurones artificiels
5. Applications

Structures des réseaux de neurones artificiels
1. Assembler des neurones

2. Différentes architectures neuronales
3. Structure du réseau multicouche
4. Stratégies d’apprentissage
1. Introduction
5. Apprentissage supervisé/non supervisé
2. Modèles
de neurones 6. Exemple : apprendre un processus
3. Structures
des réseaux 7. Apprentissage d’un réseau multicouche
4. Apprentissage 8. Apprentissage d’une carte auto-organisatrice
5. Applications

Assembler des neurones
Objectif : créer des méthodes adaptatives d’identification et

des lois de commandes intelligentes, basées sur le principe de
l’apprentissage, donc sur des réseaux de neurones artificiels.
Assembler des neurones c’est multiplier leurs capacités d’apprentissage.
1. Introduction
2. Modèles neurone formel de base
de neurones
3. Structures
des réseaux
4. Apprentissage
réseau de neurones artificiels
5. Applications

www.trop.mips.uha.fr –Patrice.Wira@uha.fr
Laboratoire MIPS 27
– Université de Haute Alsace
Exemple d’un réseau multicouche complètement connecté
1. Introduction
2. Modèles
de neurones Le réseau suivant est constitué de 5+2 neurones (3 entrées).
3. Structures Ce réseau est bien ordonné. On y distingue des couches et les
des réseaux neurones sont entièrement connectés entre les couches.
4. Apprentissage
5. Applications

Exemple d’un réseau non ordonné et partiellement connecté
1. Introduction
2. Modèles
de neurones
3. Structures Il est relativement aisé de mettre des neurones ensemble, mais
des réseaux il est plus difficile de les faire apprendre. Les architectures
4. Apprentissage généralisées ou ordonnées sont plus simples à « manipuler ».
5. Applications

Différentes architectures neuronales
L’architectures d’un réseau de neurones est l’organisation

des neurones entre eux au sein d’un même réseau. Autrement
dit, il s’agit de la façon dont ils ordonnés et connectés.
La majorité des réseaux de neurones utilise le même type de

neurones. Quelques architectures plus rares se basent sur des
1. Introduction neurones dédiés. L’architecture d’un réseau de neurones
2. Modèles dépend de la tâche à apprendre (problème à résoudre).
de neurones
3. Structures Un réseau de neurone est en général composé de plusieurs
des réseaux couches de neurones, des entrées jusqu’aux sorties.
4. Apprentissage
5. Applications

Différentes architectures neuronales
Quelques architectures :
multilayer feedforward network fully recurrent network competitive network self-organizing map
1. Introduction
2. Modèles
de neurones
3. Structures
des réseaux
4. Apprentissage partial recurrent network recurrent network
Jordan network
with dual connections with self connections
5. Applications

Structure du réseau multicouche
Le réseau de neurone multicouche : 2 exemples

(multilayer feedforward network, ou MultiLayer Perceptron = MLP)
Ce réseau a : Ce réseau a :
1. Introduction 1 couche de 3 entrées 1 couche de 3 entrées
2. Modèles 1 couche cachée (5 neurones) 2 couches cachées
de neurones 1 couche de sortie (2 neurones) ( de 5 et 4 neurones)
3. Structures 1 couche de sortie (2 neurones)
des réseaux
4. Apprentissage
5. Applications

Structure du réseau multicouche
Un réseau de neurone multicouche est composé d'une succession

de couches dont chacune prend ses entrées sur les sorties de la
précédente. Chaque couche (i) est composée de Ni neurones,
prenant leurs entrées sur les Ni-1 neurones de la couche
précédente. À chaque synapse est associée un poids synaptique, de
sorte que les Ni-1 sont multipliés par ce poids, puis additionnés par
les neurones de niveau i, ce qui est équivalent à multiplier le
vecteur d'entrée par une matrice de transformation.
Mettre différentes couches l’une derrière l’autre reviendrait à

1. Introduction mettre en cascade plusieurs matrices de transformation et
2. Modèles équivaudrait à une seule matrice, produit des autres, s'il n'y avait à
de neurones chaque couche, la fonction d’activation qui introduit une non
3. Structures linéarité à chaque étape.
des réseaux
4. Apprentissage Un réseau de neurones dont les sorties seraient linéaires n'aurait
que peu d’intérêt.
5. Applications

Stratégies d’apprentissage
L’apprentissage au sein des différentes architectures dépend

de l’architecture du réseau et de l’environnement du problème.
Les 2 règles d’apprentissage pour mettre corriger les poids d’un neurone
(règle de Hebb et de Widrow) ne concernent qu’un neurone seul.
Ces règles peuvent servir pour mettre à jour les poids d’un
neurone, de certains réseaux de neurones, mais ne peuvent être
généralisées et s’appliquer à n’importe quelle architecture.
1. Introduction
2. Modèles Chaque architecture possède ses spécificités et nécessite une règle
de neurones d’adaptation des poids qui lui est propre.
3. Structures
des réseaux
4. Apprentissage
5. Applications

L’apprentissage n’est pas modélisable dans le cadre de la logique déductive : celle-ci en effet
procède à partir de connaissances déjà établies dont on tire des connaissances dérivées. Or il
s’agit ici de la démarche inverse : par observations limitées tirer des généralisations plausibles.
La notion d’apprentissage recouvre deux réalités :
• La mémorisation : le fait d’assimiler sous une forme dense des

exemples éventuellement nombreux,
• La généralisation : le fait d’être capable, grâce aux exemples appris,

1. Introduction de traiter des exemples distincts, encore non rencontrés, mais
2. Modèles similaires.
de neurones généralisation
3. Structures
des réseaux
4. Apprentissage
mémorisation
5. Applications

Le concept de la mémorisation et celui de la généralisation sont

partiellement en opposition. Si on privilégie l’un, on élaborera un
système qui ne traitera pas forcément de façon très efficace l’autre.
Dans le cas des systèmes d’apprentissage statistique, utilisés pour

optimiser les modèles statistiques classiques, réseaux de neurones et
automates markoviens, c’est la généralisation qui est préférée.
Il faut trouver un compromis en choisissant un coefficient

d’apprentissage satisfaisant (par essai-erreur).
1. Introduction
2. Modèles
de neurones
3. Structures
des réseaux
4. Apprentissage
5. Applications

Données et processus :
Analyser un processus, c’est à dire comprendre son fonctionnement, caractériser ses

états (normaux ou…), savoir ce qui est significatif, quelle est sa structure, requiert
l’observation d’un certain nombre (parfois grand) de variables issues de ce
processus et liées à son fonctionnement et son environnement.
bruit variables observées d k
1. Introduction
2. Modèles
de neurones sk n
3. Structures dimensions
des réseaux
k
4. Apprentissage
p dimensions N échantillons
5. Applications

Données et processus :
Si les données ne sont pas représentatives du processus, on

ne pourra l’apprendre que partiellement.
Le choix des données est crucial pour un bon apprentissage.

Il faut bien choisir :
1. Introduction • le type des données,
2. Modèles • leur nature,
de neurones • leur pertinence/importance,
3. Structures • la quantité,
des réseaux • l’ordre dans lequel elles sont prises en compte,
4. Apprentissage • etc.
5. Applications

Apprentissage en ligne / apprentissage "batch" (en paquet)
L'apprentissage est un moyen flexible et efficace d'extraire une

structure stochastique d'un environnement. Deux types différents
d'apprentissage sont utilisés, a savoir l'apprentissage en paquet et
l'apprentissage en ligne.
La procédure d'apprentissage en paquet utilise tous les exemples

d'entraînement de façon répétée de sorte que sa performance est
1. Introduction comparable a celle d'une procédure d'estimation statistique.
2. Modèles
de neurones L'apprentissage en ligne est plus dynamique, en mettant à jour
3. Structures l'estimation courante par l'observation des nouvelles données une
des réseaux par une. C’est une procédure itérative. L'apprentissage en ligne est
4. Apprentissage en général lent mais est recommandé dans des environnements
changeants.
5. Applications

Il est possible de combiner les 2, dans l’ordre :
1. On récupère un série d’observation à partir du processus à

modéliser (en quantité et pertinence suffisante).
2. On effectue un "préapprentissage" : les données récoltées

servent à faire converger les poids vers des valeurs
1. Introduction proches de la solution finale.
2. Modèles
de neurones 3. On utilise le réseau de neurone tout en utilisant un
3. Structures apprentissage en ligne pour affiner la valeur des poids et
des réseaux pourvoir tenir compte de toutes variations éventuelles
4. Apprentissage (dérives, perturbations, changements de mode de
fonctionnement, etc.)
5. Applications


L'apprentissage "batch"
• requiert souvent de charger en mémoire
l’ensemble des poids et des données d’apprentissage L'apprentissage en ligne
(entrées et éventuellement sorties désirées • prend en compte les
correspondantes), observations itérativement, au
• ne peut satisfaire une contrainte de temps-réel, fur et à mesure et demande de
• autorise de réinitialiser sans risque l’apprentissage. ce fait moins de mémoire,
moins de calculs,
1. Introduction • est compatible au temps-réel,
2. Modèles • "subit" l’ordre dans lequel
de neurones les observations sont
3. Structures accessibles.
des réseaux
4. Apprentissage
On cherche à optimiser le plus possible les ressources algorithmiques.
5. Applications

Apprentissage global / apprentissage local
L’apprentissage global est le processus qui met à jour l’intégralité des poids
d’un réseau. Dans ce cas, tous les poids sont modifiés à chaque itération.
1. Introduction L’apprentissage local vise à ne mettre à jour que certains poids à

2. Modèles chaque itération. Plusieurs techniques existent :
de neurones • à travers le concept de voisinage,
3. Structures
• à travers des règles spécifiques d’apprentissage,
des réseaux
• etc.
4. Apprentissage
5. Applications

L’apprentissage, c’est le processus (de calculs) qui permet de mettre à jour

les poids des neurones à partir d’une ou plusieurs mesures.
Il existe 3 types d’apprentissage :
• l’apprentissage supervisé,
1. Introduction
• l’apprentissage non supervisé,
2. Modèles
de neurones
3. Structures • et l’apprentissage par assignation de crédit.
des réseaux
4. Apprentissage
5. Applications

Apprentissage supervisé/non supervisé
Apprentissage supervisé
L'apprentissage supervisé, en anglais "Supervised Learning", doit disposer d'un

comportement de référence précis pour pouvoir l'inculquer au réseau neuronal.
environnement
1. Introduction vecteur +
représentatif −
2. Modèles de l’état de
de neurones l’environnement
3. Structures
des réseaux
4. Apprentissage
5. Applications

Apprentissage non supervisé
L'apprentissage supervisé s'effectue sous le contrôle d'un expert, alors que l'apprentissage
non supervisé (appelé en anglais "unsupervised learning") est autodidacte.
environnement
1. Introduction
2. Modèles Les paramètres internes du réseau ne sont modifiés qu'avec les seuls
de neurones stimuli, aucune réponse désirée n'est prise en considération.
3. Structures
des réseaux
Par nature, ce type d'apprentissage construit une représentation
4. Apprentissage interne de la connaissance issue de l'environnement.
5. Applications

Apprentissage par assignation de crédits
Un apprentissage qui ne nécessite pas de environnement critique

comportement de référence explicite mais
seulement d'informations grossières, comme un
encouragement ou une pénalisation, est appelé
apprentissage par renforcement.
1. Introduction
critique
2. Modèles Ce type d'apprentissage
de neurones fait partie d'un schéma
3. Structures plus large d'apprentissage,
environnement
des réseaux le "Credit-Assignment
4. Apprentissage Problem" ou CAP.
renforcement heuristique
5. Applications

Exemple : apprendre un processus
Apprendre un processus ou un système
De le cas précis où on veut apprendre un système, les mêmes entrées donnent les mêmes
réponses (le réseau de neurones cherche à imiter le processus).
processus
sortie
(4 signaux)
consigne
(3 entrées)
1. Introduction erreur
2. Modèles
de neurones
3. Structures
des réseaux
4. Apprentissage réseau de neurones
(3 entrées et 4 sorties)
5. Applications

Exemple : apprendre un processus
Apprendre un processus ou un système
De le cas précis où on veut apprendre un système :

• on utilise un apprentissage supervisé (pour imiter le
processus),
• le réseau de neurones à le même nombre d’entrées
que le système,
• le réseau de neurones à le même nombre de sorties
que le système.
1. Introduction
2. Modèles
de neurones Il faut déterminer les autres paramètres du réseau :
3. Structures apprentissage en ligne/batch, règle et coefficient
des réseaux d’apprentissage, nombre de couches internes et
4. Apprentissage nombre de neurones par couche, etc. On procède
généralement par essai-erreur…
5. Applications

Apprentissage d’un réseau multicouche
La rétropropagation de l’erreur dans un réseau multicouche

("MLP with backpropagation") est un apprentissage supervisé.
On présente un vecteur d’entrée pour lequel on détermine la sortie du réseau.

L’ensemble des poids des liaisons synaptiques détermine le fonctionnement du
réseau de neurones. On compare les sorties des neurones de la couche de sortie
avec les valeurs modèles (= sorties désirées) et on calcule l’erreur de chacun.
sortie désirée
(1) (2) (3) (4)
+
1. Introduction −
2. Modèles sortie estimée
de neurones
3. Structures
des réseaux
4. Apprentissage
5. Applications

L’erreur d’un neurone k dans une couche j est calculée à partir des erreurs des
neurones de la couche j+1 pondérées par les poids :
⎛ ⎞
ε k( j ) = f ⎜ ∑ wki xi ⎟ . ∑ ( wik( j +1) .ε i( j +1) )
⎝ i ⎠ i∈ j +1
sortie désirée
(1) (2) (3) (4)
+
1. Introduction −
de neurones k
3. Structures
des réseaux
4. Apprentissage
5. Applications

En appliquant la méthode du gradient, l’adaptation des poids se fait selon :
⎡ ⎛ ⎞ ⎤
Δwkh( j ) = −α .ε k( j ) . yh( j −1) = −α ⎢ f ⎜ ∑ wki xi ⎟ . ∑ ( wik( j +1) .ε i( j +1) ) ⎥ . yh( j −1)
⎣ ⎝ i ⎠ i∈ j +1 ⎦
wkh( j ) (t + 1) = Δwkh( j ) + wkh( j ) (t )
sortie désirée
(1) (2) (3) (4)
+
1. Introduction −
de neurones k
3. Structures h
des réseaux
4. Apprentissage
5. Applications

Nous avons vu la rétropropagation de l’erreur qui consiste à rétropropager l'erreur

commise par un neurone à ses synapses et aux neurones qui y sont reliés.
L’erreur est d’abord définie à la sortie, par rapport à des valeurs souhaitées
(mesurées sur un système) puis propagées de la couche de sortie jusqu’à la couche
des entrées pour mettre à jour l’ensemble des poids entre les neurones des couches
successives.
Ainsi ce principe consiste à corriger les erreurs selon

1. Introduction l'importance des éléments qui ont justement participé à la
2. Modèles réalisation de ces erreurs : les poids synaptiques qui
de neurones contribuent à engendrer une erreur importante se verront
3. Structures modifiés de manière plus significative que les poids qui ont
des réseaux engendré une erreur marginale.
4. Apprentissage
5. Applications

Plusieurs règles d’apprentissage peuvent s’appliquer aux réseaux

multicouches, parmi elles :
• une méthode batch : l’algorithme de Levenberg-Marquardt (LM)

• des méthodes itératives : Backpropagation through time (BPTT)
et la descente de gradient,
• des méthodes itératives semi-directes : le gradient conjugué,
l’algorithme EM (espérance-maximisation), le recurrent Extended
Kalman Filter (EKF).
1. Introduction •…
2. Modèles
de neurones
3. Structures Remarque :
des réseaux la régression linéaire est une méthode d’optimisation directe.
4. Apprentissage
5. Applications

convergence/divergence
La rétropropagation de l’erreur avec un coefficient d’apprentissage faible conduit à une

convergence lente alors qu’un coefficient élevé risque de produire des oscillations.
Pour les méthodes du second ordre, il faut connaître les dérivées

des fonctions d’activation car elles nécessitent la dérivée de l’erreur
par rapport aux poids.
1. Introduction Toutes ces méthodes dépendent beaucoup des valeurs initiales des
2. Modèles poids… comme tout problème d’optimisation…
de neurones
3. Structures courbe d’erreur en fonction des poids :
des réseaux
minimum global
4. Apprentissage minima locaux
5. Applications

Réseau multicouche récurrent
Le réseau multicouche qui a été présenté est un réseau statique. Il

est également appelé réseau « feed-forward » car le flux
d’information est dirigé des entrées vers les sorties.
Une extension de ce réseau est le réseau multicouche récurrent qui

présente un caractère dynamique : ses poids dépendent non
seulement des entrées apprises, mais également des sorties
1. Introduction précédentes.
2. Modèles
de neurones
3. Structures
des réseaux Dans cet exemple, les 2 sorties sont
4. Apprentissage rebouclées comme des entrées des
neurones de la couche cachée.
5. Applications

Réseau multicouche récurrent
Le réseau multicouche récurrent est particulièrement adapté pour

estimer des processus et des systèmes dynamiques et non linéaires
car :
• il présente de manière inhérent un caractère dynamique,

• chaque neurones introduit une portion de non linéarité,
• il est capable d’apprendre et peut donc s’adapter en ligne à toute
1. Introduction variation de paramètres du système ou tout changement de son
2. Modèles environnement (variation de bruit, dérive, etc.)
de neurones
3. Structures
des réseaux
4. Apprentissage
5. Applications

Apprentissage d’une carte auto-organisatrice
L’auto-organisation d’une carte de Kohonen est un apprentissage

non supervisé (SOM : Self-Organizing Map).
Les neurones d’une carte de Kohonen sont

organisés dans une seule couche qui peut être
considérée comme une grille
multidimensionnelle.
1. Introduction
2. Modèles
de neurones
3. Structures L’exemple ci-contre comprend :
des réseaux 1 couche = 1 grille bidimensionnelle de 3 ¯ 4 neurones
4. Apprentissage 3 entrées
5. Applications

Principe de l’auto-organisation :
i Il n’y a pas de couche de sortie, pas plus

que des neurones de sortie.
j
La position (indices i et j) d’un neurone au
sein de la grille est fondamentale et permet
de définir la notion de voisinage.
Chaque neurone possède des poids qui

1. Introduction définissent sa position dans l’espace des
2. Modèles entrées.
de neurones
3. Structures L’apprentissage s’effectue en 2 étapes :
des réseaux • la compétition entre les neurones,
4. Apprentissage • l’adaptation des neurones.
5. Applications

Principe de l’auto-organisation : la compétition
compétition espace discret

(grille)
distance la plus courte :
espace d’entrée WTA
continu
s s = arg min xt − m r
r ∈G
ws
v G
1. Introduction Lorsqu’on présente un vecteur d’entrée,

2. Modèles on cherche le neurone le plus proche.
de neurones Pour cela on calcule la distance entre
3. Structures l’entrée xt et les poids des neurones m r .
des réseaux
4. Apprentissage r = {i, j} ∈ G est le vecteur d’indice des neurones
s∈ G est l’indice du neurone vainqueur
5. Applications

Principe de l’auto-organisation : l’adapation
adaptation espace discret

(grille)
espace d’entrée S
continu
Δms
v ms
G
Les poids du neurone vainqueur et de ses

1. Introduction
voisins sont adaptés :
2. Modèles
de neurones Δmr = μ hrs ⋅ ( x − mr )
3. Structures
des réseaux μ est un coefficient d’apprentissage
4. Apprentissage mr est le vecteur poids des neurones
hrs est une fonction de voisinage
5. Applications

Principe de l’auto-organisation : optimisation des paramètres
La fonction de voisinage permet d’adapter les poids de plusieurs neurones, pas

seulement ceux du vainqueur.
⎛ d r2,s ⎞
Elle s’écrit hrs = exp ⎜⎜− 2 ⎟⎟⎟ est généralement modifiée au cours du temps
⎜⎝ 2σ ⎠⎟
k
⎛ σ f ⎞kmax
en réduisant son rayon : σk = σi ⎜⎜ ⎟⎟
⎜⎝ σi ⎠⎟
1. Introduction Exemple :
2. Modèles σk = 1.6 σk = 0.8 σk = 0.1
de neurones
1.6 0.8 0.1
1 1 1
3. Structures
des réseaux 0.5 0.5 0.5
4. Apprentissage
0 0 0
20 20 20
20 20 20
10 10 10
10 10 10
5. Applications
0 0 0 0 0 0

Principe de l’auto-organisation : exemple 1
Une carte de Kohonen est utilisée pour apprendre la série temporelle de Hénon.
Cette série est considérée comme un attracteur :
⎧⎪ xk = 1 − 1.4 xk2−1 + yk−1

⎪⎨
⎪⎪⎩ yk = 0.3 xk−1
1. Introduction
2. Modèles
de neurones La carte comprend 25×25 neurones.
Le vecteur d'entrée est constitué de [ xk yk ] .
T
3. Structures
des réseaux
4. Apprentissage
5. Applications

1 .5
Série de Hénon au cours du temps :
1
0 .5
0
x
- 0 .5
-1
- 1 .5
0 50 100 150 200 250 300 350 400 450 500
it é r a t io n s
Discrétisation de l'attracteur de Hénon
1. Introduction par une carte de Kohonen par une carte "neural gas"
0.5 0.5
2. Modèles
Position des neurones Position des neurones
Distribution à apprendre Distribution à apprendre
0.4 0.4
de neurones 0.3 0.3
3. Structures
0.2 0.2
0.1 0.1
des réseaux y 0 y 0
-0.1 -0.1
4. Apprentissage -0.2 -0.2
-0.3 -0.3
5. Applications -0.4
-0.5
-0.4
-0.5
-1.5 -1 -0.5 0 0.5 1 1.5 -1.5 -1 -0.5 0 0.5 1 1.5
x x
Les 2 cartes effectuent une discrétisation de l’espace des entrées.
La nature spécifique de la fonction de voisinage intervenant dans

les cartes de Kohonen et "neural gas" leur confère des propriétés
distinctes qui font aboutir l'apprentissage à une quantification
différente de l'espace d'entrée.
1. Introduction La répartition des neurones de la carte de Kohonen préserve les

2. Modèles relations de voisinage imposées par la grille topologique alors que
de neurones le "neural gas" n'est pas basé sur un maillage ou sur une grille.
3. Structures
des réseaux Le réseau "neural gas" optimise le positionnement des neurones
4. Apprentissage lorsque la distribution des exemples est non convexe.
5. Applications

ALGORITHME : RESULTAT
(initialisation)
Etape 1 : initialisation
Etape 2 : choix d’une entrée
Etape 3 : détermination du neurone vainqueur 60
Etape 4 : adaptation des poids des neurones
50
Ö Retour à l’étape 2
40
30
1. Introduction
20
2. Modèles
10
de neurones
3. Structures 0
des réseaux -10

-10 0 10 20 30 40 50 60
4. Apprentissage
5. Applications

(itération 100)
50
40
30
1. Introduction
20
2. Modèles
de neurones 10
3. Structures 0
des réseaux -10

-10 0 10 20 30 40 50 60
4. Apprentissage
5. Applications

(itération 1000)
50
40
30
1. Introduction
20
2. Modèles
de neurones 10
3. Structures 0
des réseaux -10

-10 0 10 20 30 40 50 60
4. Apprentissage
5. Applications

Principe de l’auto-organisation : vue plus générale
L’architecture des cartes auto-organisatrices appelée encore cartes topographiques

(à apprentissage compétitif) est bien adaptée au problème de classification :
Chaque neurone se positionne avec ses poids dans
l’espace d’entrée, et couvre une zone. Un point de
cet espace se retrouve dans la zone définie par le
neurone le plus proche.
1. Introduction x
2. Modèles
de neurones
3. Structures
des réseaux
4. Apprentissage L’apprentissage déplace les neurones
pour les adapter à la densité de l’espace d’entrée.
5. Applications

Principe de l’auto-organisation : vue plus générale
Il existe différentes cartes auto-organisatrices ou carte

topographique (à apprentissage compétitif) :
• la carte auto-organisatrice de Kohonen (1982) à apperntissage

non supervisé,
• le neural gas,
• les SVM.
1. Introduction
2. Modèles Les machines à vecteurs de support (en anglais Support Vector
de neurones Machine, SVM) sont un ensemble de techniques d'apprentissage
3. Structures supervisé destinées à résoudre des problèmes de discrimination et
des réseaux de régression. Les SVM sont une généralisation des classifieurs
4. Apprentissage linéaires et ont été développés dans les années 1990.
5. Applications

architectures et
applications
1. Introduction
2. Modèles
de neurones
3. Structures
des réseaux Apprentissage de
4. Apprentissage
systèmes dynamiques
5. Applications

Apprentissage de systèmes dynamiques
Apprendre la dynamique d’un système
Principe: la dynamique du système est "captée" à l’aide de lignes à retard.
xk − N
xk z −1
z ...
−1
z −1
1. Introduction
x k −1
2. Modèles
xk
de neurones
3. Structures
des réseaux
time-delayed neural network
with tapped delay line
4. Apprentissage
5. Applications

Apprendre la dynamique d’un système
Souvent, l’entrée et la sortie sont représentatif de la dynamique d’un système.

Dans ce cas, il faut en tenir compte explicitement pour réaliser l’apprentissage.
xk yk
z −1
z −1
1. Introduction
z −1
2. Modèles
de neurones
z −1
3. Structures
des réseaux
neural network with time
4. Apprentissage delayed input and output
5. Applications

Apprendre le Jacobien d’un système
Le schéma d’apprentissage suivant les dérivées (différences entre 2 instants

successifs) des entrées et des sorties pour apprendre le Jacobien du processus.
f( )
xk yk
1. Introduction +
2. Modèles z −1 +
− +
de neurones −1
3. Structures x k −1 − Δy − z
des réseaux y k −1
4. Apprentissage
Δx
5. Applications

Apprendre l’inverse d’un système
Le réseau suivant prend en entrée la sortie du processus, sa sortie

désirée est l’entrée du processus (la consigne). L’apprentissage
permet d’estimer l’inverse du processus.
f( )
xk yk
+
f −1 ( )
−
1. Introduction
2. Modèles
de neurones
3. Structures
des réseaux
4. Apprentissage training of the inverse
dynamic model of a plant
5. Applications

Utilisation du réseau ayant appris l’inverse d’un système
Commande simple avec apprentissage en ligne :
A chaque itération,
1. on calcule une commande : f −1 ( )
f( )
rk xk yk
1. Introduction 2. on adapte les poids :

2. Modèles f −1 ( )
f( )
de neurones
x k −1 y k −1
3. Structures
des réseaux
4. Apprentissage −
e k −1
+
5. Applications

Utilisation du réseau ayant appris l’inverse d’un système
Commande plus complexe avec apprentissage en ligne :
f −1 ( )
uk
1. Introduction f( )
rk + ek + xk yk
2. Modèles g( )
de neurones − +
3. Structures
des réseaux
4. Apprentissage inverse dynamic model-based adaptive control of a plant
5. Applications

MRAC: Model Referencing Adaptive Control
Méthode directe
MRAC f( )
xk yk
1. Introduction
2. Modèles
de neurones −
rk mk
3. Structures reference
des réseaux model +
4. Apprentissage direct dynamic model-based adaptive control of a plant
5. Applications

MRAC: Model Referencing Adaptive Control
Méthode indirecte
MRAC f( )
xk yk
−
+
controller ANN
1. Introduction identification
2. Modèles − ANN
de neurones +
3. Structures rk
reference mk
des réseaux model
4. Apprentissage
inverse dynamic model-based adaptive control of a plant
5. Applications

Emuler un contrôleur existant
Il est parfois utile d’estimer la loi de commande d’un système. Dans le

schéma d’apprentissage ci-dessous, le contrôleur pour être remplacé par
le réseau de neurones dès que celui-ci aura appris avec une précision
suffisante. f( )
rk
xk yk
controller
1. Introduction +
2. Modèles −
de neurones
3. Structures
des réseaux
4. Apprentissage
training for emulation of an actual controller
5. Applications

Contrôle avec un modèle « interne »
Ce schéma modifie la consigne en soustrayant les perturbations et les

erreurs de modélisation.
f( )
+
rk xk yk
−
1. Introduction +
modèle
2. Modèles −
de neurones
3. Structures
des réseaux
4. Apprentissage
5. Applications

architectures et
applications
1. Introduction
2. Modèles
de neurones
3. Structures
des réseaux Application des
4. Apprentissage
réseaux de neurones
5. Applications

Applications des réseaux de neurones
1 Approximation linéaire
(Adaline)
2 Apprentissage de fonctions
(carte de Kohonen)
1. Introduction
2. Modèles 3 Estimation de fonctions robotiques
de neurones (carte de Kohonen et Adaline)
3. Structures
des réseaux 4 Identification d’une fonction de transfert
4. Apprentissage (réseau multicouche)
5. Applications

Applications
Estimation de fonction
Estimer une fonction est un cas général particulièrement intéressant, car

de nombreux processus peuvent être assimilés à une fonction ou une
transformation.
Estimer une fonction revient à estimer : espace des

f( ) sorties
1. Introduction
espace des yk
2. Modèles
entrées
de neurones
3. Structures
des réseaux xk
4. Apprentissage
5. Applications

Application 1 : Adaline
Objectif : estimer une relation linéaire à l’aide d’un Adaline.
\
f( )
1. Introduction
\2 yk
2. Modèles
de neurones
3. Structures
des réseaux xk
4. Apprentissage ⎡x ⎤ ⎡ x1 ⎤
x = ⎢ 1⎥ y = f (x) = a x = ⎣⎡ a1
T
a 2 ⎦⎤ ⎢ ⎥
⎣ x2 ⎦ ⎣ x2 ⎦
5. Applications


yˆ = wTk x k
w k +1 = w k + Δw k
ε k = yk − yˆ k = yk − w Tk x k
ε k xk
Δw k = α \
λ + xk
2
f( )
1. Introduction
\2 yk
2. Modèles
de neurones
3. Structures
des réseaux xk
4. Apprentissage ⎡x ⎤ ⎡ x1 ⎤
x = ⎢ 1⎥ y = f (x) = a x = ⎣⎡ a1
T
a 2 ⎦⎤ ⎢ ⎥
⎣ x2 ⎦ ⎣ x2 ⎦
5. Applications


x1 = [ 0 1] , yk = 1.33 x 6 = [ −2 3.14] , yk = 3.17
T T
Jeu d’apprentissage :
x 2 = [1 0] , yk = 0.50 x 7 = [ −3.14 0] , yk = −1.57
T T
avec
x3 = [1 1] , yk = 1.83 x8 = [ −1.1 10] , yk = 12.75
T
a = [ 0.5 1.33]
T T
x 4 = [ 2 7 ] , yk = 10.31 x9 = [ 0.5 −1] , yk = −1.08

T T
x5 = [ 0.5 8] , yk = 10.89 x10 = [ 4.5 −5] , yk = −4.40

T T
1. Introduction
Après apprentissage, on obtient : w = aˆ = [ 0.5 1.33]
T
2. Modèles
de neurones avec une erreur de 10^-3 :
3. Structures - en 4 itérations avec α = 1
des réseaux - en 12 itérations avec α = 0.5
4. Apprentissage - en 26 itérations avecα = 0.1
w init = [ −0.5 1.5]
T
5. Applications

Application 2 : carte de Kohonen
Objectif : estimer une relation non linéaire avec une carte de Kohonen.
ARCHITECTURE : RESULTAT
(2 cartes de 1× 19 neurones)
Il s’agit en fait d’une double carte avec :
1 grille dans l’espace des entrées
1
(apprentissage non supervisé),
0.8
1 grille dans l’espace des sorties 0.6
(apprentissage supervisé). x 0.4
k
0.2
1. Introduction 0
-0.2
2. Modèles
-0.4
de neurones
X -0.6
3. Structures w(out)
i ,k
yˆ k -0.8
des réseaux
- -1
Y + yk 0 2 4 6 8 10 12
4. Apprentissage
5. Applications

Application 2 : carte de Kohonen
Objectif : estimer une relation non linéaire avec une carte de Kohonen.
ARCHITECTURE : RESULTAT
( 2 cartes de 1× 19 neurones et 19 Adalines)
xk
w i(in)
+-
,k
1
0.8
X w (out) 0.6
i ,k
0.4
Y
+
+
yˆ k 0.2
1. Introduction 0
-0.2
2. Modèles -
yk
A i ,k ( x k − w (in)
i ,k )
+
-0.4
de neurones
-0.6
3. Structures
-0.8
des réseaux
-1
SOM-LLM 0 2 4 6 8 10 12
4. Apprentissage
(Self-Organizing Maps-Linear Local Models)
5. Applications

Application 3 : carte de Kohonen + Adaline
Objectif : estimer une fonction robotique (non linéaire)

avec une carte de Kohonen et des Adalines.
θ3
Un robot (ici un bras manipulateur) est une fonction.
Le modèle direct du robot est calculé à l’aide de
θ2 θ5 θ4 fonctions trigonométriques.
X
θ1
espace 3D
Y f( )
1. Introduction Z espace
articulaire yk
2. Modèles
de neurones (des entrées)
3. Structures
des réseaux xk
4. Apprentissage
5. Applications


Dans un schéma d’asservissement visuel,

la fonction du système est composée de
celle du robot et du système de vision
(projection perspective).
espace des
f( ) images
1. Introduction espace
articulaire yk
2. Modèles
de neurones (des entrées) espace 3D
3. Structures X
des réseaux xk
Y
4. Apprentissage Z
L’espace 3D est mesurée "à distance" par 2 caméras.

5. Applications


En estimant le Jacobien de la fonction , il est possible d’associer à un

déplacement dans les images (une erreur), un déplacement dans les
angles (une commande).
espace des
images
espace
1. Introduction articulaire Δy k
2. Modèles (des entrées)
de neurones J −1 (x k )
3. Structures Δx k
des réseaux
4. Apprentissage
5. Applications


On en déduit une loi de commande :
1. Introduction X
2. Modèles Z
Y
de neurones
3. Structures +
des réseaux
−
4. Apprentissage
J −1 (x k )
5. Applications


xk
L’estimation de la fonction robotique permet de créer
un contrôleur neuronal pour l’asservissement visuel input map
+-
du bras. output map
Le réseau de neurone utilisé est un SOM-LLM :

(Self-Organizing Maps-
+
+ yˆk
1. Introduction Linear Local Models)
-
2. Modèles + yk
de neurones
3. Structures
des réseaux Δy k Δx k
4. Apprentissage
+
Adaline -
5. Applications


Discrétisation de l’espace de travail du robot à l’aide des

réseaux SOM-LLM (robot 3 axes dans un plan):
0.6
0.4
0.2
1. Introduction
0
W(i,2)
2. Modèles
-0.2
de neurones
3. Structures -0.4
des réseaux -0.6
4. Apprentissage -0.8
0.6 0.5 0.4 0.3 0.2 0.1 0 -0.1
W(i,1)
5. Applications


Cette approche a été validée expérimentalement :
1. Introduction
2. Modèles
de neurones
3. Structures +
des réseaux
−
4. Apprentissage
5. Applications


Cette approche a été étendue :
• à des robots à 5 axes (volume)

• à des caméras qui s’orientent
1. Introduction Ö 5+4 = 9 degrés de liberté
2. Modèles
de neurones Un réseau unique ne peut pas apprendre cette fonction.
3. Structures Ö Solution :
des réseaux la fonction est découpée en plusieurs fonctions
4. Apprentissage plus simples et chacune est apprise par un réseau SOM-LLM
de neurone indépendant.
5. Applications


Approche modulaire :
θˆ4
calculation θˆ5
M5
θ5
I αˆ c1
α M1 M2 ˆ , Yi
Xi ˆ , Zi
ˆ M3 θˆ1 , θˆ2 ,θˆ3
θ1 , θ 2 ,θ3
inv Xi, Yi, Zi Model
1. Introduction αˆ c2
2. Modèles
de neurones
3. Structures Chaque module (M1, M2, M3 et M5) est un réseau SOM-
des réseaux LLM avec pas plus de 3 dimensions pour les grilles des
4. Apprentissage neurones et pour l’espace des entrées (11¯10 ou
11¯10¯4 neurones).
5. Applications


Approche modulaire :
• elle découle d’une décomposition théorique
(expression mathématique des angles)
• elle permet d’apprendre des problèmes très complexes
• elle aboutit à des erreurs moyennes de 0.15° par axe
1. Introduction Ö soit une erreur inférieure à 4 mm en position et 1.5° en orientation

2. Modèles learning error for θˆ5 learning error for θˆ2
de neurones
3. Structures
des réseaux
4. Apprentissage
5. Applications

Application 4 : réseau multicouche
Objectif : identifier la fonction de transfert d’un onduleur.
Une fonction de transfert est une fonction…
espace des
f( ) sorties
1. Introduction
espace des yk
2. Modèles
entrées
de neurones
3. Structures
des réseaux xk
4. Apprentissage
5. Applications

Approche fonction de transfert :
x y
f (s)
1. Introduction
Approche neuronale ("black-box modeling") :
2. Modèles
de neurones
3. Structures fˆ (t )
des réseaux x y
4. Apprentissage
5. Applications

En fait, on veut estimer l’onduleur et son filtre de sortie du 3ième ordre.
La fonction de transfert d’un onduleur peut se simplifier à un système du

premier ordre avec un retard : 1 − e sT
fonduleur ( s) = T = période
s d’échantillonnage
Il faut donc estimer ˆ f RNN (t ) = fonduleur (t ) + f filtre (t ) t = kT
1. Introduction
avec A
2. Modèles f filtre ( s ) =
de neurones a3 s 3 + a2 s 2 + a1s + a0
3. Structures
des réseaux fˆRNN (t )
x y
4. Apprentissage
5. Applications

La tâche à réaliser est la suivante :
iref (k ) + u (k ) onduleur + isortie (k )

− filtre de sortie
1. Introduction
2. Modèles
de neurones
3. Structures
des réseaux
Il faut générer un courant isortie (k ) identique au courant de
référence iref (k ) grâce au signal u (k ) créé par la loi de commande.
4. Apprentissage
5. Applications

Il est par exemple nécessaire de commander un onduleur et le

filtre de sortie associé dans le schéma d’un filtre actif parallèle
(pour compenser les harmoniques présentes dans un réseau de
distribution électrique).
Ils (l’onduleur et le filtre de sortie) introduisent un retard entre

1. Introduction le courant de sortie et le courant de référence. Ce retard se
traduit par la suite en un déphasage non souhaitable entre le
2. Modèles
de neurones courant et la tension du réseau électrique.
3. Structures
des réseaux Les contrôleurs généralement utilisés dans les filtres actifs
4. Apprentissage parallèles sont des régulateurs PID ou RST.
5. Applications

Identification : apprentissage du système direct avec un MLP 4-20-1
u (k ) onduleur +
filtre de sortie isortie (k )
u (k ) +
u (k − 1) ε −
1. Introduction
u (k − 2) iˆsortie (k )
2. Modèles
de neurones isortie (k − 1)
3. Structures
des réseaux
4. Apprentissage
5. Applications


25
20
u (k ) 15
10
isortie (k ) 0
-5
iˆsortie (k ) -10
1. Introduction -15
-20
0.3
2. Modèles
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
4
x 10
0.2
de neurones 0.1
3. Structures ε mean = 0.0724 0
des réseaux
ε max = 0.2678
-0.1
-0.3
ε = isortie (k ) − iˆsortie (k )
5. Applications -0.4
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8
x 10
2
4

Identification : apprentissage du système

inverse avec un MLP 4-20-1
u (k ) isortie (k )
onduleur +
filtre de sortie
1. Introduction isortie (k − 1) +
2. Modèles isortie (k − 2) ε −
de neurones
3. Structures isortie (k − 3) uˆ (k )
des réseaux u (k − 1)
4. Apprentissage
5. Applications

Identification : apprentissage du système 10
inverse avec un MLP 4-20-1 8
isortie (k )
2
u (k )
1. Introduction 0
2. Modèles uˆ (k ) -2
de neurones 0.06
3. Structures
-4
0.04
des réseaux ε mean = 0.0054 0.02

-6
4. Apprentissage ε max = 0.0515

0
-8
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8
x 10
2
4
-0 . 0 2
5. Applications -0 . 0 4
ε = u (k ) − uˆ (k )
-0 . 0 6
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
Patrice.Wira@uha.fr – Université de Haute Alsace

4
x 10
6. Conclusions 107
Identification : commande directe avec un MLP 4-20-1
− +
isortie (k )
iref (k ) u (k ) onduleur +
filtre de sortie
1. Introduction
f (k )
2. Modèles iref (k ) fˆ −1 (k )
de neurones
3. Structures
iref (k − 1)
des réseaux isortie (k )
4. Apprentissage isortie (k − 1)
5. Applications

Identification : commande directe avec un MLP

si
4-20-1
ic
Rc Lc
Rc Lc
Schéma et principe d’un Rc Lc RchCch
i
inj 1cv
filtre actif parallèle : Ls Ls Ls
vc
1,2,3 ic nonlinear load
1,2,3
Rs Rs Rs
frequency
AC AC AC 3-order estimation
output filter f
1. Introduction
2. Modèles cV
voltage
regultation
de neurones inverter
3. Structures dv
1,2,3
des réseaux harmonic

i
ref content
4. Apprentissage identification
inverter controller
5. Applications PWM

THD(%) = 26.55
8
6
4
Identification : commande directe avec un MLP 4-20-1 0
-2
− +
-4
identification u (k ) onduleur +
icharge (k ) des harmoniques filtre de sortie -6
iref (k ) isortie (k )
icharge A
ε mean A = 0.0422
2 -8
8
THD(%) = 2.61
0 2000 4000 6000 8000 10000 12000 14000 1600
1. Introduction
6
ε mean B = 0.0249
1.5
4
2. Modèles 1
ε mean C = 0.0285
de neurones 0.5
2
3. Structures 0
des réseaux 0
-2
-4
-1
5. Applications ε A = isortie A − iref
-6
isource A + isortie A
A
-1.5 -8
0 2000 4000 6000 8000 10000 12000 14000 160000 2000 4000 6000 8000 10000 12000 14000 160
∑
∞
THD(%) = h=2 h
I ε A = isortie A − iref A
Résultat de simulation avec un If
nombre différent de neurones dans méthode de THD (%) erreurs
commande après compensation statiques
la couche cachée du MLP.
sans compensation [26.55 24.04 26.50]
La charge non linéaire est modifiée PID classique [1.50 2.44 1.40] [0.1382 0.2813 0.0324]
3 fois, THD et erreurs sont donnés Hystérésis [1.4 2.83 1.41 ] [0.0221 0.0159 0.0253]
après stabilisation (qq ms). PI Neuronale [1.68 2.95 1.64] [0.0305 0.0257 0.0302]
Cette approche a également été MLP 4:2 :1 [2.63 3.07 1.74] [0.033 0.0404 0.0370]
validée expérimentalement. MLP 4 :3 :1 [2.25 3.04 1.65 ] [0.0097 0.0486 0.0283]
MLP 4 :4 :1 [1.99 3.04 1.67] [0.0214 0.0424 0.0244]

1. Introduction
MLP 4 :5 :1 [1.66 2.96 1.54] [0.0226 0.0285 0.0256]
2. Modèles
de neurones MLP 4 :10:1 [1.76 2.98 1.64] [0.0351 0.0245 0.0327]
3. Structures
MLP 4 :15:1 [1.79 3.02 1.66] [0.0335 0.0208 0.0264]
des réseaux
MLP 4 :20:1 [2.61 3.24 1.71] [0.0422 0.0249 0.0285]
4. Apprentissage
MLP 4 :25:1 [1.87 2.91 1.75] [0.0303 0.0224 0.0365]
5. Applications

Bilan :
• La commande directe n’est pas la commande la plus performante.

On peut s’attendre à de meilleurs résultats avec des commandes
1. Introduction plus évoluée (telles que direct-inverse, MRAC).
2. Modèles
de neurones • Plus il y a des neurones dans un réseau, plus le jeu d’apprentissage
3. Structures doit être grand.
des réseaux
4. Apprentissage • La commande neuronale est adaptative (au contenu harmonique)
et sa réponse est suffisamment rapide.
5. Applications

architectures et
applications
1. Introduction
2. Modèles
de neurones
3. Structures
des réseaux Conclusion
4. Apprentissage
5. Applications

Conclusion
Ce cours a illustrée de manière modeste le formalisme des

réseaux de neurones. Nous avons développé en particulier :
• le réseau Adalines (ADAptive LINear Element),
• la carte auto-organisatrice de Kohonen,

1. Introduction (apprentissage non supervisé)
2. Modèles
de neurones • et le réseau multicouche avec rétropropagation de l’erreur.
3. Structures (apprentissage supervisé)
des réseaux
4. Apprentissage
5. Applications

Conclusion
L’approche utilisée est une approche purement "traitement du signal".
L’objectif est d’étudier et de développer des méthodes d’identification

et lois de commandes adaptatives et intelligentes. On parle alors de
lois de commandes neuronales et de contrôleurs neuronaux.
Les applications directes qui ont permis d’illustrer nos propos

concernaient :
1. Introduction
• l’approximation de fonctions, linéaire et non linéaire,
2. Modèles
de neurones
3. Structures
• l’estimation de fonctions robotiques (non linéaires) complexes,
des réseaux
• l’identification de la fonction de transfert d’un système non linéaire.
4. Apprentissage
5. Applications

Conclusion
Perspectives dans l’utilisation des réseaux neuromimétiques

dans les lois de commande intelligentes
Les systèmes de demain seront plus complexes. Il faudra les rendre plus « intelligents ».
Les lois de commande utilisées seront de fait des commandes intelligentes.
Le recensement des derniers progrès technologiques, permet

également d’envisager que l’utilisation les réseaux de neurones
seront démultipliées dans le futur.
1. Introduction
2. Modèles Les investigations en cours recherchent à optimiser les réseaux par
de neurones rapport aux supports matériels de calcul.
3. Structures
des réseaux Aujourd’hui, les commandes neuronales sont spécialisées pour une
4. Apprentissage application spécifique. Il faut à l’inverse chercher à les généraliser,
en particulier dans le cas des commandes de moteurs.
5. Applications

Bibliographie (1/2)
[1] K. S. Narendra and K. Parthasarathy, "Identification and Control of Dynamical Systems Using Neural
Networks," IEEE Transactions on Neural Networks, vol. 1, no. 1, pp. 4-27, 1990.
[2] B. Widrow and E. Walach, Adaptive Inverse Control. Upper Saddle River: Prentice Hall Press, 1996.
[3] S. Haykin and J. Principe, "Dynamic modeling with neural networks," IEEE Signal Processing
Magazine, vol. 15, no. 3, 1998.
[4] S. Haykin, Neural networks : A comprehensive Foundation, 2nd ed. Upper Saddle
River, N.J.: Prentice Hall, 1999.
[5] P. Vas, Artificial-intelligence-Based Electrical Machines and Drives: Application of

Fuzzy, Neural, Fuzzy-Neural and Genetic-Algorithm-Based Techniques. Oxford: Oxford
1. Introduction University Press, 1999.
2. Modèles [6] M. Nørgaard, O. Ravn, N. K. Poulsen, and L. K. Hansen, Neural Networks for
de neurones Modelling and Control of Dynamic Systems. London: Springer-Verlag, 2000.
3. Structures
des réseaux [7] B. K. Bose, "Neural Network Applications in Power Electronics and Motor Drives -
An Introduction and Perspective," IEEE Transactions on Industrial Electronics, vol. 54,
4. Apprentissage no. 1, pp. 14-33, 2007.
5. Applications

Bibliographie (2/2)
[8] T. Kohonen, "Self-Organized Formation of Topologically Correct Feature Maps," Biological Cybernetics,
vol. 43, pp. 59-69, 1982.
[9] T. Kohonen, Self-Organizing Maps vol. 30. Berlin: Springer-Verlag, 1995.
[10] T. Kohonen, Content-Addressable Memories, 2nd ed. vol. 1. Berlin: Springer-Verlag, 1987.
[11] G. W. Irwin, K. Warwick, and K. J. Hunt, "Neural Network Applications in Control," in
Control Engineering Series. vol. 53 London: The Institution of Electrical Engineers, 1995.
[12] M. N. Cirstea, A. Dinu, M. McCormick, and J. G. Khor, Neural and Fuzzy Logic Control
of Drives and Power Systems. Oxford (England): Newnes, 2002.
[13] L. Personnaz and I. Rivals, Réseaux de neurones formels pour la modélisation, la

commande et la classification. Paris: CNRS Éditions, 2003.
1. Introduction
[14] P. Borne, M. Benrejeb, and J. Haggège, Les réseaux de neurones - Présentation et
2. Modèles applications. Paris: Technip, 2007.
de neurones
3. Structures [15] G. Dreyfus, J.-M. Martinez, M. Samuelides, M. B. Gordon, F. Badran, and S. Thiria,
des réseaux Apprentissage statistique : Réseaux de neurones - Cartes topologiques - Machines à vecteurs
supports. Paris: Eyrolles, 2008.
4. Apprentissage
[16] J. Hérault and C. Jutten, Réseaux neuronaux et traitement du signal. Paris: Hermès, 1994.
5. Applications

Cours en ligne
Merci de votre attention.
Ce cours est disponible en ligne :

1. Introduction
2. Modèles http://www.trop.mips.uha.fr/cours-ed/
de neurones
3. Structures
des réseaux (à partir du 1er mai 2009)
4. Apprentissage
5. Applications


Réseau Neuronaux Artifitiels

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Réseau Neuronaux Artifitiels

Transféré par

Droits d'auteur :

Formats disponibles

Réseaux de neurones artificiels :

Master recherche Sciences et Technologies

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

3. Structures des réseaux de neurones artificiels

2. Modèles 4. Apprentissage de systèmes dynamiques

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

Les neurones sont considérés comme le support physique de

1. Introduction réseaux de neurones artificiels

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

Les réseaux de neurones artificiels réalisé à partir de ce types de

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

vue de plusieurs neurones biologiques :

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

Le neurone formel : exemple avec 3 entrées

poids synaptiques fonction d’activation

1. Introduction plusieurs entrées w1

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

En 1949, Hebb a mis en évidence l’importance du couplage

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

Aujourd’hui, les réseaux de neurones artificiels ont de nombreuses

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

Le neurone formel : exemple avec 3 entrées

1. Introduction Calcul de la sortie du neurone :

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

On distingue 2 types de neurone formel :

1 Le Perceptron de F. Rosenblatt (1958)

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

Le Perceptron de F. Rosenblatt (1958) et la règle de D. Hebb (1949)

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

Pour traiter plusieurs sorties, on utilise plusieurs Perceptron en

L’utilisation d’une fonction d’activation du type « automate linéaire à

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

L’Adaline de B. Widrow et T. Hoff (1960)

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

Pour traiter plusieurs sorties, on utilise plusieurs Adaline en

L’apprentissage d’un Adaline s’effectue en ligne et est basé sur la

Lorsque le nombre d’entrées (exemples) tend vers l’infini,

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

Que ce soit le Perceptron ou l’Adaline, ces 2 modèles sont toujours

La représentation d’un neurone formel peut se simplifier :

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

Il existe d’autres modèles de neurone formel.

Leur utilisation dépend des objectifs…

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

Les objectifs sont ceux des sciences différentes regroupées autours

Elles cherchent à étudier :

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

Étude de la conscience avec le modèle de Grossberg (2007) :

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

signaux neuronaux signaux neuronaux

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

1. Assembler des neurones

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

Objectif : créer des méthodes adaptatives d’identification et

Assembler des neurones c’est multiplier leurs capacités d’apprentissage.

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

Exemple d’un réseau multicouche complètement connecté

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace

Exemple d’un réseau non ordonné et partiellement connecté

6. Conclusions Patrice.Wira@uha.fr – Université de Haute Alsace