Chapitre 5: Intelligence

Artificielle: Outils
Mathématiques
Les réseaux de neurones artificiels
Introduction à l’Intelligence Artificielle (IA)

Master 2 ESE Décembre 2022 2

 La machine modèle

• qu’elle comprenne un interlocuteur humain.

• qu’elle soit capable de réaliser les tâches que

celui-ci lui demande.

• qu’elle réagisse avec « intelligence ».

Master 2 ESE Décembre 2022 3

 Définition de l’intelligence

Selon LE PETIT LAROUSSE (1996):

 Aptitude mentale à comprendre et à raisonner

 Capacité de s’adapter à son environnement…

Master 2 ESE Décembre 2022 4

 Définition de l’intelligence artificielle

Une présupposition essentielle pour agir intelligemment d’une

manière générale est la capacité de produire et de manipuler
des structures symboliques. (Allen Newell)

Le but de l’intelligence artificielle est l’étude de la structure de

l’information et de la structure de processus de résolution de
problèmes, indépendamment des applications et
indépendamment d’une réalisation. (John McCarthy.)

Master 2 ESE Décembre 2022 5

 Qu’est ce que l’IA concrètement.

Rechercher (analyser, résoudre des problèmes, trouver des

méthodes de résolution)

Représenter des connaissances (logique, règles, mémoire, cas,

langue naturelle, etc.)

Mettre en application les idées 1 et 2 (Systèmes Experts, pilotes

automatiques, agents d’interfaces, robots, Data Mining, etc.)

Master 2 ESE Décembre 2022 6

 Historique de l’intelligence artificielle

1943 : McCulloch et Pitts créent le modèle du neurone formel

1948 : Création de la cybernétique (science des systèmes) par

Norbert Wiener.

1949 : Hebb établit la première règle d'apprentissage neuronal

1950 Shannon, 1952 Samuel, 1953 Turing : machine pour jouer

aux échecs

1956: Dartmouth Workshop - John McCarthy propose le terme

« Artificial Intelligence »

1958: MIT – John McCarthy crée le « langage LISP »

Master 2 ESE Décembre 2022 7
 Définition « opérationnelle »

• « L’IA est le domaine de l’informatique qui

étudie comment faire faire à l’ordinateur des
tâches pour lesquelles l’homme est
aujourd’hui encore le meilleur. » E. Rich

• Définition essentiellement évolutive, l ’IA est

innovatrice :

Master 2 ESE Décembre 2022 8

 Homme
Perception Processus actions
internes
Raisonnements Motricité
Vision Résolution de Robot
problèmes
Monde Planification Monde
Apprentissage
Audition Emotion Langage
Parler
Créativité

Master 2 ESE Décembre 2022 9

 Domaines connexes
• Philosophie des sciences, de la connaissance, de l’esprit
• Logique
• Linguistique
• Neurophysiologie
• Psychologie cognitive
• Optimisation mathématique
• Automatique et contrôle
• Statistique
• Théorie des graphes
• Aquisition et traitement d’images
• Dynamique des systèmes chaotiques
• Programmation robotique …
Master 2 ESE Décembre 2022 10
 Dichotomies

• Strong AI vs Weak AI
• Niveau de compétence vs niveau de performance
• Algorithmique vs non algorithmique
• Vision analytique vs vision émergente de la
résolution de problèmes

• Sciences du naturels vs sciences de l’Artificiel

• ...
Master 2 ESE Décembre 2022 11
 Strong AI VS Weak AI
• Point de vue essentiellement philosophique relatif à la
conscience des machines

• La conscience peut-elle émerger de manipulations

purement syntaxiques ? (cf Chambre Chinoise, Searle 81)

• Hypothèse d ’un système physique de symboles (Newell

1980); la conscience du thermostat (D. Chalmers)

• Matrix
Master 2 ESE Décembre 2022 12
 Niveau de compétence VS
Niveau de performance
• Distinction introduite par Chomsky : faire
« comme » ou faire « aussi bien que ».

• L’oiseau et l ’avion volent …

• Jeux d ’échecs : les GMI réfléchissent

différemment de Deep Blue

• Question fondamentale en Sciences Cognitives :

l ’aspect séquentiel du processeur limite-t-il la
validité de l ’approche connexionniste?
Master 2 ESE Décembre 2022 13
 Algorithmique vs
non Algorithmique
• Un algorithme est une séquence finie
d ’instructions qui permet de résoudre un
problème en un temps fini.

• La définition de l ’IA comme domaine de la

programmation non algorithmique est
équivoque.

Master 2 ESE Décembre 2022 14

 Vision analytique vs
vision émergente
• Décomposition de problèmes en sous-problèmes plus
simples à résoudre (analyse procédurale, système experts
basés sur la logique des prédicats)

• Distribution des tâches à un ensemble d ’agents qui

interagissent (NN, OO, Ant Algorithm)

• Dans la même veine :

– IA classique vs IA NN
– IA symbolique vs IA numérique

Master 2 ESE Décembre 2022 15

 Plus court chemin
(méthode analytique)

f(x)

5
min  1  f '2 ( x)dx
f C1 0

 f (0)  0
 x
 f ( 2)  10

 f ( 4)  11
 f ( x)  x  4  0 x : 1  x  3


 f ' ( x )  1 x : 0  x  4
Master 2 ESE Décembre 2022 16
 Plus court chemin
(approche émergente)

f(x) f(x)

x
Master 2 ESE Décembre 2022 x
17
 Sciences naturelles vs
Sciences de l’artificiel

• Compréhension des phénomènes de la nature

• Cette compréhension passe par la construction de

modèles capables de réaliser des simulations. D’où la
possibilité d ’explorer effectivement les conséquences des
postulats initiaux; éthologie des programmes informatiques

• Sciences normatives par opposition au caractère descriptif

des sciences naturelles.

Master 2 ESE Décembre 2022 18

 Caractéristiques de l’IA VS
informatique classique
• Informatique plus symbolique
• Aspects plus déclaratif, moins procédural
• On privilégie la satisfaction à l’optimisation (sauf si
l’on introduit des méta-règles heuristiques)
• Données incomplètes, inexactes, conflictuelles
• La notion de représentation d’un problème est
fondamentale
• Pluridisciplinaire: logique, psycho-cognitive, biologie,
neurosciences, philosophies, mathématiques …

Master 2 ESE Décembre 2022 19

 Partie 2 :
Historique : dates, noms,
programmes…
 Machines Programmables

Métier à tisser Machine Analytique

(Jacquard 1805) (Babbage & A. Ada Lovelace 1837)

Master 2 ESE Décembre 2022 21

Quelques approches théoriques
avant 1900
• XIII : Raymond Lulle (Ars Magna)

• XVIII : Gottfried Wilhelm Leibnitz (calculus

Ratiocinator)

• XIX :
– George Boole, The Laws of Thaught, 1854;
– Gottlob Frege (1879 – logique des prédicats)

Master 2 ESE Décembre 2022 22

 Tentative de Leibnitz

substance = 2
material = 3 immaterial = 5
animate = 7 inanimate = 11
sensitive = 13 insensitive = 17
rational = 19 irrationnal = 23
…
Human = 2 x 3 x 7 x 13 x 19 = 10374
Mineral = 2 x 3 x 11 = 66

103674 mod 66 0 => a human is not a mineral

Transitivité de l’héritage
Master 2 ESE Décembre 2022 23
 Formalisation du raisonnement

• Logique des propositions

syntaxe inductive permettant d’écrire des formules
Sémantique vérifonctionnelle (+ table de vérité)
(A (A  B))  B modus ponens
( B (A  B))   A) modus tollens

• Logique des prédicats

x homme( x )  mortel( x ) (1)
homme(Socr ate). (2)
homme(Socr ate)  mortel(Soc rate) (3)
mortel(Soc rate). Master 2 ESE Décembre
(4)2022 24
 1900-1945
• David Hilbert
– 23 problèmes (Second Congrès International des
mathématiques à Paris, 1900)
• Russell et Whitehead
– Principia mathematica (1913)
• Emil Post
– Systèmes de production
• Gödel
– théorème d’incomplétude (1931)
• Turing
– machine universelle (1936)
– pas d’a priori sur la non prouvabilité d’un théorème
Master 2 ESE Décembre 2022 25
La machine universelle

Master 2 ESE Décembre 2022 26

 Neurone formel
Mac Cullogh & Pitts (1943)

1 0.3

0
-1
 1
0.5

Master 2 ESE Décembre 2022 27

 Cybernétique (1947)

• Norbert Wiener, s’inspirant de la biologie,

introduit la notion de rétroaction dans les
systèmes de traitement de l’information.
• Idée des boucles réentrantes fondamentales
en IA et Sciences Cognitives.

input output
Système

controle
Master 2 ESE Décembre 2022 28
feedback
 ENIAC 1945
• Electrical and Numerical Integrator and Calculator

• Architecture de Von Neumann: ranger les données et

les instructions dans une « mémoire »; le processeur
– séparé – réalise les calculs.

• 1900 tubes à vides, 1500 relais, des milliers de

résistances, capacités … 200 KW

• 10 khz (addition)

Master 2 ESE Décembre 2022 29

Master 2 ESE Décembre 2022 30
The Turing Test (1950)

Master 2 ESE Décembre 2022 31

 Algorithme A* - problème du taquin
1+5 2+4 3+4
2 8 3 2 8 3 2 3 5+2
1 6 4 14 1 8 4 1 2 3
7 5 76 5 76 5 7 8 4
0+4 2+3 3+2 65 5
1+3 4+1
2 8 3 2 8 3 2 3 2 3 1 2 3
1 6 4 1 4 1 8 4 1 8 4 8 4
7 5 76 5 76 5 76 5 76 5
3+4 5+0
1+5 2+3 2 8 3 1 2 3
2 8 3 2 8 3 71 4 8 4
1 6 4 1 4 6 5 76 5
75 76 5 3+3 GOAL
8 3
2 1 4
72022
Master 2 ESE Décembre 6 5 32
• Robotique sensorielle (Cog, Kismet)

• Artificial Life

• Chimie computationnelle

• Etude du chaos dans les réseaux de neurones

• Evolutionary robotics

Master 2 ESE Décembre 2022 33

Images

Master 2 ESE Décembre 2022 34

•

Master 2 ESE Décembre 2022 35

Master 2 ESE Décembre 2022 36
Réseaux de neurones temporels :
dynamique et apprentissage
Les réseaux de neurones naturels
Cerveau, neurones et intelligence
Chez les animaux, la
place occupée par le
cortex semble être
proportionnelle au
développement des
facultés intelligentes.

Le cerveau humain est constitué d’environ

1011 neurones ;
en moyenne, chaque neurone a de l’ordre de
104 connexions.
Master 2 ESE Décembre 2022 39
 Neurones biologiques / naturels
Les neurones forment des réseaux de communication complexes, chaque
neurone établissant de très nombreuses connexions avec d'autres.

vibrisses du rat : neurones sensitifs => thalamus

(White et Peters ) neurones thalamiques => cortex
Master 2 ESE Décembre 2022 40
Neurones biologiques / naturels
gallerie de photos...

Master 2 ESE Décembre 2022 41

Neurones biologiques / naturels
Première schématisation
du neurone (Dieters, 1865)

Enregistrement d’un neurone

vivant : micro-électrode de verre

Neuropuce (Infineon) : 16 384 capteurs au mm 2

pour enregistrer tout signal électrique émis par
un neurone vivant, ici celui d’une “limace de boue”
[Lymnaea stagnalis]

Master 2 ESE Décembre 2022 42

 Neurones biologiques / naturels
Schématiquement, un neurone biologique est constitué
d’un arbre dendritique, d’un soma et d’un axone.

autre
dendrites

axone dendrite
soma
connexion
synaptique

Un neurone peut émettre des impulsions sur son axone.

Elles se propagent vers les dendrites des neurones auxquels
il est connecté, qui les transmettent au corps cellulaire
(ou soma), via des connexions pondérées par des synapses.
Master 2 ESE Décembre 2022 43
Connexions synaptiques

Master 2 ESE Décembre 2022 44

Connexions synaptiques

Master 2 ESE Décembre 2022 45

 Plasticité synaptique
Loi de renforcement de Hebb (1949) :
Postulat physiologique :
“quand un axone de la cellule A est assez proche pour exciter une cellule B
et quand, de façon repétée et persistante, il participe à son activation, un
certan processus de croissance ou un changement métabolique s’installe,
dans une cellule ou dans les deux, tel que l’efficacité de A, en sa qualité
de cellule qui active B, est augmentée”.

En résumé : si deux neurones sont souvent

excités simultanément, alors ils augmentent
la force (le poids) de leur interconnexion .

=> c’est le principal fondement des règles

d’apprentissage, dans les réseaux de neurones artificiels.
Master 2 ESE Décembre 2022 46
Les réseaux de neurones artificiels
 Qu’est-ce qu’un RNA ?

0 1
1 1
0 Réseau 0
Stimulus 1 0 Réponse
1 1
1 0
0 1
0 0

Ce qu’on veut faire :

Étudier le comportement intelligent du RN, qui émerge
de la structure et du comportement des éléments de
base
Master (les neurones)
2 ESE Décembre 2022 48
 Les RNA sont…
• Nouvel outil
d’approximation des
systèmes complexes

• Efficaces lorsque
les systèmes sont
non linéaires

Master 2 ESE Décembre 2022 49

 Neurones artificiels
Le premier modèle mathématique de neurone
est le neurone formel de McCulloch et Pitts (1943).
x1 w1

wi y = 1 si Σwixi>θ
xi Σ θ
= 0 sinon
sommation, seuillage

wn
xn

Loi du “ tout ou rien ” : le neurone émet ou non une

impulsion sur son axone, selon que la somme pondérée
de ses entrées dendritiques dépasse ou non son seuil θ.
Master 2 ESE Décembre 2022 50
 Réseaux de neurones artificiels
Un réseau de neurones artificiels est un ensemble de
neurones formels, connectés entre eux selon une
certaine architecture / topologie.

Les activités se propagent de neurone en neurone selon

une certaine dynamique.

Les poids des connexions sont modifiés / adaptés par

une règle d’apprentissage, à partir d’exemples.

Master 2 ESE Décembre 2022 51

 Réseaux de neurones artificiels
On peut aussi voir un réseau de neurones artificiels
comme un outil de modélisation de type “ boîte noire ” :
φ
X Y

vecteur d’entrée
RNA vecteur de sortie

Le RNA réalise une association d’un espace d’entrée X vers

un espace de sortie Y. La “ fonction ” φ est définie par les
poids du réseau. Ceux-ci sont ajustés au problème par une
règle d’apprentissage, à partir d’une base d’exemples (xk,tk )
[ apprentissage supervisé, si tk est connu ]
Master 2 ESE Décembre 2022 52
 Connexions synaptiques
Les poids synaptiques (artificiels) sont des nombres réels.

On associe habituellement les poids positifs à des connexions

excitatrices et les poids négatifs à des connexions inhibitrices

mais...

les règles d’apprentissage des modèles connexionnistes

classiques peuvent modifier le signe d’un poids synaptique
donné, ce qui n’est guère réaliste, sur le plan biologique.

Master 2 ESE Décembre 2022 53

 Motivation initiale
La motivation initiale n’était pas non plus très biologique :

l’idée sous-jacente à la définition du neurone formel était

de chercher à montrer que la pensée intelligente résultait
du fonctionnement des neurones du cerveau...

mais, à l’époque, on pensait que :

intelligence raisonnement
raisonnement logique

logique neurones
Master 2 ESE Décembre 2022 54
Synthèse des fonctions booléennes
Ainsi, les premiers travaux de McCulloch et Pitts ont été de
réaliser la synthèse des fonctions booléennes élémentaires
à partir de réseaux de neurones formels.

Parallèlement, les mathématiciens tentaient de démontrer

que tout raisonnement pouvait se formaliser par des
combinaisons complexes de règles logiques.

donc, dans l’esprit des travaux de Turing :

grand reséau raisonnement complexe,

de neurones intelligent
émergence
Master 2 ESE Décembre 2022 55
 Modèles connexionnistes
1940
“classiques”
Neurone formel de McCulloch & Pitts

1950
Loi de renforcement de Hebb } notions fondatrices

Perceptron de Rosenblatt
1960 Adaline de Widrow

1970

1980 Réseau de Hopfield Cartes auto-organisatrices de Kohonen

Réseaux MLP Rumelhart et al.
1990 Réseaux RBF Moody & Darken

Support Vector Machines Vapnik

2000

20... Master 2 ESE Décembre 2022 56

 Exemple : un réseau MLP
entrées sorties sorties
x1k x1 calculées désirées
y1 y1k t1 k
X ym ymk tmk Y
xnk xn erreur
neurone sigmoïde Nj : yj = σ ( Σwijxi - θj )
Généralisation, calcul du réseau :
• présenter les xi aux neurones d’entrée
• calculer les activités, de couche en couche, jusqu’aux sorties yj
Apprentissage, par rétro-propagation [ backprop ] :
• initialiser les poids wij aléatoirement, sur chaque couche
A • présenter les xik aux neurones d’entrée
k
• calculer les activités, de couche en couche, jusqu’aux sorties yjk
• mesurer l’erreur entre sorties calculées yjk et sorties désirées tjk
• en sens inverse, calculer les gradients et modifier les poids wij
Master 2 ESE Décembre 2022 57
 Modèles connexionnistes
“classiques”
Les réseaux de neurones artificiels sont devenus des outils
de modélisation et de calcul destinés aux ingénieurs :

• Reconnaissance des formes, classification, clustering

• Prédiction, prévision de séries temporelles
• Contrôle, identification de systèmes
• Compression de données
• Bioinformatique Des exemples :
repérer l’approche d’une tempête
• Robotique
identifier de multiples espèces de fleurs
reconnaître une voix dans un téléphone mobile
distinguer les raisins utilisés pour faire un bon vin
diagnostiquer les conditions d’une conduite dangereuse
reconnaître le visage de quelqu’un qu’on n’a pas vu récemment
Master 2 ESE Décembre 2022 58
 Modèles connexionnistes
“classiques”
Ces RNA sont, d’ailleurs, des outils très performants :
• Calculabilité : plus puissants qu’une machine de Turing
• Complexité : NP-complétude du “ loading problem ”
• Capacité : MLP et RBF sont approximateurs universels
• Théorie statistique de l’apprentissage, PAC-learning
mais...
les méthodes mises en oeuvre pour les améliorer sont
de plus en plus souvent des méthodes déjà connues...
et surtout...
on s’est beaucoup éloigné de l’inspiration biologique !
Master 2 ESE Décembre 2022 59
Les neurones impulsionnels
ou
“ spiking neurons ”
 Les neurones “classiques”

neurone à seuil neurone linéaire neurone sigmoïde

(fx de Heaviside) (fx identité) (exp ; argth)
f=H f=I f=σ
n
calculs basés sur
y = f ( Σ wixi - θ ) le produit scalaire
i=1

Dans certains modèles (cartes de Kohonen, réseaux RBF) :

calculs basés sur la distance y = g (|| x - w ||2)
Master 2 ESE Décembre 2022 61
 Que représente “ xi ” ?
Les algorithmes des réseaux de neurones classiques sont
itératifs. A chaque pas de temps, chaque neurone reçoit n
valeurs d’entrée xi et les traîte selon sa propre formule de
calcul et en fonction des valeurs de ses poids synaptiques.

xi représente le taux moyen de décharge

provenant du neurone présynaptique Ni

Cette moyenne (fréquence) résulte de plusieurs émissions

d’impulsions pendant un intervalle de temps donné, mais
on ne connaît pas ces impulsions de manière précise.

cependant...
Master 2 ESE Décembre 2022 62
 Neurone impulsionnel
Les neurobiologistes ont montré que les neurones encodent
l’information dans les instants d’émission des impulsions.

impulsion = potentiel d’action = spike

spiking neuron

Pour une modélisation plus réaliste, il faut prendre en

compte les aspects temporels et utiliser de nouveaux
modèles de neurones : des “ neurones impulsionnels ”.

Master 2 ESE Décembre 2022 63

 Dynamique neuronale
u (t) t1(1) t1(2) j

tj (f)
neurones N1 neurone
t2(1) t2(2)
pré-synaptiques Nj
post-synaptique

N2 EPSP = potentiel post-synaptique excitateur

tj (f)

V chaque spike pré-synaptique

engendre un EPSP (en rouge) ;
ceux-ci s’ajoutent (en bleu) ;
u [mV]

quand uj (t) atteint le seuil V

le neurone post-synaptique Nj
urepos émet à son tour un spike.
t1(1) t2(1) t1(2) t2(2) t [ms]
Master 2 ESE Décembre 2022 64
 Le modèle de Hodgkin-Huxley
Le modèle de neurone de Hodgkin-Huxley (1952) tient
compte avec précision des canaux ioniques et du processus
électro-chimique, au niveau des connexions synaptiques :
I (t) courant d’entrée
u potentiel de membrane
C R K Na du
potassium sodium
C __ = - Σk Ik (t) + I (t)
dt

1
Σk Ik = gNam3h(u-ENa) + gKn4(u-EK) + _ (u-EL)
R
... où les variables m, n et h sont elles-mêmes régies par
des équations différentielles, en fonction du temps.
Master 2 ESE Décembre 2022 65
 Le modèle de Hodgkin-Huxley
Ce modèle est capable de rendre compte de la dynamique
d’émission d’un spike et de se comporter en neurone à seuil
Δu(t) [mV]

réponse du neurone
à une impulsion, i.e.
un courant d’entrée
de courte durée
0 5 10 15 20
t [ms] I(t) envoyé à t < 0

mais...
le modèle de Hodgkin-Huxley est beaucoup trop complexe
pour modéliser des réseaux de neurones temporels !
Master 2 ESE Décembre 2022 66
 Le modèle LIF : “Leaky Integrate and Fire”
Le modèle “Leaky Integrate and Fire” est une
simplification du modèle de Hodgkin-Huxley :
I (t) courant d’entrée
u potentiel de membrane
R C V du 1
C __ = - _ u (t) + I (t)
dt R

Un spike est émis à chaque fois que le potentiel de

membrane croît jusqu’à dépasser le seuil V du neurone.
instant d’émission du spike :
t(f) tel que u(t(f)) = V avec u’(t(f)) > 0
Master 2 ESE Décembre 2022 67
 Le modèle SRM : “Spike Response Model”
Le “Spike Response Model” SRM de Gerstner (1995) est une
généralisation du LIF, qui intègre le passé du neurone Nj
∞
uj (t) = Σ ηj (t-tj(f)) + Σ Σ wijεij (t-ti(f)) + ∫κ(t-tj,s)I(t-s)ds
Ni pré-
^
spikes spikes 0
de Nj synap
de Ni
tiques

seuil, émission somme des PSP courant extérieur

EPSP = PSP excitateur poids wij positif

IPSP = PSP inhibiteur poids wij négatif

instant d’émission du prochain spike :

t(f) tel que u(t(f)) = seuil avec u’(t(f)) > 0
Master 2 ESE Décembre 2022 68
Le modèle SRM : “Spike Response Model”
Exemple de formule mathématique pour le seuil :

ηj (s) = - V exp (- _____

s-δabs
) H (s-δabs) – K H (s) H (s-δabs)
τ
variations autour du seuil V et modélisation d’une
période réfractaire δabs
Exemple de formule pour les réponses aux PSP :
s-Δij
____ s-Δij
____
εij (s) = [exp(- ) – exp(- )] H (s-Δij)
τm τs
où Δij est le délai de propagation le long de l’axone
qui va du neurone Ni vers le neurone Nj
Master 2 ESE Décembre 2022 69
 Le modèle SRM0
On peut simplifier le modèle SRM,
tout en conservant l’essentiel de ses propriétés
=> on obtient le modèle phénoménologique SRM0

Σ wijε(t-t^i-Δij)
uj (t) =Ni pré-
synap
tiques

cette formule dérive d’une intégration de la précédente,

sur un court intervalle de temps (1ms), en ne mémorisant
que l’instant du dernier spike émis par Nj et en faisant
l’hypothèse que chaque neurone présynaptique Ni émet
au plus une fois à l’instant ^ti dans l’intervalle de temps.

Master 2 ESE Décembre 2022 70

 Le modèle SRM0
Exemple de formule pour les réponses aux PSP :
EPSP __
s ____
1-s
ε(s) = exp ( )
τ τ IPSP

où τ est une constante de temps caractéristique du

potentiel de membrane (augmentation puis décroissance)

instant d’émission d’un spike, par le neurone Nj :

tj(f) t tel que ^

uj(t) = θ(t-ti) avec u’j(t) > 0

ce qui donne une fonction non-linéaire de la variable

d’état (potentiel de membrane) uj(t) du neurone Nj
Master 2 ESE Décembre 2022 71
Les réseaux de neurones temporels
dynamique, puissance de calcul
 Les réseaux de neurones temporels
Comme pour les neurones classiques, on peut connecter
entre eux des neurones temporels selon diverses topologies,
simuler leur fonctionnement en réponse à des entrées venant
d’un environnement extérieur et récupérer des sorties.

SNN = Spiking Neuron Networks

cependant : traduction
vecteur numérique spikes
Une solution, le codage temporel :
dans un intervalle de temps fixé, plus le spike est
précoce, plus il correspond à une valeur numérique élevée
Master 2 ESE Décembre 2022 73
Dynamique des RNA “classiques”
x1
y1

ym
xn

topologie en couches => dynamique feedforward

y1 yn

x1 xn

topologie bouclée => dynamique récurrente

La dynamique dépend directement de la topologie...
Master 2 ESE Décembre 2022 74
 Dynamique des RN temporels
La topologie est sous-jacente à la dynamique,
mais...
toutes les connexions ne sont pas actives à chaque instant

des patterns d’activité émergent ;

ils se modifient au cours du temps

=> un moyen plus riche de coder l’information

Assemblée de neurones :
ensemble de neurones qui se synchronisent,
en réponse à un stimulus extérieur
Master 2 ESE Décembre 2022 75
 Assemblées de neurones

un stimulus
est appliqué
en entrée,
entre 1000
et 2000 ms
[ Meunier ]

Certains neurones accroissent leur activité,

d’autres cessent momentanément d’émettre.
Master 2 ESE Décembre 2022 76
Implémentation des RN temporels
Toutes les connexions ne sont pas actives à chaque instant

il devient maladroit de programmer une

boucle de calcul systématique des états
de tous les neurones et de toutes les
synapses à chaque itération.

L’échelle de temps est très différente (~ temps-réel )

il convient d’implémenter ces réseaux
par programmation événementielle
EDS = Event-Driven Simulation
Master 2 ESE Décembre 2022 77
 Nouvelle motivation
On a beaucoup progressé sur la compréhension du
fonctionnement du cerveau, et l’idée que l’on se fait de
l’intelligence a beaucoup évolué en quelques décennies.

maintenant, on pense plutôt que :

intelligence mémorisation
mémorisation associations

associations neurones

La synchronisation des assemblées de neurones

est une piste extrémement prometteuse...
Master 2 ESE Décembre 2022 78
 Puissance de calcul
Des résultats théoriques* (Maass, 1997) ont montré que
les spiking neurons sont plus puissants que les
neurones classiques, même avec des modèles simples
∞
u εij(t-s) type A
θj(t-t’)

s s+Δij t t’ t
modélisation du seuil
u
εij(t-s) type B

* 1 spiking neuron de type B

s s+Δij t O(n) neurones sigmoïdes
fonctions de réponse aux PSP O(n log n) neurones à seuil
Master 2 ESE Décembre 2022 79
 Puissance de calcul
Réseaux de neurones de 3ème génération :
spiking neurons 1995
intégration d’informations en continu

Réseaux de neurones de 2ème génération :

neurones sigmoïdes, neurones distance 1985
entrées et sorties réelles

Réseaux de neurones de 1ère génération :

neurones à seuil, à saturation 1945
entrées et sorties booléennes
Master 2 ESE Décembre 2022 80
Apprentissage et plasticité
 Apprentissage dans les SNN
Les réseaux de neurones temporels, ou SNN (réseaux de
spiking neurons) modélisent beaucoup mieux que leurs
ancêtres la dynamique des interactions entre neurones.
mais :

comment réalise-t-on l’apprentissage des poids

dans les réseaux de neurones temporels ?

devrait-on aussi apprendre les délais ?

de nombreux problèmes ouverts

Master 2 ESE Décembre 2022 82
 Apprentissage dans les SNN
Plusieurs chercheurs ont démontré
[ Maass, 1997 ; Bohte, 2002 ; Ruf & Schmitt, 2000 ]
que l’on pouvait émuler les principaux modèles classiques
(réseau de Hopfield, réseau MLP, cartes de Kohonen)
avec des réseaux de neurones impulsionnels

mais :
la simple reproduction des modèles de 2nde génération
ne permet pas d’exploiter la pleine puissance de ces
modèles de 3ème génération que sont les SNN.

on pourrait aussi chercher une inspiration biologique ?

Master 2 ESE Décembre 2022 83
 Plasticité synaptique
Les neurobiologistes ont observé des
potentiations synaptiques quand un neurone pré-synaptique
wij émet juste avant un neurone post-synaptique

et des
pré
post

dépressions synaptiques quand un neurone pré-synaptique

wij émet juste après un neurone post-synaptique
pré
post

Ce phénomène de plasticité synaptique est connu sous le

nom de STDP = Spike-Time-Dependent Plasticity
Master 2 ESE Décembre 2022 84
Mécanismes STDP
modification des poids
en fonction de
Δt = tpost - tpré

poids excitateurs, w > 0

poids
inhibiteurs,
w<0
Master 2 ESE Décembre 2022 85
 Difficultés, avec la STDP
Les poids synaptiques sont constamment modifiés
=> inconvénients de l’apprentissage “on-line” :
manque de stabilité
oubli du passé lointain

On retrouve le classique dilemme plasticité / stabilité

mis en évidence par Grossberg [ fin des années 80 ]

il faudrait combiner la STDP avec

une autre méthode d’apprentissage

Master 2 ESE Décembre 2022 86

 Algorithmes évolutionnistes
Une autre piste consiste à utiliser des
algorithmes génétiques pour optimiser les valeurs des
poids synaptiques en adaptant le réseau à son milieu.

sélection et ainsi de suite ...

croisement
mutation

génération 1 génération 2

Les individus sont des

réseaux de neurones temporels
génération N
Master 2 ESE Décembre 2022 87
 Algorithmes évolutionnistes et
STDP
SNN plongé dans un zoo virtuel

les poids
ne cessent
d’evoluer

Master 2 ESE Décembre 2022 88