1/19

Introduction
Introduction aux réseaux de neurones
Neurone
Formel
artificiels
Fonction
d’activation

Définitions Wilfried Segretier

Perceptron

Perceptron LAboratoire de Mathématiques, Informatique et Applications (LAMIA)

Multicouches Université des Antilles et de la Guyane
Campus de Fouillole, Guadeloupe
24 mai 2018
 2/19 Plan

Introduction
1 Introduction
Neurone
Formel
2 Neurone Formel
Fonction
d’activation

Définitions
3 Fonction d’activation
Perceptron

Perceptron
Multicouches 4 Définitions

5 Perceptron

6 Perceptron Multicouches
 3/19 Introduction

Réseaux de neurones artificiels (ANN)

Introduction I Modèles inspirés par le

Neurone fonctionnement du cerveau humain
Formel

Fonction I interconnexion d’unités

d’activation
élémentaires : les neurones
Définitions

Perceptron
I utilisés en IA/apprentissage
Perceptron
automatique pour la résolution de
Multicouches problèmes complexes
I en particulier classification
(supervisée ou non), régression, ...
I ex : reconnaissance de caractères
manuscrits, guidage de véhicules
autonomes, reconnaissance de
formes, ...
 4/19 Modèle biologique

Neurone

Introduction

Neurone
Formel

Fonction
d’activation

Définitions

Perceptron

Perceptron
Multicouches

I cellule cérébrale
I collecte, traite, transmet des signaux électriques
I fonctionnement non linéaire (effet de seuil)
I postulat : les performances du cerveau emergent de
l’interconnexion de neurones
 5/19 Historique

Introduction

Neurone
Formel
I 1943 - McCulloch et Pitts : définition d’un neurone formel
Fonction
d’activation I 1958 - Rosenblatt : modèles avec processus
Définitions d’apprentissage, perceptron
Perceptron
I 1974 - 1986 Werbos, Rumelhart, Le Cun : perceptron
Perceptron
Multicouches multicouche, retropropagation du gradient
I De nos jours : Deep Learning
 6/19 Neurone Formel

Modélisation mathématique d’un neurone

Introduction

Neurone
Formel
I signaux d’entrée
Fonction I coefficients synaptiques
d’activation

Définitions
(poids)
Perceptron I somme pondérées
Perceptron
Multicouches

I fonction d’activation

I
 7/19 Fonction d’activation

Introduction Exemples de fonctions d’activation

Neurone
Formel

Fonction
d’activation

Définitions

Perceptron

Perceptron
Multicouches

I fonction à seuil : renvoie 1 quand l’entrée est positive, 0

sinon
I fonction logistique (sigmoide) : 1/(1 + e −λx )
 8/19 Exemple : fonctions booléenes

Introduction

Neurone
Formel

Fonction
d’activation

Définitions

Perceptron

Perceptron
Multicouches

I Fonction d’activation : seuil

I Il est possible de combiner ces neurones pour créer
n’importe quelle fonction booléenne.
 9/19 Réseau de neurones

Définition
Introduction Un réseau de neurones est un graphe valué orienté, constitué d’un
Neurone ensemble d’unités, réalisant des calculs élémentaires, structurées en
Formel couches successives capables d’échanger des informations au moyen
Fonction de connexions qui les relient.
d’activation

Définitions Un réseau de neurone se caractérise

Perceptron notamment par :
Perceptron
Multicouches I son architecture
I les fonctions de ses éléments
Deux grandes catégories :
I acycliques (feed-forward)
I cycliques (récurrents)
 10/19 Perceptron

I Rosenblatt 1958
Introduction I Réseau feed-forward
Neurone
Formel
monocouche
Fonction I Les entrées sont directement
d’activation
reliées aux sorties
Définitions

Perceptron
I séparateur linéaire car
Perceptron W .x = 0 défini un hyperplan
Multicouches dans l’espace des entrées
 11/19 Algorithme d’apprentissage du perceptron

Introduction

Neurone
Formel

Fonction
d’activation

Définitions

Perceptron

Perceptron
Multicouches
 12/19 Remarques

Introduction I Si fonction d’activation différentiable (differentes de fct seuil) :

Neurone multiplication de l’erreur par la dérivée
Formel

Fonction I Choix de  arbitraire

d’activation

Définitions
I trop grand : oscillation autour du minimum
Perceptron I trop petit : nombre élevé d’itérations
Perceptron
Multicouches I échantillon non linéairement séparable : l’algorithme ne
converge pas
I solutions différentes en fonction de poids initiaux
I manque de robustesse (nouvel exemple d’apprentissage)
 13/19 Exemple application perceptron

Introduction

Neurone
Formel

Fonction
d’activation

Définitions

Perceptron

Perceptron
Multicouches
 14/19 Perceptron : Exercice

Considérez l’ensemble d’exemples suivants,

chacun ayant six entrées et une sortie cible :
Introduction

Neurone
Formel

Fonction
d’activation

Définitions

Perceptron

Perceptron
Multicouches

1 Exécutez la règle d’apprentissage du perceptron sur ces données

et montrez les poids finaux
2 Exécutez la règle d’apprentissage d’un arbre de décision sur ces
données et montrez l’arbre obtenu
3 Comparez les résultats
 15/19 Perceptron Multicouches introduction

Introduction

Neurone I Permet de pallier le principal désavantage des perceptrons

Formel

Fonction
simple
d’activation rightarrow la niéarité
Définitions
I Modèle très précis si bien paramétré
Perceptron

Perceptron
I Possibilité de surapprentissage
Multicouches
I Modèle Boîte noire : non explicite, causalité entre le
phénomène modélisé et les poids définis pas toujours
évidente
 16/19 Perceptron Multicouches (MLP)

I Réseau feed-forward avec couches

intermédiaires
Introduction

Neurone I Chaque neurones d’une couche est

Formel
relié à l’ensemble des neurones de
Fonction
d’activation
la couche suivantes
Définitions I Résolution de problèmes
Perceptron non-linéaires grâce aux
Perceptron combinaisons de neurones
Multicouches
I Fct activation : fct logistique
(sigmoide)
I Cybenko (1989) Toute fonction
continue sur Rp peut être
approximée avec une précision
arbitraire avec un MLP à une
couche intermédiaire
 17/19 Apprentissage d’un MLP

I Principe similaire à l’apprentissage du perceptron simple

Introduction I ajout d’un mécanisme de rétropropagation de l’erreur
Neurone
Formel
I permet d’ajuster les poids en faisant remonter l’erreur des
Fonction sorties vers les différentes couches
d’activation
I 2 phases s’alternent jusqu’a la convergence
Définitions
1 Feed-forward : calcul des sorties, les signaux transitent
Perceptron
par les différentes couches
Perceptron
Multicouches 2 Backpropagation : les sorties obtenues sont comparées
aux sorties attendues
une erreur est calculée pour chaque sortie
les poids des liens ayant contribué a chaque erreur sont
ajustés de la fin vers le début
I on cherche à minimiser les erreurs au fur et à mesure
(descente de gradient)
 18/19 Apprentissage d’un MLP

Introduction

Neurone
Formel

Fonction
d’activation

Définitions

Perceptron

Perceptron
Multicouches
 19/19 Apprentissage d’un MLP

Introduction

Neurone
Formel

Fonction
d’activation

Définitions

Perceptron

Perceptron
Multicouches