Vous êtes sur la page 1sur 28

Intelligence daffaires Partie II : Data Mining

Sance 10

Rseaux de neurones

Quest-ce que lanalyse neurale artificielle ?

Simulation des neurones dans le cerveau humain par apprentissage de rgles et gnralisations

Les rseaux de neurones

Une classe doutils et dalgorithmes trs puissants pour :


Ils sont utiliss dans plusieurs domaines : Prvision des sries temporelles dans les finances Diagnostic mdical Identification de segments de clients potentiels Dtection de fraude Etc
3

La prdiction La classification La segmentation ou clustering

Les rseaux de neurones

Quand ils sont appliqus, leur capacit gnraliser et apprendre des donnes simule parfaitement la manire dont le cerveau de ltre humain apprend de son exprience. Inconvnient Entraner un rseau de neurones rsulte en une quantit de poids internes distribus dans le rseau et rendant difficile la comprhension de pourquoi notre solution est valide.
4

Histoire des rseaux de neurones

De 1930 jusqu 1980 :


Encore leurs dbuts 1943 : modle expliquant le fonctionnement des neurones biologiques (Mcculoch et Pits) Algorithme de Rtro-propagation (Hopkins) Puissance de calcul des ordinateurs Applications utiles sont apparues.
5

Aprs 1980 :

Exemple de lagent immobilier

Illustration du rseau de neurones

Limitations des rseaux de neurones

Les rseaux de neurones sont bons pour la prdiction et lestimation seulement quand :

Les entres sont bien comprises La sortie est bien comprise Lexprience est disponible pour un grand nombre dexemples utiliser pour entraner le rseau.

Les rseaux de neurones sont seulement aussi bons que lensemble dapprentissage utilis. Le modle construit est statique et doit tre continuellement mis jour avec des exemples plus rcents. 8

Exemples de rseaux de neurones

Exemples de rseaux de neurones(2)

10

Unit dun rseau de neurones

Lunit ou neurone combine ses entres (valeurs entre 0 et 1) en une seule valeur, quelle transforme aprs pour produire la sortie (entre 0 et 1). Cette combinaison et cette transformation sont appeles la fonction dactivation.
11

Exemples de fonctions dactivation


Sigmode ou logistique :
ex f ( x) 1 ex

Tangente hyperbolique :

2e x f ( x) 1 x 1 e

Linaire :

f ( x) x

12

Exemples de fonctions dactivation (2)

13

Rgression linaire

Quand la fonction dactivation est linaire, le rseau de neurones nest autre quune rgression linaire multiple avec comme entres les variables indpendantes xi et comme sortie la variable dpendante y. Les poids wi ne sont autres que les coefficients i du modle de rgression.

14

Rgression logistique

Lorsque la fonction dactivation est logistique, le rseau de neurones sassimile un modle de rgression logistique. La diffrence avec le modle de rgression linaire est que la variable dpendante y est binaire (valeurs : 0 ou 1).
15

Perceptron multi-couches

Quand la fonction dactivation est la tangente hyperbolique, le rseau de neurones est un perceptron multi-couches (MLP), variante la plus frquemment utilise. On note ici que le modle se complique avec la prsence dune couche cache.

16

Rseaux couches caches

Le pouvoir de prdiction augmente avec le nombre de neurones des couches caches


Le nombre de couches caches est gnralement de 1 ou 2 Lorsque ce nombre = 0, le rseau effectue une rgression (linaire ou logistique)

Ce nombre doit tre limit pour que le rseau ne se contente pas de mmoriser lensemble dapprentissage mais puisse le gnraliser, sinon il y a sur-apprentissage Le fait que toutes les valeurs soient comprises entre 0 et 1 permet de prendre en entre dun neurone la sortie dun neurone prcdent.
17

Entranement ou apprentissage du rseau de neurones

Lentranement est le processus de choisir les poids optimaux sur les artes reliant les units du rseau entre elles. Lobjectif est dutiliser lensemble dapprentissage afin de calculer les poids dont la sortie quivalente du rseau sera aussi proche que possible de la sortie dsire pour autant dexemples de lensemble dapprentissage que possible. La Rtro-propagation est utilise pour ajuster les poids:

Calcule lerreur en prenant la diffrence entre le rsultat calcul et le rsultat actuel. Lerreur est renvoye travers le rseau et les poids sont ajusts afin de minimiser lerreur.
18

Principe du perceptron multi-couches

Lors de lapprentissage du rseau, pour chaque exemple prsent en entre, la valeur renvoye ( rtropropage ) par le nud de sortie est compare la valeur relle et les poids sont ajusts. Lchantillon dapprentissage est parcouru plusieurs fois. Lapprentissage sachve lorsque:

Lapprentissage se fait en ajustant 1 1 chaque poids (rtro-propagation).


19

Une solution optimale a t trouve, ou Un nombre fix ditrations a t atteint

Taux dapprentissage

Le taux dapprentissage (learning rate) contrle limportance de la modification des poids durant le processus dapprentissage

contrle la vitesse de dplacement plus il est lev, plus lapprentissage est rapide mais plus le rseau risque de converger vers une solution globalement non optimale.
20

Exemple

Reconnaissance de voix

21

Les diffrentes variantes de rseaux de neurones

Le perceptron multi-couches (MLP) est utilis pour prdire une variable cible continue ou discrte Le rseau fonction radiale (RBF) est aussi utilis pour prdire une variable cible continue ou discrte Gnralisation de RBF : les support vector machines (SVM) sont utiliss pour prdire une variable cible discrte Le rseau de Kohonen effectue les analyses typologiques (clustering, recherche de segments)
22

Comparaison MLP - RBF

MLP

RBF

meilleure capacit de gnralisation, notamment sur donnes bruites risque de convergence vers un optimum local non global paramtres plus difficiles grer apprentissage plus rapide plus facile de trouver les bons paramtres moins bonne capacit de gnralisation, surtout si lchantillon dapprentissage ne couvre pas toutes les configurations possibles.
23

Mise en uvre dun rseau

Les tapes pour la mise en uvre dun rseau pour la prdiction ou le classement sont :

Identification des donnes en entre et en sortie Normalisation des donnes (entre 0 et 1) Constitution dun rseau avec une topologie adapte (nb de couches, ) Apprentissage du rseau Test du rseau Application du modle gnr par lapprentissage Dnormalisation des donnes en sortie
24

Quelques rgles empiriques


Il faut 5 10 individus pour ajuster chaque poids On recommande davoir 1 unit cache (RBF) ou 1 ou 2 (MLP) Un rseau n units dentre, 1 unit cache, m units dans la couche cache et 1 unit de sortie a n.m+m poids Il faut donc un chantillon dau moins 5(n.m+m) individus pour lapprentissage La valeur de m est gnralement comprise entre n/2 et 2n Lchantillon dapprentissage ne doit pas tre tri selon un ordre significatif, qui pourrait induire le rseau en erreur Lchantillon dapprentissage doit couvrir tous les cas

25

Avantages des rseaux de neurones

Aptitude modliser des structures complexes et des donnes irrgulires

Prise en compte des relations non linaires (interactions) entre les variables.

Assez bonne robustesse aux donnes bruites Aptitude modliser des problmes trs varis.
26

Dsavantages

Rsultats totalement non explicites Sensibilit aux individus hors normes Sensibilit un trop grand nombre de variables non discriminantes (contrairement aux arbres de dcision) Convergence vers la meilleure solution globale pas toujours assure Paramtres nombreux et dlicats rgler (nb et taille des couches caches, taux dapprentissage, etc) Ne sappliquent naturellement quaux variables continues dans lintervalle (0,1) Ncessit de normaliser les donnes.
27

Rseaux de neurones sur TANAGRA

Voir les didacticiels dans le site de Tanagra sur les rseaux de neurones et disponibles aussi sur Zonecours. Exemple : Reseau_Perceptron_Multicouches.pdf Donnes : ionosphere.arff

28