Chapitre 6:

Technique de modélisation Predictive

 Objectifs d'apprentissage
◼ Comprendre le concept et les définitions des
réseaux de neurones artificiels (ANN)
◼ Découvrez les différents types
d'architectures ANN
◼ Savoir comment l'apprentissage se passe dans ANN

◼ Se familiariser avec les applications ANN

◼ Comprendre l'analyse de sensibilité dans ANN
◼ Comprendre le concept et la structure des
machines à vecteurs de support (SVM)(A
6-2 continué…) Copyright © 2014 Pearson Education, Inc.
 Objectifs d'apprentissage

◼ Découvrez les avantages et les inconvénients

de SVM par rapport à ANN
◼ Comprendre le concept et la formulation de
l'algorithme du k-plus proche voisin (kNN)
◼ Apprenez le processus d'application de kNN

◼ Découvrez les avantages et les inconvénients

de kNN par rapport à ANN et SVM

6-3 Copyright © 2014 Pearson Education, Inc.

 Vignette d'ouverture…

La modélisation Predictive aide à

comprendre et mieux gérer les
Procedures médicales complexes

◼ Situation
◼ Problème
◼ Solution
◼ Résultats

◼ Répondez et discutez des questions du cas.

6-4 Copyright © 2014 Pearson Education, Inc.
 1. Pourquoi est-il important d'étudier les procédures médicales?
Quelle est la valeur de la prédiction des résultats ?
2. Selon
vous, quels sont les facteurs les plus importants pour
mieux comprendre et gérer les soins de santé ?
3. Quel serait l'impact de la modélisation prédictive sur les soins
de santé et la médecine ? La modélisation prédictive peut-elle
remplacer le personnel médical ou managérial ?
4. Quelsont été les résultats de l'étude ? Qui peut utiliser
ces résultats ? Comment peuvent-ils être mis en œuvre ?
5. Effectuez une recherche sur Internet pour localiser deux cas supplémentaires
dans la gestion de procédures médicales complexes.

6-5 Copyright © 2014 Pearson Education, Inc.

 La comparaison de quatre modèles

6-7 Copyright © 2014 Pearson Education, Inc.

 Concepts de réseau neuronal
◼ Les réseaux de neurones (NN) : une métaphore cérébrale pour le
traitement de l'information

◼ Informatique neuronale

◼ Réseau de neurones artificiels (ANN)

◼ De nombreuses utilisations pour ANN pour

◼ reconnaissance de formes, prévision, prédiction et

classification
◼ De nombreux domaines d'application
◼ finance, marketing, fabrication, opérations,
systèmes d'information, etc.

6-8 Copyright © 2014 Pearson Education, Inc.

 Réseaux de neurones biologiques

Dendrites
Synapse
Synapse

Axone

Axone

Dendrites Soma
Soma

◼ Deux cellules cérébrales interconnectées

(neurones)

6-9 Copyright © 2014 Pearson Education, Inc.

 Traitement des informations dans ANN

Inputs Weights Outputs

x1
w1 Y1

x2 w2 Neuron (or PE) f (S )

. S = 
n
X iW
Y
. Y2
. i =1
i

.
. Summation
Transfer
.
Function
wn Yn
xn

◼ Un seul neurone (élément de traitement - PE)

avec des entrées et des sorties
6- dix Copyright © 2014 Pearson Education, Inc.
 Analogie de la biologie

6-11 Copyright © 2014 Pearson Education, Inc.

 Cas d'application : Les Réseaux de
neurones ont aidé a sauver
des Vies dans l'industrie minière

1.Comment les réseaux de neurones ont-ils aidé à sauver des vies dans l'industrie
minière ?

2. Quels
étaient les défis, la solution proposée et les
résultats obtenus ?

6-12 Copyright © 2014 Pearson Education, Inc.

 Éléments du RNA
◼ Elément de traitement (PE)
◼ Architecture de réseau
◼ Couches masquées

◼ Traitement parallèle
◼ Traitement des informations réseau
◼ Contributions

◼ Les sorties

◼ Poids de connexion
◼ Fonction de sommation
6-13 Copyright © 2014 Pearson Education, Inc.
 Éléments du RNA

Réseau de neurones avec

Une couche cachée

6-14 Copyright © 2014 Pearson Education, Inc.

 Éléments du RNA

Fonction de sommationpour un seul

neurone (a), et
Plusieurs neurones (b)

6-15 Copyright © 2014 Pearson Education, Inc.

 Éléments du RNA
◼ Fonction de transformation
(transfert)
◼ Fonction linéaire
◼ Fonction sigmoïde (activation logique) [0 1]
◼ Fonction hyperbolique tangente [-1 1]

Summation function: Y = 3(0.2) + 1(0.4) + 2(0.1) = 1.2

X1 = 3 Transfer function: YT = 1/(1 + e-1.2) = 0.77
W
1 =0
.2

W2 = 0.4 Processing Y = 1.2

X2 = 1 YT = 0.77
element (PE)
.1
=0
❖ Valeur de seuil?
3
W

X3 = 2

6-16 Copyright © 2014 Pearson Education, Inc.

 Architectures de réseaux neuronaux
◼ L'architecture d'un réseau de neurones est
pilotée par la tâche à laquelle il est destiné
◼ Classification, régression, clustering,
optimisation générale, association, ….
◼ Architecture la plus populaire :Perceptron
multicouche prédictif avec
algorithme d'apprentissage par rétropropagation
◼ Utilisé pour les problèmes de type classification et
régression
◼ Autres– Cartes de caractéristiques récurrentes et auto-
organisées, réseaux de Hopfield, …
6-17 Copyright © 2014 Pearson Education, Inc.
 Réseaux de neurones Feed-
Forward

Feed-forward MLP avec 1 couche cachée

Socio-démographique

= Prédit
par rapport au réel

Religieux
A voté "oui" ou
"non" à la légalisation
jeu vidéo
Financier

. .
. .
Autre

SAISIR CACHÉ SORTIR

COUCHE COUCHE COUCHE

6-18 Copyright © 2014 Pearson Education, Inc.

 Réseaux de neurones récurrents

6-19 Copyright © 2014 Pearson Education, Inc.

 S' organiser des cartes (SOM)

Entrée 1 ▪ Introduit pour la première fois

par le finlandais
Professeur Teuvo
Kohonen
Entrée 2
▪ S'applique à
type de regroupement

problèmes
Entrée 3

6-20 Copyright © 2014 Pearson Education, Inc.

 Autres Paradigmes populaires
Réseaux Hopfield

▪ Introduit pour la première fois

par John Hopfield

▪ Très
interconnecté
neurones
S'applique à la résolution de

complexes

informatique
problèmes (par exemple,

optimisation
problèmes)

6-21 Copyright © 2014 Pearson Education, Inc.

 Cas d'application 6.2

La modélisation prédictive alimente les Groupes

électrogène

Questions pour discussion

1. Quelles sont les principales préoccupations environnementales dans
l'industrie de l'énergie électrique ?

2. Quels sont les principaux domaines d'application de la modélisation

prédictive dans l'industrie de l'énergie électrique ?

3. Comment la modélisation prédictive a-t-elle été utilisée pour résoudre une

variété de problèmes dans l'industrie de l'énergie électrique ?

6-22 Copyright © 2014 Pearson Education, Inc.

 Processus de développement d'un
ANN

6-23 Copyright © 2014 Pearson Education, Inc.

 Classe 1 - FLOP
1 (BO < 1 M)

Classement MPAA (5) Classe 2

(G, PG, PG13, R, NR)
1 2 (1M < BO < 10M)

Compétition (3) Classe 3

(élevé, moyen, faible)
2 3
(10M < BO < 20M)

Classe 4
3 4
Valeur des étoiles(3)

(élevé, moyen, faible) (20M < BO < 40M)

Genre (10) Classe 5

(Science-Fiction, Action, ...)
4 5 (40M < BO < 65M)

Effets techniques (3) Classe 6

(élevé, moyen, faible)
5 6 (65M < BO < 100M)

Suite (2) Classe 7

(Oui Non)
6 7 (100M < BO < 150M)
. .. . ..
Nombre d'écrans Classe 8
(Entier positif) 7 8 (150M < BO < 200M)

Classe 9 - BLOCKBUSTER
9 (BO > 200M)

SAISIR CACHÉ CACHÉ SORTIR

COUCHE COUCHE I COUCHE II COUCHE
(27 EP) (18 EP) (16 EP) (9 EP)

6-24 Copyright © 2014 Pearson Education, Inc.

 Tester un modèle ANN entraîné
◼ Les données sont divisées en trois parties

◼ Formation (~60%)
◼ Validation (~20 %)
◼ Tests (~20 %)

◼ k-validation croisée des plis

◼ Moins de biais

◼ Long

6-25 Copyright © 2014 Pearson Education, Inc.

 Un processus d'apprentissage
supervisé
ANN
Modèle

Processus en trois étapes :

Calculer
1. Calcul temporaire
sortir les sorties.
2. Comparez les sorties avec les
cibles souhaitées.

Est désiré
3. Ajustez les poids et
Ajuster Non
poids
sortir
atteint ?
répétez le processus.

Oui

Arrêt
apprentissage

6-26 Copyright © 2014 Pearson Education, Inc.

 Rétropropagation Apprentissage

◼ Rétropropagation d'erreur pour un seul

neurone
6-27 Copyright © 2014 Pearson Education, Inc.
 Rétropropagation Apprentissage
◼ La procédure d'algorithme d'apprentissage
1. Initialiser les poids avec des valeurs aléatoires et
définir d'autres paramètres réseau
2. Lire les entrées et les sorties souhaitées
3. Calculer la sortie réelle (en travaillant à
travers les couches)
4.Calculer
l'erreur (différence entre la sortie réelle
et souhaitée)
5. Modifiez les poids en travaillant en arrière à travers
les couches cachées
6. Répétez les étapes 2 à 5 jusqu'à ce que les poids se stabilisent

6-28 Copyright © 2014 Pearson Education, Inc.

 Analyse de sensibilité sur ANN
◼ Une critique commune pour ANN : Le manque de
transparence/explicabilité
◼ Le syndrome de la boîte noire !

◼ Réponse : analyse de sensibilité

◼ Réalisé sur un ANN formé
◼ Les entrées sont perturbées tandis que le changement
relatif sur la sortie est mesuré/enregistré
◼ Les résultats illustrent l'importance relative
des variables d'entrée

6-29 Copyright © 2014 Pearson Education, Inc.

 Analyse de sensibilite sur les
modèles ANN
Systématiquement ANN formé
Perturbé "la boite Observé
noire" Changer
Contributions
Les sorties

D1

◼ Pour un bon exemple, voir Cas d'application 6.3

◼ L'analyse de sensibilité révèle les facteurs de gravité des blessures les
plus importants dans les accidents de la circulation

6-30 Copyright © 2014 Pearson Education, Inc.

 Cas d'application 6.3

L’analyse de Gravité des blessures révèle les Facteurs

d'accidents de la circulation

Questions à discuter
1. Comment l'analyse de sensibilité éclaire-t-elle la boîte noire (c'est-
à- dire les réseaux de neurones) ?
2. Pourquoi quelqu'un choisirait-il d'utiliser un outil de boîte noire comme les réseaux
de neurones plutôt que des outils statistiques théoriquement solides et
principalement transparents comme la régression logistique ?

3. Dans ce cas, comment les NN et l'analyse de sensibilité ont-ils aidé à identifier

les facteurs de gravité des blessures dans les accidents de la circulation ?

6-31 Copyright © 2014 Pearson Education, Inc.

 Machines à vecteurs de support
(SVM)
◼ Les SVM font partie des techniques
d'apprentissage automatique les plus populaires.

◼ Les SVM appartiennent à la famille des modèles

linéaires généralisés… (capables de représenter des
relations non linéaires de façon linéaire).
◼ SVM prend une décision de classification ou de
régression basée sur la valeur de la combinaison
linéaire des caractéristiques d'entrée.
◼ En raison de leurs similitudes architecturales, les SVM
sont également étroitement associés aux ANN.

6-32 Copyright © 2014 Pearson Education, Inc.

 Machines à vecteurs de support (SVM)
◼ Objectif de SVM : générer des fonctions mathématiques
qui mappent les variables d'entrée aux sorties souhaitées
pour les problèmes de prédiction de type classification ou
régression.
◼ Tout d'abord, SVM utilise non linéairefonctions du noyaupour
transformer les relations non linéaires entre les variables en
espaces de caractéristiques linéairement séparables.

◼ Puis lehyperplans à marge maximalesont construits pour séparer de

manière optimale les différentes classes les unes des autres en
fonction de l'ensemble de données d'apprentissage.

◼ SVM a une base mathématique solide !

6-33 Copyright © 2014 Pearson Education, Inc.
 Machines à vecteurs de support
(SVM)

◼ UNhyperplanest un concept géométrique utilisé

pour décrire la surface de séparation entre
différentes classes de choses.
◼ Dans SVM, deux hyperplans parallèles sont construits de
chaque côté de l'espace de séparation dans le but de
maximiser la distance entre eux.
◼ Une fonction noyaudans SVM utilise l'astuce du noyau (une
méthode pour utiliser un algorithme de classificateur linéaire
pour résoudre un problème non linéaire)
◼ La fonction noyau la plus couramment utilisée est la fonction de
base radiale (RBF).

6-34 Copyright © 2014 Pearson Education, Inc.

 Machines à vecteurs de support
(SVM)
L1
X2 X2
L2

L3

X1 X1

➢ De nombreux classificateurs linéaires (hyperplans) peuvent séparer les données

6-35 Copyright © 2014 Pearson Education, Inc.

6-36 Copyright © 2014 Pearson Education, Inc.
 Comment fonctionne une SVM ?
◼ Suite à un processus d'apprentissage automatique, une
SVM apprend à partir des cas historiques.

◼ Le processus de création de SVM

1. Prétraiter les données
◼ Nettoyez et transformez les données.

2. Développer le modèle.
◼ Sélectionnez le type de noyau (RBF est souvent un choix naturel).
◼ Déterminez les paramètres du noyau pour le type de noyau sélectionné.
◼ Si les résultats sont satisfaisants, finaliser le modèle ; sinon, modifiez le type de
noyau et/ou les paramètres du noyau pour obtenir le niveau de précision
souhaité.

3. Extrayez et déployez le modèle.

6-37 Copyright © 2014 Pearson Education, Inc.

 Le processus de construction d'un
SVM Pré-traiter les données
Entraînement
u Frotter les données
données
"Identifiez et gérez les éléments

manquants, incorrects etbruyants"

u Transformer les données
« Numériser, normaliser et
standardiser les données »

Données prétraitées

Développer le modèle
Expérimentation
u Sélectionnez le type de noyau "Choisissez "Formation/Test
parmi les types de noyau RBF, sigmoïde "
ou polynomial" Déterminer les valeursdu
u noyau "Utiliserv-plier la validation croisée
ou utiliser la « recherche de grille » »

Modèle SVM validé

Déployer le modèle
Prédiction
u Extraire les coefficients du Modèle
u modèle Coder le modèle formé
dans le système d'aide à la
u décision Surveiller et maintenir le
modèle

6-38 Copyright © 2014 Pearson Education, Inc.

 Applications SVM
◼ Les SVM sont les algorithmes d'apprentissage du noyau les plus

largement utilisés pour un large éventail de problèmes de

classification et de régression

◼ Les SVM représentent l'état de l'art en raison de leurs excellentes

performances de généralisation, de leur puissance de prédiction

supérieure, de leur facilité d'utilisation et de leurs bases théoriques
rigoureuses.

◼ La plupart des études comparatives montrent sa supériorité dan

les problèmes de prédiction de type régression et classification.

◼ SVM contre ANN ?

6-39 Copyright © 2014 Pearson Education, Inc.
 Méthode du voisin le plus proche (K NN)
◼ ANN et SVM→dérivations itératives exigeantes en
temps et en ressources informatiques
◼ k-NN est une méthode de prédiction simpliste et
logique, qui produit très compétitif résultats
◼ k-NN est une méthode de prédiction pour la classification
ainsi que les types de régression (similaire à ANN et SVM)
◼ k-NN est un type d'apprentissage basé sur les instances
(ou apprentissage paresseux) - la plupart du travail a lieu
au moment de la prédiction (et non de la modélisation)

◼ k: le nombre de voisins utilisés

6-40 Copyright © 2014 Pearson Education, Inc.
 Méthode du voisin le plus proche ( KNN)
Oui

k=3

k=5
Ouije

La réponse
Depend de
valeur dek

Xje X
6-41 Copyright © 2014 Pearson Education, Inc.
 Le processus de Méthode KNN

Ensemble d'entraînement
Réglage des paramètres

u Mesure de distance
Données historiques
u Valeur de "k"

Ensemble de validation

Prédire
Classer (ou prévoir)
nouveaux cas utilisantk

nombre de la plupart

cas similaires

Nouvelles données

6-42 Copyright © 2014 Pearson Education, Inc.

 Paramètre de modèle KNN

1.Mesure de similarité : la métrique de distance

◼ Valeurs numériques contre valeurs nominales ?

6-43 Copyright © 2014 Pearson Education, Inc.

 Paramètre de modèle KNN

2. Nombre de voisins (la valeur dek)

◼ La meilleure valeur dépend des données
◼ Des valeurs plus élevées réduisent l'effet du bruit mais
rendent également les frontières entre les classes moins
distinctes

◼ Une valeur « optimale » peut être trouvée heuristiquement

◼ Validation croiséeest souvent utilisé pour

déterminer la meilleure valeur de k et la
mesure de distance

6-44 Copyright © 2014 Pearson Education, Inc.

 Cas application :
Reconnaissance d’images

1. Pourquoi la reconnaissance/classification d'images est-

elle un problème valable mais difficile ?

2. Comment puisk-NN être utilisé efficacement pour les

applications de reconnaissance/classification d'images ?

6-45 Copyright © 2014 Pearson Education, Inc.