Chapitre 4 (suite)

Applications du perceptron
multicouche
Plan

4- Perceptron multicouche
 
 Sélection des paramètres
 Améliorations des performances
 Applications
 Reconnaissance optique de caractères
 Base d’apprentissage incrémentale
 Extraction de caractéristiques
 Compression d’images (réseau Diabolo)
 Découverte
 J.C. Principe, N.R. Euliano et W.C. Lefebvre
Neural and Adaptive Systems: Fundamentals
Through Simulations
John Wiley & Sons, 2000
 Approche systèmes linéaires adaptatifs
 Simulateur de base fourni sur CD-ROM
 Couvre majorité des modèles, y compris
MVS (machines à vecteurs de support)
 ACP
 Éléments de TNS:
– Réponse en fréquence et transformée en Z
– Filtre adaptatif
 Trouvé chez le Camelot, sept. 2005, $124

Cours #5 GPA-779
- 3 Application des réseaux de neurones et des systèmes experts
 Neurones cachés versus complexité
des données

Cours #5 GPA-779
- 5 Application des réseaux de neurones et des systèmes experts
Cours #5 GPA-779
- 6 Application des réseaux de neurones et des systèmes experts
Cours #5 GPA-779
- 7 Application des réseaux de neurones et des systèmes experts
Cours #5 GPA-779
- 8 Application des réseaux de neurones et des systèmes experts
Cours #5 GPA-779
- 9 Application des réseaux de neurones et des systèmes experts
 Apprentissage versus
généralisation

Cours #5 GPA-779
- 10 Application des réseaux de neurones et des systèmes experts
 Généralisation en régression

Cours #5 GPA-779
- 11 Application des réseaux de neurones et des systèmes experts
 Problématique: rappel

Base de données
étiquetée

Base Base
d’apprentissage de test

apprentissage généralisation

Cours #5 GPA-779
- 12 Application des réseaux de neurones et des systèmes experts
 Système complet de classification

Cours #5 GPA-779
- 13 Application des réseaux de neurones et des systèmes experts
 Influence du nombre d’époques
d’apprentissage

Cours #5 GPA-779
- 14 Application des réseaux de neurones et des systèmes experts
 Influence du nombre de neurones

Cours #5 GPA-779
- 15 Application des réseaux de neurones et des systèmes experts
 Influence du nombre de données

Cours #5 GPA-779
- 16 Application des réseaux de neurones et des systèmes experts
6 Applications

Reconnaissance Optique des Caractères (O.C.R)

Seuillage d’images

Base d’apprentissage incrémentale

Data Mining, Extraction des connaissances

6 Applications - OCR
Reconnaissance Optique des Caractères (O.C.R)

Objectif la lettre « s »
s Système OCR

Reconnaissance sans contrainte

Reconnaissance hors contexte 29285

Reconnaissance du scripte
deux
Reconnaissance des caractères manuscrits
6 Applications - OCR

Reconnaissance des chiffres manuscrits

Système de Acquisition
prétraitement d’images

«0»
«1»
Extraction des Système de
primitives décision
«2»
……
«9»
6 Applications - OCR
Résolutions spatiale
Acquisition d’images
et en niveaux de gris

Système de Extraction d’imagettes

prétraitement Filtrage/réduction du bruit
Mise à l’échelle
Extraction des Primitives visuelles
primitives  méthodes syntaxiques
Prototypes des classes
Paramètres numériques
(données brutes, données
transformées, ….)
 méthodes numériques
6 Applications - OCR

Le neurone formel en reconnaissance de chiffres

Séparation entre deux classes

Classe 1 : -1

Classe 2 : +1
Imagette Poids
d’entrée synaptiques
X

6 Applications - OCR
Exemple :

Classe 1

Classe 2

Image des poids synaptiques

6 Applications - OCR

Le réseau multicouches en reconnaissance

de chiffres
Base d’apprentissage 16 , (0, 0, 0, 1, 0, …, 0)
étiquetée
16

L
6 Applications - OCR

Nombre de neurones dans la couche cachée ?

Base d’apprentissage
étiquetée

Base Base
d’apprentissage de test


LOptimal L
6 Applications - Seuillage d’images

Seuillage d’images :
Opération que l’on effectue sur une image afin
d'obtenir une nouvelle image à deux niveaux de gris.
Réseau CMB (Connexionnist Model Binarization)
Entrée Sortie désirée

calcul choix du
d'histogramme
normalisé seuil optimal

Ensemble d'images Visualisation des

d'apprentissage images seuillées
6 Applications - Seuillage d’images

image originale
6 Applications - Base d’apprentissage incrémentale

Base d’apprentissage incrémentale

Concept d’apprentissage
incrémental

Ajout de nouvelles classes

Les réseaux multicouches n’admettent
pas cette possibilité

Ajout de nouvelles formes

OCR, Reconnaissance de parcellaires en
imagerie satellitaire, etc.
6 Applications - Base d’apprentissage incrémentale
Base incrémentale en imagerie satellitaire

Position du problème

e rt
V
Spot

Ro
ug
Proc

e
he
infra
roug

Composé
couleur
e
6 Applications - Base d’apprentissage incrémentale

Il s’agit de la classe Cm

x1 x2 x3

Position, (x1 , x2, x3 ), Cm

6 Applications - Base d’apprentissage incrémentale

Apprentissage Classification

Base (t)

(t+1)
Extraction
d'exemples
Base (t)

Connaissances
de l'expert
Base (t+1)
 6 Applications - Base d’apprentissage incrémentale
Construction dynamique d'une base d'apprentissage

Base (t = 0) Base (tf =

100 exemples /classe 1600 exemples
15)
/classe
Cours #5 GPA-779
- 31 Application des réseaux de neurones et des systèmes experts
 6 Applications - Extraction des connaissances
Extraction des connaissances d'une
base d'exemples
Absence de connaissances a priori
Une base d'exemples étiquetée
Approche d'extraction de connaissances
Apprentissage d'un réseau multicouches
Analyse des poids synaptiques
Application aux données MSN
MSN, Malaises Graves (MG) et Fratries (F)
42 données épidémiologiques
Cours #5 GPA-779
- 32 Application des réseaux de neurones et des systèmes experts
 6 Applications - Extraction des connaissances
Extraction de connaissances d'une base d'exemples

D1 38 +
- D5
12
-
D3
36 +
16
16
MSN 3
+
- + 40 - D2
- +
D1
D4
D5 MSN bien classifiés FR bien classifiés
MSN mal classifiés FR mal classifiés
formes MG

Cours #5 GPA-779
- 33 Application des réseaux de neurones et des systèmes experts