Segmentation

d’Images
Nawres KHLIFA

1
Plan

 Segmentation basée Contours

 Méthodes Dérivatives
 Méthodes Variationnelles (Contours Actifs)
 Segmentation basée Région
 Seuillage
 Division
 Fusion
 Division Fusion
 Croissance de Régions
 Segmentation par Classification ( supervisée, Non
supervisée)

2
Introduction
 L'analyse d'image nécessite l'identification d'objets qui
la composent.
 La segmentation est une des étapes de l'analyse
d'images.
 C'est un traitement de bas-niveau qui consiste à créer
une partition de l'image observée en un certain
nombre de régions qui pourront par la suite être
traitées de manières différentes.
 Le choix de la méthode se base sur plusieurs critères:
 La nature de l'image (optique, infrarouge,…),
 les primitives à extraire (contours, segments de droite,
angles,…, régions, formes, texture)
 les contraintes d'exploitation (fonctionnement en temps réel,
taille de la mémoire disponible sur la machine utilisée pour
effectuer le traitement,… ). 3
 Introduction
 Deux approches sont envisageables :

Approche contour Approche région

• Un contour est une zone • Une région est un ensemble

de transition entre régions de pixels connexes ayant des
homogènes propriétés communes qui les
différencient des pixels des
régions voisines.
B. Approche Contour

 Basée sur l'information de gradient pour localiser les frontières des

régions
✓ Approches dérivatives :
- Rehaussement de contours
- Extraction de contours
- Fermeture de contours
✓ Contours déformables.

 Sensible aux bruits et aux contours mal définis

 Donne des contours ouverts
 Elle offre une bonne localisation spatiale

5
B. Approche Contour
B1 Méthodes dérivatives : principe

Détection de Extraction de Fermeture de

contour contour contour

6
B. Approche Contour
B1 Méthodes dérivatives : principe

1. Rehaussement de contour (1)

• Un contour caractérise la frontière d’une région
• Un contour est défini par une variation «rapide» de caractéristiques

7
Contour Contour ? Contour ?
B. Approche Contour
B1 Méthodes dérivatives : principe

1. Rehaussement de contour (1)

Il existe de nombreuses méthodes de détection de contour:

• Dérivation au premier ordre et détection des maxima:

Prewitt, Sobel, Roberts, Kirsh,...
• Dérivation au second ordre et détection de passage par zéro:
Laplacien, Marr et Hildreth,...
• Filtrage optimal
Canny-Deriche, Shen
• Morphologie mathématique
gradient morphologique, ligne de partage des eaux...
Caractéristiques:
Complexité, précision de localisation, sensibilité au8 bruit, création
de faux contours
B. Approche Contour
B1 Méthodes dérivatives : principe
1. Rehaussement de contour (1)
A.Utilisation du gradient
 L'utilisation du gradient se fait selon les étapes suivantes :
 Calcul du gradient en chaque point de l'image.
 Création de l'image de la norme du gradient.
 Sélection des gradients maximaux H1 dans la direction
Amplitude
exacte du gradient (Seuillage).

9
A.1 Exemples d’approximation du gradient
B. Approche Contour
B1 Méthodes dérivatives : principe

1. Rehaussement de contour (1)

A= A=Ai[i, j]= A[i+1, j]−A[i, j]
y i
Approximation du gradient :
A= A=Aj[i, j]=A[i, j+1]−A[i, j]
x j
A[i, j] = Ai2(i, j)+ Aj2(i, j)
Le module du gradient:

ou bien
A[i, j] =maxAi (i, j),Aj(i, j) 
La direction du gradient : (A[i, j])=arctg(A [i, j] / A[i, j])
j i
(1)

10

En pratique : on utilise les masques de convolution

A.1 Exemples d’approximation du gradient
B. Approche Contour
B1 Méthodes dérivatives : principe

1. Rehaussement de contour (1)

1 0 − 1 − 1 − 1 − 1
Prewitt 1 0 − 1 0 0 0
   
1 0 − 1  1 1 1 
(1)

 − 1 0 1 − 1 − 2 − 1
    11
 0 0 0 
Sobel − 2 0 2
 − 1 0 1  1 2 1 
 B. Approche Contour
B1 Méthodes dérivatives : principe
Rappel sur le calcul du produit de convolution

1. Rehaussement de contour (1)

12
B. Approche Contour
B1 Méthodes dérivatives : principe
1. Rehaussement de contour (1)
B. Utilisation du Laplacien

 Détection de passage par zéro de la dérivée seconde zero

crossing
 Opérateur de LOG : Laplacien of Gaussian : Mar-Hildreth
 Principe:
- Le bruit va introduire des fausses détection de contour.
- Appliquons alors une opération de filtrage par gaussienne
- Calculons la dérivée seconde (Laplacien) de l’image filtrée.
- Les points de contours correspondent au passage par zéro
de la matrice résultante.
13
B. Approche Contour
B1 Méthodes dérivatives : principe
2. Extraction de contour (1)
- Le Gradient fournit une image dans laquelle les point susceptibles
d’appartenir à un contour sont rehaussés. C’est une image en niveaux
de gris: les points de contour = maxima locaux du gradient.
Comment détecter les maxima locaux ??
→ Solution : 1. seuillage simple
2. seuillage par hystérésis.
3. méthode de la recherche des maxima locaux
direction de G
Méthode de la recherche des maxima contour
locaux G1
Le principe est de comparer le gradient G en G
M
un point M avec les gradients G1 et G2 des
deux voisins pris dans la direction du gradient G2
si G>G1 et G>G2→ alors M est un maximum 14

local
B. Approche Contour
B1 Méthodes dérivatives : principe
2. Extraction de contour (2)

. Méthode de seuillage par hystérésis:

a. Fixer deux seuils distincts T1 et T2

b. En dessous du seuil bas T1, on considère qu’il n’y pas de contours.
c. Au dessous du seuil haut, on considère qu’il y a contour.
d. Les contours obtenus sont ensuite complétés par les pixels compris
entre T1 et T2 si et seulement s’ils sont connexes entre eux.

- Interprétation:
b → se débarrasser du bruit indésirable.
c → garder que les composantes importantes mais incomplètes
d → compléter les contours trouvés par c.
15
B. Approche Contour
B1 Méthodes dérivatives : principe
3. Fermeture des contours

Hypothèse : l’image de la norme de gradient est disponible et les

extrémités des contours à fermer sont connues

S0
contour de l’image A
R
S arc d’un chemin solution

Trouver le chemin du coût minimum

:
S qui minimise la 16distance entre S0
Sf
et Sf
B. Approche Contour
2. Approche Variationnelle : Les Contours
Actifs
Final
• Un contour actif est une courbe contour

fermée ou non, initialisée à proximité

du contour recherché qu’on déforme Initial
contour
par itérations successives afin de
converger vers le contour réel
• L’évolution du contour actif est régie
par une minimisation d’énergie
• L’évolution s’arrête par un critère
d’arrêt qui correspond à une
condition de stabilité

17
B. Approche Contour
2. Approche Variationnelle : Les Contours Actifs
Contours actifs : Définitions

• Le contour actif est assimilé à une courbe C :


C = v( s, t ) = ( x( s, t ), y( s, t )); s [a, b], t [0, T ] 
s est l‘abscisse curviligne, v(s,t) est un point courant de C, a et b sont
les extrémités de C, l’évolution temporelle se fait entre 0 et T

• Une énergie E(C) est mesurée à chaque t durant

l’évolution temporelle
• E(C) intégre :
• les caractéristiques intrinsèques de la courbe C
• les caractéristiques de l’image I au voisinage
18
de C
• l’interaction entre I et C
B. Approche Contour
2. Approche Variationnelle : Les Contours Actifs

Contours actifs : Energie du contour E(C)

E (C ) = Eint (C ) + Eext (C )
 Eint : - liée à la rigidité (tension), il agit sur la longueur
 - liée à l'élasticité (flexion), il agit sur la courbure

 Eext : - introduit les caractéristiques images (gradient)

19
B. Approche Contour
2. Approche Variationnelle : Les Contours Actifs

Contours actifs : Evolution temporelle du contour actif

• Calculer l'énergie pour chaque point

• Faire la liste des points par ordre d’énergie croissante
• Faire évoluer le point avec l'énergie minimale
• Calculer l'énergie nouvelle pour ce point et organiser la liste
• si la distance entre deux points est trop grande, ajouter un
point entre les deux

20
B. Approche Contour
2. Approche Variationnelle : Les Contours Actifs

Contours actifs : Evolution temporelle du contour actif

21
B. Approche Contour
2. Approche Variationnelle : Les Contours Actifs

Contours actifs : Problèmes liés aux contours actif

• Le contour initial ne peut pas être sélectionné automatiquement

• Le contour initial doit être proche du contour final
• Le modèle n’est pas utilisable dans le cas de la présence de
texture
• Le modèle peut être perturbé en présence de bruit
• La minimisation d'énergie demande l’inversion de matrices de
grande taille à chaque itération => calcul très long

22
 Segmentation
d’Images basée
Région

23
B. Approche Région
 Objectif de la segmentation :
Partition de l’image en un ensemble fini de régions R1,R2,….,
RN i Ri  0
i , j ; i  j Ri  R j = 0
I =  Ri
i

• Une région est un ensemble de pixels connexes ayant des

propriétés communes qui les différencient des pixels des régions
voisines.
• Approche région:
– Basée sur l'homogénéité de caractéristiques localisées
spatialement calculées sur les niveaux d( e gris.
( Homogénéité : variation à l'intérieur d'une région < variation
entre 2 régions)
☺ Robuste aux bruits 24

 mauvaise localisation spatiale.

B. Approche Région
1. Seuillage (1)

 Séparation de l’image par un ou plusieurs seuils:

 Le problème réside dans le choix de(s) seuil(s):

Image segmentée avec plusieurs seuils

25
B. Approche Région
1. Seuillage (1)
 Méthodes de calcul du seuil:
 Manuellement: l’opérateur choisi une valeur a priori.
 Automatiquement: en se basant sur l’histogramme
 Si l’histogramme est bi-modal :
quand il y a des objet d’une
couleur sur un fond d’une autre couleur

⚫ Méthode de Détection de vallées, en prenant le

minimum de l’histogramme situé entre les 2 pics:
⚫ Identifier les deux maxima principaux.
⚫ Prendre le minimum qui se trouve entre eux:
26
B. Approche Région
1. Seuillage (1)

27
B. Approche Région
1. Seuillage (1)
• Optimisation du seuil par modélisation Gaussienne
– Minimiser la probabilité de mauvaise classification.
– Nécessité de connaître la distribution des niveaux de gris: souvent la
distribution est approchée par une gaussienne.
– Si on arrive à identifier la distribution, on peut minimiser cette erreur de
classification.
– La solution peut être différente du minimum de l’histogramme

28
B. Approche Région
1. Seuillage (1)
 La segmentation par seuillage est très simple, mais elle donne
pas toujours un bon résultat.

 Elle ne fournit pas des objets mais plutôt des points ou des
ensembles de points qui ne sont pas fortement connexes.

 Le problème de connexité est résolu par les méthodes de

croissance de régions

29
B. Approche Région
2. Croissance des Régions
• On fixe un point de départ dans l’image, (le germe) de la région cherchée.
• On fixe un critère d’homogénéité de la région cherchée (exemple:
intensité comprise entre deux valeurs)
• Par une procédure récursive ( i.e. de proche en proche), on inclut dans la
région tous les points connexes qui vérifient le critère
➔ on fait ainsi croître la région tant que le critère est respecté
➔ on obtient une région connexe

30
Localisation de la tumeur
B. Approche Région
2. Croissance des Régions

Image Filtrée Image Filtrée

puis puis segmentée
|I-I’|< s segmentée puis post traitée
31
B. Approche Région
3. Region Merging: fusion des régions
 On considère chaque pixel comme une région
 On fusionne les régions adjacentes si les conditions d’homogénéités sont vérifiées

 Segmentation trop grossière

 Le résultat dépend de l’ordre dans lequel les régions sont fusionnées

 Exemple : deux régions R1 et R2 ne seront pas fusionnées car R1

a été fusionné avec d’autres régions, et la nouvelle région possède
des caractéristiques telles que R2 ne doit pas y être fusionnée.
 Remarque: On peut aussi grouper des blocs de 2x2, de 4x4 ou de
8x8 pixels, etc.

32
B. Approche Région
4. Region splitting : division des
régions
✓ C’est l’approche duale
✓ On commence avec l’image entière
✓ La condition d’Homogéineté n’est pas remplie
✓ On divise l’image (par exemple en 4)
✓ On progresse récursivement jusqu’à obtenir des régions homogènes

 Segmentation trop fine

33
B. Approche Région
4. Region splitting : division des
régions

 52 régions

34
B. Approche Région
5. Split and Merge: division- fusion

– On commence par diviser l’image par splitting

– On regroupe ensuite les régions par merging

Image originale Image après division Image après fusion

35
B. Approche Région
5. Split and Merge: division- fusion

Split

Split & Merge

36
B. Approche Région
5. Split and Merge: division- fusion

37
Segmentation d’Images
par Classification

38
Plan

 Définition de la Classification
 Méthodes supervisées
 Méthode Kppv
 Méthodes non supervisées

39
Définition
 Classification : attribuer à chaque pixel dans l'image une
classe (étiquette).
 On connait les classes d'appartenance a priori ➔on parle de
classification supervisée ,
 On connait rien ➔ on parle de classification non-supervisée

 Rq:
 Un classieur implicitement segmente une image : l'ensemble des pixels
ayant la même classe forme une région de l'image
 Une segmentation implique une classification (les régions sont Étiquetées
selon leurs appartenances)
40
Définition

 Apprendre une fonction de X dans {1, ….,K} où K est le

nombre de classes (régions) dans l'image.
 Deux résultats possibles:
 Classification en partition dure : chaque pixel appartient
exclusivement à une classe
 Classification en partition floue : chaque pixel dispose d'un
degré d'appartenance à chacune des classes (e.g., la
probabilitée a posteriori de chaque classe étant donné le
pixel à classer)

41
Classification supervisée

K Plus Proches Voisins (KNN en anglais)

 On suppose qu'on dispose d'une base d'exemples étiquetés (e.g.,
dans ce cas un ensemble de pixels dont on connait leurs
appartenances aux régions (classes) dans l'image)
 Pour un nouveau pixel xi, prédire (estimer) sa classe
d'appartenance yi
 Il faut disposer d’une métrique (distance euclidienne, distance de
Mahalanobis,…)

42
Méthode de Kppv

 Algorithme :
Pour chaque pixel xi à classer :
 Calculer les distances (e.g., Euclidiennes) avec les pixels
des régions étiquetées : {dj}
 si k = 1 (1-ppv) ) la classe yi de xi est celle de l'exemple le
plus proche de xi,
 si k > 1 (k-ppv) ) la classe yi de xi est la classe majoritaire
des k exemples les plus proches au sens de la distance
choisie (e.g., euclidienne)
43
Exemple KPPV

44
Classification non supervisée

 Approche à base de distance (géométrique) : K-

means, Fuzzy K -means
 Approches à base de densités :
 Modèles de mélanges de densités (mélange de
Gaussiennes) :
 Algorithme Espérance-Maximisation (EM) : maximum de
vraisemblance
 Algorithme Classification Espérance-Maximisation (CEM) :
maximisation d'une vraisemblance classiante
 EM généralisé (GEM),...

45
 K-means
 Objectif : minimiser l’inertie intra-classe (maximiser l’inertie interclasses)
 Procédé de calcul
 choix aléatoire du nombre K de classes et de K noyaux initiaux
 affectation des objets aux noyaux
 calcul des nouveaux noyaux
 le processus s’arrête lorsque deux partitions successives sont identiques (ou
presque)

46
K-means (exemple)

Choix des noyaux (4 classes)

47

Première itération
K-means (exemple)

Re calcul des centres de gravités

48

Re calcul des centres de gravités Pas de changement➔ Arrêt

K-means (exemple)

Image à classifier Résultat de la 1ère itération

49
 Résultat de la 2ème Résultat de la 3ème
itération itération

Résultat de la 4ème Résultat de la 5ème

itération itération

50
K-means (exemple)

51
52
Classification non supervisée
Approches à base de densités :

 Mélange de lois
 Le problème de la classification devient celui de l'estimation des paramètres du
modèle de mélange supposé (par exemple, estimer les moyennes et les
covariances dans le Cas d'un mélange de gaussiennes.
 Le but est de modéliser chaque cluster par une loi de probabilité.
 Soit une « distribution » des valeurs donnée

53
Classification non supervisée
Approches à base de densités :

 On suppose que cette loi est un mélange de lois tel que à chaque cluster
correspond une loi de probabilité (normale (= mélange gaussien) ou non)

 Exemple avec trois classes et un seul attribut

54
Classification non supervisée
Approches à base de densités :

Deux approches sont possibles

 Approche estimation (mélange) se compose de deux étapes :
 Les paramètres de la densité mélange sont estimés en maximisant la
vraisemblance des données observées (pixels) généralement via
l'algorithme EM
 Après l'estimation de densité, les exemples sont classés en maximisant les
probabilités a posteriori de leur appartenance aux classes (principe du
MAP)
 Approche classification
 Estime simultanément les paramètres du mélange et les classes de
exemples en la vraisemblance complétée par la version classiante de
l'algorithme EM qui est l'algorithme CEM

55
 Résumé

 La segmentation est un traitement qui consiste à créer

une partition de l'image I en sous-ensembles Ri appelés
régions
 Le choix d'une technique est lié :
 A la nature de l'image (éclairage, contours, texture ...)
 Aux opérations en aval de la segmentation
 Compression
 RF, interprétation
 Mesure
 Aux primitives à extraire (droites, régions, textures,...)
 Aux contraintes d'exploitation (tps réel, mémoire ...)

56
 Techniques de segmentation

Approche Contour Approche Région

Méthodes dérivatives Méthodes variationnelles

(contours actifs)
Détection de contours Seuillage
Split, Merge,
+
Classification Croissance Splite and Merge
Fermeture des contours
des régions

- Basées sur l'information de gradient - Basées sur l'homogénéité de

pour localiser les frontières des régions.
 Sensibles aux bruits et aux contours mal
définis,
 Elles offrent une bonne localisation
spatiale
caractéristiques calculées sur les
niveaux de gris.
- Robustes aux bruits mais mauvaise
localisation spatiale

57