Chapitre 4

Segmentation d’images
IV. Segmentation

IV.1 Définitions & classification

IV.2 Approche fonctionnelle
IV.3 Quelques méthodes de segmentation

Master 2 ESE 2022 2

 Segmentation d’Images : Contours et Régions

• Qu’est ce qu’une Région?

 Zone Homogène dans une Image : projection dans
l’image d’un objet ou d’une partie d’un objet de la
scène 3D
• Qu’est ce un Contour?
 Zone de Transition filiforme entre deux zones
homogènes : projection d’un bord d’objet ou
contour interne à un objet de la scène 3D
• Dualité Contour / Région
 Région : intérieur des Contours
 Contour : frontière de Régions
• Deux Mécanismes distincts de Regroupement des Pixels
:
 Contours : Différences Locales, dans le voisinage du
pixel
 Régions : Homogénéité Globale, sur une portion
importante de l’image

Master 2 ESE 2022 3

V.1 Définitions & classification

 La segmentation est un traitement bas-niveau qui consiste à créer

une partition de l'image I en sous-ensembles Ri appelés régions
telles que :
i Ri  0
i , j ; i  j Ri  R j  0
I   Ri
i

 Une région est un ensemble de pixels connexes ayant des

propriétés communes qui les différencient des pixels des régions
voisines.

Master 2 ESE 2022 4

 Pas de norme ! Pas de méthode unique ! Pas de recette !

 Le choix d'une technique est lié :

 A la nature de l'image (éclairage, contours, texture ...)
 Aux opérations en aval de la segmentation
- Compression
- RF, interprétation
- Mesure
 Aux primitives à extraire (droites, régions, textures,...)
 Aux contraintes d'exploitation (tps réel, mémoire ...)

Master 2 ESE 2022 5

Qu’est ce que la segmentation ?
• Partitionnement d’une image en régions Ri connexes (en un sens à
préciser)
• Chaque région doit satisfaire une propriété Ƥ Ri
• Deux régions voisines ne doivent pas satisfaire la même propriété
Dualité contour région

Master 2 ESE 2022 6

Approches "région"

- Basées sur l'homogénéité de caractéristiques localisées

spatialement calculées sur les niveaux de gris

- Homogénéité : variation à l'intérieur d'une région < variation

entre 2 régions

- Robustes aux bruits mais mauvaise localisation spatiale

Master 2 ESE 2022 7

Approches "frontière"

- Basées sur l'information de gradient pour localiser les

frontières des régions

- 2 approches : (détection et fermeture de contours)

ou (contours déformables)

- Sensibles aux bruits et aux contours mal définis, elles

offrent une bonne localisation spatiale

Master 2 ESE 2022 8

 Détection des Contours

• Profil d’un Contour I

 Dans la Direction perpendiculaire au
contour P
• Dérivée Première
 Le Contour correspond au Maximum P
X
• Dérivée Seconde X ||dI/dX||
 Le Contour correspond au Point
P
d’Inflexion : passage par zéro.
• A deux Dimensions :
 Dérivée Première : Gradient (vecteur)
 Dérivée Seconde : Laplacien (scalaire) X

||d2I/dX2||

Master 2 ESE 2022 9

 Formules du Gradient et du Laplacien en « Continu »

• Gradient :
 Maximum de la Norme
• Laplacien
 Passage par Zéro

Master 2 ESE 2022 10

Exemple de Détection : Gradient

• Test du Masque de Convolution?

 Quelle est sa réponse en zone homogène ?
 Tester sur différents Contours : vertical,
horizontal et oblique
 Que fait cet opérateur?
 Proposer une modélisation Simple

Master 2 ESE 2022 11

Les Différentes Etapes : en Image

Master 2 ESE 2022 12

Vue d'ensemble
Techniques de segmentation

Seuillage Approches Template Approches

adaptatif FRONTIERE Matching REGION

Méthodes variationnelles
Méthodes dérivatives (contours actifs)

Détection de contours
+ Méthodes Approches
Fermeture des contours Texture Markoviennes structurales

Analyse et classification

Master 2 ESE 2022 13

IV.2 Approche fonctionnelle

Initialisation
Image Mesures

Critères

Evolution

Carte des
Modification Arrêt
régions

bloc élémentaire

Master 2 ESE 2022 14

Approche fonctionnelle et méthodes complexes

Bloc 1 Bloc 2 Bloc k

N1 N2 Nk

Master 2 ESE 2022 15

Bloc Mesures

- Réalise les mesures nécessaires pour évaluer l'homogénéité

des régions

- Des mesures 'images' : moyenne, variance, entropie,

gradient, texture ...
- spatiales
- fréquentielles

- Des mesures 'régions' : forme, surface, périmètre ...

Master 2 ESE 2022 16

Le choix des mesures : un problème compliqué  Texture

Seuillage

Détection de
contour !

Master 2 ESE 2022 17

 Texture = information visuelle qualitative:
Grossière, fine, tachetée, marbrée, régulière, périodique...
Région homogène: Assemblage plus ou moins régulier
de primitives plus ou moins similaires.

Texture microscopique: Aspect chaotique mais régulier,

primitive de base réduite.

Texture macroscopique:
primitive de base évidente,
assemblage régulier.
?
Master 2 ESE 2022 18
Approches pour l'analyse de Texture

Structurelles: recherche de primitives de base bien définies et de

leur organisation (règles de placement)
Méthodes peu utilisées

Stochastiques: primitives mal définies et organisation +/- aléatoire.

Principe: évaluation d’un paramètre dans une petite région

(fenêtre de taille dépendant de la texture (!) ):
Analyse fréquentielle, statistiques, comptage
d’événements, corrélation,....

Master 2 ESE 2022 19

Trouver les bons paramètres

Le choix et le réglage
4x4 8x8
des mesures est
fondamental en segmentation

16x16 32x32
Master 2 ESE 2022 20
Bloc Critères

- Fusionne les mesures en un seul critère qui sera utilisé pour

évaluer le besoin de modification
M
C   w .E
n n
i i
n

i 1

- Introduction d'hyper-paramètres conditionnant le résultat

de la segmentation

Master 2 ESE 2022 21

Bloc Evolution

- Estime à partir des critères le besoin d'évolution des régions

- Evolution par seuillage : binaire ou progressive

- Evolution par dérivée : variation du critère entre 2 itérations

Master 2 ESE 2022 22

Bloc Modification

- Modifie la carte des régions

- N constant : seuillage, contour actif, ...
- N+ : split
- N- : merge

- Stratégies diverses ... et représentation des régions adaptée

- déplacement de point
- étiquetage
- maillage

- Considéré comme le cœur des méthodes de segmentation

Master 2 ESE 2022 23

Bloc Arrêt

- Décide l'arrêt des itération

- Par défaut, arrêt quand la carte de segmentation ne bouge plus

- Autres possibilités : manuel, nombre d'itération, nombre de

points modifiés ...

Master 2 ESE 2022 24

IV.3 Quelques méthodes de segmentation
IV.3.1 Segmentation par seuillage adaptatif

IV.3.2 Segmentation par détection /

fermeture de contours

IV.3.3 Segmentation par contours actifs

IV.3.4 Segmentation par Split / Merge

IV.3.5. Segmentation par Template Matching

Master 2 ESE 2022 25

IV.3.1 Segmentation par seuillage adaptatif
H(N)

Fond

Objet

Seuil
• Détection de vallées, en prenant le minimum de l’histogramme situé
entre les 2 pics.
• Optimisation du seuil S par modélisation Gaussienne p1(x) et p2(x) et
en minimisant l’expression basée sur les fonctions de répartition :

Min1  F1 ( x  S )  F2 ( x  S )
Master 2 ESE 2022 26
Exemple : Méthode Fisher
Objectif : Trouver le seuil S qui minimise la somme des moments
centrés d’ordre 2 (somme des Variances) des 2 classes

h(x) : histogramme de l’image

 xh( x)
x Ci
Centre de gravité G Gi ( S ) 
d’une classe  h( x )
x Ci

Variance Var d’une classe Vari ( S )   ( x

x Ci
 Gi ) 2
h( x )

Master 2 ESE 2022 27

Trouver S qui minimise la somme des variances :

Sopt  MinVar1 (S )  Var2 (S )

S

En simplifiant les termes en carrés, cela revient à maximiser la

fonctionnelle J(S) :
2 2
   
  xh( x )   xh( x )
 x C1   x C2 
J (S )  
 h( x )
x C1
 h( x )
x C2

Le problème de seuillage ou de partitionnement revient à chercher S

dans {0,255} qui maximise J(S)

Master 2 ESE 2022 28

IV.3.2 Segmentation par détection /
fermeture de contours
La détection de contour est suivie d’une
localisation de contour et de la recherche
d’un ensemble connexe de points.

Détection de Extraction de Fermeture de

contour contour contour

Master 2 ESE 2022 29

 Détection de contour
• Un contour caractérise la frontière d’une région
• Un contour est défini par une variation «rapide» de caractéristique

Contour Contour ? Contour ?

Master 2 ESE 2022 30

 Définition continue d'un contour
f(x,y)

q
x
qg

Mesure du gradient de f(x,y) dans la direction r

La direction q du contour est obtenue pour :
 f ( x, y) 
max pour q g  q 
r 2
   f ( x, y) 
  0
q r 
Master 2 ESE 2022 31
 f  f x  f y  f f
   cos(q )  sin(q )
r x r  y r x y

   f ( x, y)  f f
  0  sin(q )  cos(q )  0
q r  x x

f
y
qg  arctan( )
f
x
2 2
 f   f   f 
       
 r  max x y

Master 2 ESE 2022 32

Applications aux images numériques

• Pour chaque pixel (i,j), on mesure le gradient dans

deux directions orthogonales : Dx Dy

• Calcul de l’amplitude du gradientM  Dx 2  Dy 2

 Dy 
• Calcul de la direction du gradientq  Arctan 
 Dx 
Dx
H1
M
Carte d’amplitude
f(i,j) Dy q
H2 Carte de direction

Master 2 ESE 2022 33

Types de contours
Types de contours

Effet des opérateurs de différences premières et secondes

Sensibilité au bruit
Effet de différents niveaux de bruit sur les détecteurs
Exemple de détection de contours
« Roberts »

Zoom
(inhomogénéité
du contour)

Amplitude

blanc=/4
...
128x128 gris =  +/4

Direction
Master 2 ESE 2022 36
 H1 Amplitude

H2 Direction

Master 2 ESE 2022 37

Il existe de nombreuses méthodes de détection de contour:
• Dérivation au premier ordre
Prewitt, Sobel, Roberts, Kirsh, Compass, dérivateurs...
• Dérivation au second ordre
Laplacien, Marr et Hildreth,...
• Filtrage optimal
Canny-Deriche, Shen
• Modélisation des contours
Hueckel, Haralick
• Morphologie mathématique
gradient morphologique, ligne de partage des eaux...

Caractéristiques:
Complexité, précision de localisation, sensibilité au bruit,
création de faux contours
Master 2 ESE 2022 38
Extraction des contours

Un contour = ligne de crête dans l’image de la norme du gradient (IG):

• des niveaux de gris toujours élevés
• de faibles dénivelés le long de ces lignes
• de forts dénivelés dans les autres directions
==> les points de contour = maxima locaux de IG

direction de G
Le principe est de comparer le contour
G1
gradient G en un point M avec les
gradients G1 et G2 des deux voisins G
M
pris dans la direction du gradient
si G>G1 et G>G2, G2
alors M est un maximum local
Master 2 ESE 2022 39
Fermeture des contours
Hypothèse : l’image de la norme de gradient est disponible et les
extrémités des contours à fermer sont connues.

S0
contour de l’image A

R
arc d’un chemin solution
S

Trouver le chemin du coût minimum :

• S qui minimise

Sf A( S )  A( R)
• S qui minimise la distance entre S et Sf

Master 2 ESE 2022 40

Example: Sobel Operator
-1 0 1 1 2 1
Sx = -2 0 2 Sy = 0 0 0
-1 0 1 -1 -2 -1

On a pixel of the image

• let gx be the response to Sx
• let gy be the response to Sy
2 2 1/2
Then g = (gx + gy ) is the gradient magnitude.

q = atan2(gy,gx) is the gradient direction.

Master 2 ESE 2022 41
Java Toolkit’s Sobel Operator

original image gradient thresholded

magnitude gradient
magnitude
Master 2 ESE 2022 42
Détection de contours : méthode de
Canny
Affinage des contours
IV.3.3 Segmentation par contours actifs

• Un contour actif est une courbe fermée

ou non, initialisée à proximité du contour Final
recherché qu’on déforme par itérations contour
successives afin de converger vers le
contour réel
• L’évolution du contour actif est régie par Initial
contour
une minimisation d’énergie
• L’évolution s’arrête par un critère d’arrêt
qui correspond à une condition de stabilité

La convergence traduit une adéquation entre la forme finale de la

courbe C la fonction image au voisinage de la courbe

Master 2 ESE 2022 44

Contours actifs : définitions

• Le contour actif est assimilé à une courbe C :

 
C  v( s, t )   x( s, t ), y( s, t ); s [a, b], t [0, T ]

s est l‘abscisse curviligne, v(s,t) est un point courant de C, a et b

sont les extrémités de C, l’évolution temporelle se fait entre 0 et T

• Une énergie E(C) est mesurée à chaque t durant l’évolution

temporelle
• E(C) intègre :
• les caractéristiques intrinsèques de la courbe C
• les caractéristiques de l’image I au voisinage de C
• l’interaction entre I et C

Master 2 ESE 2022 45

Contours actifs : Energie du contour E(C)

E (C)  Eint (C)  Eext (C)  Eimage (C)

 Eint : - lié à la rigidité (tension), il agit sur la longueur

- lié à l'élasticité (flexion), il agit sur la courbure

 Eext : - introduit des contraintes opérateur (points de contrôle ...)

 Eimage : - introduit les caractéristiques images (gradient)

Master 2 ESE 2022 46

Evolution temporelle du contour actif

• Calculer l'énergie pour chaque point

• Faire la liste des points par ordre d’énergie croissante
• Faire évoluer le point avec l'énergie minimale
• Calculer l'énergie nouvelle pour ce point et organiser la liste
• si la distance entre deux points est trop grande, ajouter un
point entre les deux

Master 2 ESE 2022 47

Problèmes liés aux contours actif

• Le contour initial ne peut pas être sélectionné automatiquement

• Le contour initial doit être proche du contour final
• Le modèle n’est pas utilisable dans le cas de la présence de texture
• Le modèle peut être perturbé en présence de bruit
• La minimisation d'énergie demande l’inversion de matrices de
grande taille à chaque itération
==> calcul très long

Master 2 ESE 2022 48

 Contours Actifs (snakes)

Qu’est ce qu’un snake?

P9 P8
P10
P7

P11 P6

P3

P1 P5
P2 P4

Esnake  Einterne  Eexterne

• Propriétés intrinsèques • Propriétés locales de l’image

• Longueur, courbure… autour du snake

49/38
 Contours Actifs (snakes)

Comportement dynamique du snake?

Minimiser l’énergie totale (interne + externe)

Calculer les forces à appliquer à chaque point de contrôle de telle

F  E sorte que l’énergie soit minimisée

 E ( x, y )
 Fx  x

 Fy  E ( x, y )
 y

50/38
 Contours Actifs (snakes)

Illustrations

Energie élastique

Energie de courbure

Zones brillantes

51/38
IV.3.4 Segmentation par Split / Merge

• Les méthodes structurales visent à regrouper des ensembles de

points ou de régions selon des critères d’homogénéité

• Ces méthodes garantissent la connexité des régions

• Les stratégies utilisées peuvent être :

• ascendante : mécanisme de croissance (MERGE) de régions :
du niveau élémentaire (ex : pixel) aux grandes régions
• descendante : mécanisme de division (SPLIT) de régions : du
niveau haut (ex : image) vers la décomposition en petites
régions

Master 2 ESE 2022 52

 Split & Merge

Example
Homogénéité = critère sur la variance

Image initiale
Split 1
Split 2
Split 3

Master 2 ESE 2022 53

 Split & Merge

Quadtree
Construction du RAG
Region Adjacancy Graph

• Connecte les régions adjacentes

• Arrêtes = mesures de différence

d’homogénéité

RAG

Master 2 ESE 2022 54

 Split & Merge

MERGE:

• Chaque nœud du Region Adjacency Graph est examiné.

• Si un des voisins de ce nœud est à une distance inférieure à un seuil de
regroupement, les deux nœuds fusionnent dans le RAG.
• Lorsque plus aucun nœud ne peut fusionner avec l’un de ses voisins, STOP.

La distance en terme d’homogénéité de

régions est portée par l’arrête valuée qui les
relie dans le RAG

Master 2 ESE 2022 55

 Split & Merge

Original AVANTAGES

• Méthode hybride
locale/globale: permet de
Split & Merge contrer le problème du gradient.

INCONVENIENTS

• Méthode assez complexe

• Découpage un peu « carré », dû à la

topologie des quadtrees

56/38
Méthode ascendante : Croissance de régions

• La croissance est conduite selon deux critères :

• homogénéité pour une région R formée de N pixels
• connexité (adjacence) du pixel à intégrer dans R
• Exemples de contrainte d’homogénéité :
• Variance Var(R) inférieure à un seuil
• Nombre de pixels M dont les NG se situe hors d’un intervalle
[Moy(R)-EcType(R),Moy(R)+EcType(R)] inférieur à un seuil
• Un pixel S est intégré à R si
• les caractéristiques de ce point (NG, couleur, texture centrée
sur ce point,..) est proche de celles de R
• S est connexe à R

Master 2 ESE 2022 57

Méthodes descendantes : division de régions

• Les méthodes descendantes divisent l’image ou une partie d’image

en régions en utilisant des partitions élémentaires connues comme le
quadtree
• Le maillage peut être
– régulier ou irrégulier
– de type rectangulaire, triangulaire ou polygone quelconque

• La division d’une région R en sous-régions se fait si R ne remplit

pas la contrainte d’homogénéité fixée

Master 2 ESE 2022 58

IV.3.5. Segmentation par Template Matching
• La méthode Template Matching est basée sur la recherche de la
position spatiale d’un motif (objet) M connu dans une image I

• La recherche (ou le collage) se fait par le calcul de

l’intercorrélation bidimensionnelle C(p,q) entre I et M :

CIM ( p, q)   I (m, n) M (m  p, n  q)
m n

pour tout déplacemen t p,q

• La position du motif est donnée par les maxima de la fonction

d’intercorrélation CIM

Master 2 ESE 2022 59