Vous êtes sur la page 1sur 66

Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Bases du traitement des images

I Oprations de base et amliorations J

Sverine Dubuisson

6 octobre 2010

Bases du traitement des images


1 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Plan du cours

1 Types doprations sur une image


2 Transformations gomtriques
3 Oprations entre images
4 Amliorations

Bases du traitement des images


2 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Oprations sur une image

Comment transformer une image ?


I Chaque pixel de limage est dfini par sa position (i, j) et son
amplitude (intensit) k dans limage
I Il existe deux types de transformations sur les pixels de limage :
les transformations gomtriques qui modifient les positions des
pixels, et
les transformations qui modifient les intensits des pixels.
I Possibilit deffectuer des oprations entre images, qui induisent ces
deux types de transformation

Bases du traitement des images


3 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Transformations gomtriques dimage

Quest-ce quune transformation gomtrique ?


I Transformation directe sur les coordonnes spatiales dun pixel
exprime de manire gnrale par :
 0   
i i
=T +V
j0 j

o T est une matrice de transformation, et V un vecteur


I Transformation inverse sur les coordonnes spatiales dun pixel
exprime de manire gnrale par :
 0   
i 1 i
=T
j0 j

o T est une matrice de transformation inversible

Bases du traitement des images


4 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Transformations gomtriques dimage

Translation
I La translation dun pixel (i, j) de vecteur (ti , tj )t sexprime :
 0      
i 1 0 i ti
= +
j0 0 1 j tj

Bases du traitement des images


5 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Transformations gomtriques dimage

Changement dchelle
I Le changement dchelle dun pixel (i, j) de coefficients i et j
sexprime :  0    
i i 0 i
=
j0 0 j j

Bases du traitement des images


6 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Transformations gomtriques dimage

Rotation
I La rotation dun pixel (i, j) dangle sexprime :
 0    
i cos sin i
=
j0 sin cos j

Bases du traitement des images


7 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Transformations gomtriques dimage

Dformation linaire
I La dformation linaire dun pixel (i, j) de coefficients i1 , i2 , j1 et
j2 sexprime :
 0    
i i1 i2 i
=
j0 j1 j2 j

Bases du traitement des images


8 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Transformations gomtriques dimage

Les coordonnes homognes


I Systme de coordonnes dfini dans les "espaces projectifs"
espaces euclidiens espaces affines espaces projectifs
I Avec les mains : une coordonne supplmentaire
(x, y ) affine (x, y , 1) (x w , y w , w ) projectif
I Formalisation plus complexe, mais calculs facilits :
Transformations projectives linaires en coordonnes homognes
Permet dinclure les translations dans la matrice de transformation

Bases du traitement des images


9 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Transformations gomtriques dimage

Les coordonnes homognes


I Ex : dformation linaire en coordonnes homognes :
0
i i1 i2 0 i
j 0 = j1 j2 0 j
1 0 0 1 1

I Dformation affine (linaire + translation) :


0
i i1 i2 Tx i
j 0 = j1 j2 Ty j
1 0 0 1 1

Bases du traitement des images


10 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Transformations gomtriques dimage


Problme
I Une transformation directe nimplique pas que tous les pixels de
limages destination auront une couleur
, phnomnes de trous dans les images
I Deux solutions :
Appliquer une transformation inverse (mais la matrice doit tre
inversible !)
Boucher les trous
I Dans les deux cas, il faut interpoler

Bases du traitement des images


11 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Transformations directe et inverse


I Transformation directe : on part des pixels de limage initiale et on
calcule leur transform : gnration de trous ou de superpositions
I Transformation inverse : on part des pixels de limage rsultat et on
dtermine quel pixel ils correspondent dans limage initiale par
transformation inverse.

Bases du traitement des images


12 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Interpolations
I Deux modes dinterpolation principaux :
Plus proche voisin : le pixel est de la mme couleur que celle de son
plus proche voisin
Interpolation bilinaire : prise en compte des 4 voisins du pixel pour
faire une combinaison bilinaire des intensits

I Il en existe beaucoup dautres !

Bases du traitement des images


13 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Interpolation bilinaire

P = (1 v )A + vB
Q = (1 v )D + vC
R = (1 u)P + uQ
= (1 v )(1 u)A + (1 u)vB + uvC + u(1 v )Q

Bases du traitement des images


14 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Oprations entre images

I Les images sont des matrices, on peut donc effectuer les oprations
usuelles sur des matrices
I Bien faire la diffrence entre une opration matricielle et une
opration pixel par pixel
I En image, on fait en gnral des oprations pixel par pixel : addition,
soustraction, multiplication, division, combinaison linaire, ...

Bases du traitement des images


15 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques exemples doprations entre


images

Bases du traitement des images


16 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications doprations entre


images

Soustraction et rduction de bruit


I On a 2 images identiques (au bruit prs) et recales
I Limage diffrence des deux images permet de dtecter le bruit
I Pixel noir : aucune diffrence
I Pixel non noir : diffrence dont lamplitude est celle du bruit
Attention : des temps diffrents, limage de diffrence donne les
mouvements entre images

Bases du traitement des images


17 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications doprations entre


images
Image de diffrence pour la dtection de mouvement

Bases du traitement des images


18 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications doprations entre


images

Suivi multi-camera
I Pouvoir suivre un/des objets des selon diffrentes vues dune mme
scne

Bases du traitement des images


19 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications doprations entre


images

Suivi multi-camera
I Une solution : transformation homographique

Bases du traitement des images


20 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications doprations entre


images

Recalage dimages pour la cartographie


I Donnes : une carte et une image satellite (IKONOS)

Bases du traitement des images


21 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications doprations entre


images
Recalage dimages pour la cartographie
I Une solution : dtecter des points dintrt et les faire correspondre
avec ceux de la carte

Bases du traitement des images


22 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications doprations entre


images

Recalage dimages pour la surveillance des cres

Bases du traitement des images


23 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications doprations entre


images

Recalage dimages mdicales multimodales pour la fusion


I Donnes : diffrentes modalits (CT, ultra-son, IRM)
I But : les recaler pour pouvoir les fusionner ensuite et disposer dune
information plus complte

Bases du traitement des images


24 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications doprations entre


images

Recalage dimages mdicales multimodales pour la fusion

Bases du traitement des images


25 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications doprations entre


images

Prdiction par compensation de mouvement pour la


compression vido
I Donnes : deux images dune squence
I But : prdire dune image vers lautre la position de blocs, et ne
transmettre que des vecteurs mouvement pour ces blocs

Bases du traitement des images


26 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications doprations entre


images

Prdiction par compensation de mouvement pour la


compression vido
I Partitionnement de limage 1 en blocs

Bases du traitement des images


27 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications doprations entre


images

Prdiction par compensation de mouvement pour la


compression vido
I Chercher la position de chaque bloc de limage 1 dans limage 2

Bases du traitement des images


28 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications doprations entre


images

Prdiction par compensation de mouvement pour la


compression vido
I Transfrer le contenu du bloc de limage 1 dans sa cible dans
limage 2

Bases du traitement des images


29 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Amliorations dimages

But de lamlioration
I Rendre les images plus aptes linterprtation humaine ou celle de
la machine
I Aucune thorie gnrale
I Manipulation dans le domaine spatial : accs direct aux valeurs de
pixels
I Manipulation dans le domaine frquentiel : modification de la
transforme de Fourier

Bases du traitement des images


30 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Amliorations dimages

Types damlioration
I Amlioration ponctuelle : f 0 (i, j) = T (f (i, j))
, Modification de la brillance ou du contraste dune image.
, Larrangement spatial (position) des pixels nintervient pas :
aucune relation de voisinage tudie.
, Travail sur les histogrammes, les valeurs de pixels, ...
, Sujet de ce chapitre.
I Amlioration locale : f 0 (i, j) = T (f (V )), o V est un voisinage du
pixels (i, j)
, Utilisation de filtres (chapitre sur le filtrage).
I Amlioration globale : f 0 = T (f )
, Utilisation de la transforme de Fourier (chapitre sur la TFD).

Bases du traitement des images


31 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Amliorations dimages

Bases du traitement des images


32 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Amliorations dimages
Pourquoi amliorer une image ?
I Rgions faire apparatre
I Image trop claire ou trop fonce
I Ncessit de modifier ses niveaux de gris afin de rendre visibles
certains dtails

Bases du traitement des images


33 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Amliorations dimages
Pourquoi amliorer une image ?
I Modifier la brillance.
I Augmenter le contraste.

Bases du traitement des images


34 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Amliorations dimages

Rappels - dfinitions
I Oprations damliorations dimages modifient lhistogramme
I Quest-ce quun histogramme ? Un histogramme cumul
I A quoi correspond le contraste dune image ?

Bases du traitement des images


35 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Histogramme

Dfinition
I Fonction dcrivant la rpartition des niveaux de gris de limage
I Fournit des informations propres limage, telles que :
La distribution statistique des niveaux de gris
Les bornes de rpartition des niveaux de gris
I Mais aucune information spatiale !
I chaque image f de taille N M , on peut associer une
distribution H des valeurs contenues dans cette image par :

H(k) = Card{0 i N 1, 0 j M 1 : f (i, j) = k} = nk

Bases du traitement des images


36 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Remarque sur lhistogramme


Il ne code pas dinformation spatiale

I Deux images diffrentes (en termes de contenu smantique) peuvent


aussi avoir le mme histogramme
Bases du traitement des images
37 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Histogramme normalis

Dfinition
I Fonction Hn donnant la probabilit (en termes de frquence
doccurrence) quun pixel ait pour niveau de gris k

H(k)
Hn (k) =
N M
o N et M sont respectivement le nombre de colonnes et de lignes
de limage
I Les valeurs de H sont normalises
I Approximation de la fonction de densit dune variable alatoire
(pixel)

Bases du traitement des images


38 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Histogramme cumul
Dfinition
I Lhistogramme cumul est donn par :
X
Hc (k) = H(i)
ik

o H(.) est lhistogramme


I Lhistogramme cumul normalis est donn par :
X
Hc (k) = Hn (i)
ik

o Hn (.) est lhistogramme normalis


I Hc (k) reprsente la probabilit davoir un niveau de gris infrieur ou
gal k (fonction croissante qui tend vers 1), ou fonction de
rpartition
Bases du traitement des images
39 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Proprits de limage

Contraste
I Dfinition 1 : variation maximale entre valeurs de niveaux de gris
min et max dans limage :

maxi,j [f (i, j)] mini,j [f (i, j)]


C=
maxi,j [f (i, j)] + mini,j [f (i, j)]

I Dfinition 2 : cart-type des variations de niveaux de gris dans


limage : v
u 1 N1 X M1
u
X
C =t (f (i, j) B)2
NM
i=0 j=0

I Deux images totalement diffrentes peuvent avoir le mme contraste

Bases du traitement des images


40 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Amliorations dimages

Modifications dhistogrammes
I On va modifier la luminance k
f : k k 0 = f (k).
I Diffrentes fonctions f vont avoir des impacts diffrents sur limage

Bases du traitement des images


41 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Inversion dimage

Dfinition
I Inversion de lintervalle des niveaux de gris de f par la formule :

k0 = |(L 1) k|

o L est la dynamique de limage f

I Ne change pas la dynamique

Bases du traitement des images


42 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Seuillage

Dfinitions et principe
I Seuillage (tresholding) : traitement ramenant limage deux ou
quelques niveaux dintensit
I Binarisation (binarization) : traitement ramenant limage deux
niveaux seuillage binaire
I Le seuillage binaire est dfini par :

k1 si k S
k0 =
k2 si k > S

o k1 , k2 et S (seuil) sont des niveaux de gris


I Met en avant des rgions mais namliore pas limage

Bases du traitement des images


43 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Exemples de seuillages (k1 = 0 et k2 = 255)

Bases du traitement des images


44 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Amliorations dimages
Revenons notre problme
I Des images trop claires ou trop fonces

I Dune manire gnrale : lhistogramme est trop concentr


I Mthodes ponctuelles travaillant sur les niveaux de gris ou sur les
histogrammes mais, en gnral, ne modifiant pas linformation
contenue dans les images
Bases du traitement des images
45 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Rehaussement logarithmique de contraste


Dfinition
I Formule : k 0 = log(k)
I Lintervalle des intensits sombres est augment (claircissement
global de limage) : utilis pour traiter des images trop sombres
I Remettre lintervalle de variation des k 0 entre 0 et (L 1)

Bases du traitement des images


46 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Rehaussement logarithmique de contraste

Bases du traitement des images


47 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Rehaussement exponentiel de contraste


Dfinition
I Formule : k 0 = e k
I Lintervalle des intensits claires est augment (assombrissement
global de limage) : utilis pour traiter des images trop claires
I Remettre lintervalle de variation des k 0 entre 0 et (L 1)

Bases du traitement des images


48 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Rehaussement exponentiel de contraste

Bases du traitement des images


49 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Translation dhistogramme

Dfinition
I Permet de faire varier la luminosit de limage sans en changer le
contraste
I On obtient une image plus claire ou plus sombre
I Sapplique sur des images faible dynamique
I On a donc : k 0 = k + t, o t R

Bases du traitement des images


50 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Translation dhistogramme

Bases du traitement des images


51 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Changement de contraste

Dfinition
I On effectue une transformation affine sur les niveaux de gris
I La transformation sexprime : k 0 = ak + b, o a, b R
I Diminution de contraste a < 1 et b > 0
I Augmentation de contraste a > 1 et b < 0
I Un exemple : ltirement dhistogramme

Bases du traitement des images


52 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

tirement dhistogramme

Dfinition
I Cas o lintervalle de variation des niveaux de gris est rduit : on le
remet entre 0 et (L 1)
I Si les niveaux de gris de I appartiennent [kmin , kmax ], et quon
ltire lintervale [0, L 1], alors on a :

L1
k0 = (k kmin )
kmax kmin

Bases du traitement des images


53 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

tirement dhistogramme

Bases du traitement des images


54 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

tirement dhistogramme
Un cas particulier : la transformation linaire avec saturation
I On choisit deux seuils Smin et Smax tels que

kmin Smin < Smax kmax

I On a : k 0 = L1
Smax Smin (k Smin )
I On peut obtenir des valeurs pour k 0 en dehors de lintervalle de
variation maximale des niveaux de gris.
I Exemple : image code sur 8 bits (valeurs entre 0 et 255) :

k0 < 0 k0 = 0
k 0 > 255 k 0 = 255

Bases du traitement des images


55 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

tirement dhistogramme

Et dans le cas gnral ?


I La dynamique de limage nest pas forcment maximale
I On peut choisir un intervalle cible [fmin , fmax ] quelconque
I Cest une simple changement dintervalle, de [kmin , kmax ] vers
[fmin , fmax ]
I On a donc :
fmax fmin
k0 = fmin + (k kmin )
kmax kmin

Bases du traitement des images


56 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

galisation dhistogramme

Dfinition
I Homognisation de la rpartition des intensits des pixels
I Amplification des fluctuations dans les zones o elles sont faibles
I talement des dtails concentrs dans un petit intervalle de niveaux
de gris

Bases du traitement des images


57 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

galisation dhistogramme

Dfinition
I Formule :
 
L1
k 0 = Int Hc (k)
N M

o L est la dynamique de limage, N et M respectivement le nombre


de lignes et de colonnes de limage et Hc (k) lhistogramme cumul
du niveau de gris k. Int est la fonction qui arrondit lentier le plus
proche.

Bases du traitement des images


58 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

galisation dhistogramme : exemple 1

Bases du traitement des images


59 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

galisation dhistogramme : exemple 2

Bases du traitement des images


60 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

tirement et galisation : le mme combat ?

Deux effets diffrents


I Ltirement va changer la rpartition spatiale des btons (bins) de
lhistogramme, mais pas leur taille
I Lgalisation va changer la rpartition spatiale des btons (bins)
de lhistogramme, et leur taille

Bases du traitement des images


61 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications de modification


dhistogrammes

La mosaque dimages
I Donne : une image cible et une base dimagettes

Bases du traitement des images


62 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications de modification


dhistogrammes

Lapprentissage sur une base dimages


I Donne : une base de visages

Bases du traitement des images


63 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications de modification


dhistogrammes
Lapprentissage sur une base dimages
I Un problme : des variations dillumination au sein de la base
, normaliser lensemble des histogrammes pour que les images
aient la mme dynamique

Bases du traitement des images


64 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications de modification


dhistogrammes

Limage inpainting

Bases du traitement des images


65 / 66
Plan Types dopration Transformation gomtriques Oprations entre images Amlioration

Quelques applications de modification


dhistogrammes

Segmentation

Bases du traitement des images


66 / 66