Vous êtes sur la page 1sur 102

BIMA Bref historique Acquisition Définitions Applications

Bases du traitement des images

I Introduction et fondements J

Nicolas Thome

13 Septembre 2016

Bases du traitement des images


1 / 102
BIMA Bref historique Acquisition Définitions Applications

Plan

1 BIMA

2 Bref historique

3 Acquisition

4 Définitions

5 Applications

Bases du traitement des images


2 / 102
BIMA Bref historique Acquisition Définitions Applications

Déroulement du semestre

I Organisation
• Cours mardi 13h45-15h45 : Nicolas Thome (cours 1-2-3-4-5),
Matthieu Cord (cours 7-8-9), Dominique Béréziat (cours 6-8)
• TD/TME jeudi 13h45-18h : Nicolas Thome (séances 1-2-3-4-6-7),
Matthieu Cord (séances 9-10), Dominique Béréziat (séances 5-8)
I Polycopiés :
• supports de cours en ligne ;
• énoncés de TD/TME disponibles au local AEIP6.
I Évaluation : une note finale regroupant :
• une note de contrôles et sur machine : 40% ;
• un examen de fin de semestre : 60%.

Bases du traitement des images


3 / 102
BIMA Bref historique Acquisition Définitions Applications

Plan du cours sur le semestre


1 Outils de base en traitement d’image : N. Thome, M. Cord, D.
Béréziat
• 13/09 : Introduction et fondements du traitement des images
• 20/09 : Opérations de bases et améliorations d’images
• 27/09 : Transformée de Fourier continue
• 04/10 : Numérisation, Transformée de Fourier discrète
• 11/10 : Filtrage d’images (spatial et fréquentiel)
• 18/10 : Détection de contours
2 Application de méthodes de traitement d’images : N. Thome, M.
Cord, D. Béréziat
• 25/10 : Extraction de primitives
• 01/11 : ATTENTION pas de cours
• 08/11 : ATTENTION pas de cours
• 15/11 : Segmentation
• 22/11 : Reconnaissance de formes (1)
• 29/11 : Reconnaissance de formes (2)

Bases du traitement des images


4 / 102
BIMA Bref historique Acquisition Définitions Applications

Plan des TD/TME sur le semestre


1 Outils de base en traitement d’image : N. Thome, D. Béréziat
• 22/09 : Opérations de bases et améliorations d’images
• 29/09 : Transformée de Fourier continue
• 06/10 : Numérisation, recouvrement spectral (alisaing)
• 13/10 : Filtrage d’images (spatial et fréquentiel)
• 20/10 : Détection de contours
2 Application de méthodes de traitement d’images : N. Thome, M.
Cord, D. Béréziat
• 27/10 : Extraction de primitives (détecteur de Harris)
• 03/11 : ATTENTION pas de TD/TME
• 10/11 : ATTENTION pas de TD/TME
• 17/11 : Segmentation
• 24/11 : Descripteurs couleur et indexation
• 01/12 : Eigenfaces 1 (ACP)
• 08/12 : Eigenfaces 2 (ACP)
3 Page où sont les ressources de l’UE sont centralisées :
http://webia.lip6.fr/∼thomen/Teaching/BIMA.html
Bases du traitement des images
5 / 102
BIMA Bref historique Acquisition Définitions Applications

Contrôle Continu : Évaluation

I Évaluation : compréhension des TD-TME


• Partie code : correction automatique (plate-forme cody) pour tous
les TME
• Comptes-rendus de TD-TME (∼ 5-6/10)
• TP avec CR : 80-90% de la note, les 4-5 autres : 10-20% de la note
I Importance de venir en cours (partie théorique), en TD (pont entre
la partie théorique et la partie pratique) pour réussir les applications
en TME !
• Corrélation des notes entre CC et examen final très élevée

Bases du traitement des images


6 / 102
BIMA Bref historique Acquisition Définitions Applications

Plan

1 BIMA

2 Bref historique

3 Acquisition

4 Définitions

5 Applications

Bases du traitement des images


7 / 102
BIMA Bref historique Acquisition Définitions Applications

Les origines du traitement d’images

Quelques grandes dates


I 1839 : photographie (Louis Jacques Mandé Daguerre)
I 1895 : cinématographe (frères Lumière)
I 1885 : rayons X (Röntgen)

Bases du traitement des images


8 / 102
BIMA Bref historique Acquisition Définitions Applications

Les origines du traitement d’images

Quelques grandes dates


I Années 20 : la presse doit envoyer des informations image entre
Londres et New-York
,→ système Bartlane pour le codage d’images (5 niveaux)
I Années 60 : conquête de l’espace et diffusion d’images
I fin des années 60, début des années 70 : imagerie médicale
(tomographie)
I Depuis les années 70 : augmentation constante de l’utilisation des
images
,→ géographie, biologie, médecine, nucléaire, internet, télévision,
satellite, microscopie, ...

Bases du traitement des images


9 / 102
BIMA Bref historique Acquisition Définitions Applications

Plan

1 BIMA

2 Bref historique

3 Acquisition

4 Définitions

5 Applications

Bases du traitement des images


10 / 102
BIMA Bref historique Acquisition Définitions Applications

Acquisition d’images

I Acquisition = Formation d’image


I Spectre visible / non visible
I Couleur
I Acquisition vs perception

Bases du traitement des images


11 / 102
BIMA Bref historique Acquisition Définitions Applications

Les différents types d’images et leur


utilisation
I Le spectre électromagnétique est la principale source d’énergie pour
les images
I Il existe beaucoup d’autres sources : acoustique, électronique,
ultrason, ...
I Ondes électromagnétiques : sinusoïdes à différentes longueurs
d’onde contenant une quantité d’énergie, ou photon

Bases du traitement des images


12 / 102
BIMA Bref historique Acquisition Définitions Applications

Le spectre électromagnétique non visible

L’imagerie par rayons gamma


I Utilisée principalement en :
• Médecine nucléaire : détecter les phénomènes métaboliques,
fonctionnels, etc. (infections, tumeurs)
,→ PET (position emission tomography)
• Astronomie : mesure de la force des radiations (explosion d’étoile)

Bases du traitement des images


13 / 102
BIMA Bref historique Acquisition Définitions Applications

Le spectre électromagnétique non visible


L’imagerie par rayons X
I La source du spectre électromagnétique utilisée depuis le plus
longtemps
I Rayons pénétrant la “matière molle”
I Utilisée principalement en :
• Médecine : par exemple, pour localiser les pathologies (infections,
tumeurs) ,→ radiographie, angiographie, scanner (CT)
• Industrie, astronomie

Bases du traitement des images


14 / 102
BIMA Bref historique Acquisition Définitions Applications

Le spectre électromagnétique non visible


L’imagerie ultra-violet
I L’ultra-violet n’est pas visible
I Utilisée principalement en :
• Microscopie : différentes fluorescences pour mettre en valeur
différentes zones d’une même image
• Astronomie, lithographie, biologie, ...

Bases du traitement des images


15 / 102
BIMA Bref historique Acquisition Définitions Applications

Le spectre électromagnétique non visible


L’imagerie infra-rouge
I Souvent utilisés conjointement au spectre visible
I Utilisés principalement en :
• Télédétection : images multi-spectrales
,→ prévisions météo, cartographie, agriculture, géologie ...
• Microscopie, industrie ...
• Photographie, vidéo, ...

Bases du traitement des images


16 / 102
BIMA Bref historique Acquisition Définitions Applications

Le spectre électromagnétique non visible

Cas du multispectral : LANDSAT


I 1 (bleu) : différenciation sol /
végétaux, zones côtières
I 2 (vert) : végétation
I 3 (rouge) : différenciation des
espèces végétales
I 4 (infrarouge) : biomasse
I 5 (infrarouge) : différenciation
neige/nuage
I 6 (infrarouge) : chaleur
I 7 (infrarouge) : lithologique
(roches)

Bases du traitement des images


17 / 102
BIMA Bref historique Acquisition Définitions Applications

Le spectre électromagnétique non visible

L’imagerie dans la bande micro-ondes


I Utilisée principalement en imagerie radar pour voir des zones
inaccessibles (nuages)
,→ cartographie, agriculture, ...

Bases du traitement des images


18 / 102
BIMA Bref historique Acquisition Définitions Applications

Le spectre électromagnétique non visible

L’imagerie dans la bande radio


I Utilisée principalement en :
• Médecine : IRM (imagerie par résonance magnétique)
• Astronomie ...

Bases du traitement des images


19 / 102
BIMA Bref historique Acquisition Définitions Applications

Le spectre électromagnétique non visible

D’autres modalités d’image


I Imagerie par ultrasons : médecine, géologie
I Microscopes à électrons (TEM) : biologie, médecine

Bases du traitement des images


20 / 102
BIMA Bref historique Acquisition Définitions Applications

Le spectre électromagnétique
Le spectre visible
I Les images de la vie courante : Photos, images naturelles

Bases du traitement des images


21 / 102
BIMA Bref historique Acquisition Définitions Applications

Le spectre visible
Le spectre visible
I Les images de la vie courante : Photos, images naturelles
I Défis d’un point de vue Traitement Numérique des Images :
analyser le contenu des données

Bases du traitement des images


22 / 102
BIMA Bref historique Acquisition Définitions Applications

La vision humaine
L’œil humain

I La fovea est la région où la vision est la plus précise et sensible


I L’œil se déplace pour aligner la fovea, l’axe optique et l’objet désiré
Bases du traitement des images
23 / 102
BIMA Bref historique Acquisition Définitions Applications

L’œil humain
I Deux types de photorécepteurs dans la rétine (répartition différente)
• Les cônes : réponse photométrique et chromatique, grâce à des
pigments absorbant le bleu, le vert ou le rouge
,→ base de la vision des couleurs trichromatiques.
• Les bâtonnets : responsables de la vision nocturne (vision
scotopique).

Bases du traitement des images


24 / 102
BIMA Bref historique Acquisition Définitions Applications

Les cônes
Rôle
I Responsables de la vision des couleurs
I 3 types de photo-pigments : 64% rouges, 32% verts et 2% bleus
• Les cônes bleus (ou short wavelength) : λ ≈ 420 nm
• Les cônes verts (ou medium wavelength) : λ ≈ 530 nm
• Les cônes rouges (ou long wavelength) : λ ≈ 660 nm
I Peu nombreux (6 à 7 millions), densité importante dans la fovea
I Vision haute résolution, vision diurne ou photopique

Bases du traitement des images


25 / 102
BIMA Bref historique Acquisition Définitions Applications

Les bâtonnets

Rôle
I Très nombreux et plus sensibles à la lumière que les cônes
I Sensibles aux très faibles éclairements, discrimination des
contrastes : vision photopique (diurne)
I Un seul type de pigment : ne peuvent distinguer les couleurs
I Très sensibles au mouvement
I Répartis hors de la fovea : responsables de la vision périphérique

Bases du traitement des images


26 / 102
BIMA Bref historique Acquisition Définitions Applications

Acquisition vs perception

Perception humaine

Bases du traitement des images


27 / 102
BIMA Bref historique Acquisition Définitions Applications

Rôle du cerveau : une petite expérience


I Quel est le carré le plus clair ? A ou B ?

Bases du traitement des images


28 / 102
BIMA Bref historique Acquisition Définitions Applications

Rôle du cerveau : une petite expérience


I Quel est le carré le plus clair ? A ou B ?

Bases du traitement des images


29 / 102
BIMA Bref historique Acquisition Définitions Applications

Rôle du cerveau : une petite expérience


I Quel est le carré le plus clair ? A ou B ?

Bases du traitement des images


30 / 102
BIMA Bref historique Acquisition Définitions Applications

Rôle du cerveau : une petite expérience


I Quel est le carré le plus clair ? A ou B ?

Bases du traitement des images


31 / 102
BIMA Bref historique Acquisition Définitions Applications

Rôle du cerveau : une petite expérience

I Les carrés ont la même couleur ! !


I Réalisé sans trucage !
I Le cerveau se force à imager les carrés tels qu’ils devraient être :
l’un sombre et l’autre clair
,→ peu lui importe qu’ils soient de la même couleur,
,→ les carrés contigus étant supposés être de couleur différente,
,→ le cerveau fait en sorte qu’on les voit ainsi.
I L’important n’est pas dans ce qui compose le monde qui nous
entoure, mais plutôt la manière dont on le perçoit.
,→ À MEDITER ...

Bases du traitement des images


32 / 102
BIMA Bref historique Acquisition Définitions Applications

Autres perceptions de l’œil

Illusions optiques

Bases du traitement des images


33 / 102
BIMA Bref historique Acquisition Définitions Applications

Autres perceptions de l’œil

Illusion de mouvement

Bases du traitement des images


34 / 102
BIMA Bref historique Acquisition Définitions Applications

Autres perceptions de l’œil

Illusion de Titchener

Bases du traitement des images


35 / 102
BIMA Bref historique Acquisition Définitions Applications

Plan

1 BIMA

2 Bref historique

3 Acquisition

4 Définitions

5 Applications

Bases du traitement des images


36 / 102
BIMA Bref historique Acquisition Définitions Applications

Qu’est-ce qu’une image ?

Vision discète

Bases du traitement des images


37 / 102
BIMA Bref historique Acquisition Définitions Applications

Qu’est-ce qu’une image ?

Vision surfacique

Bases du traitement des images


38 / 102
BIMA Bref historique Acquisition Définitions Applications

Qu’est-ce qu’une image ?

Définitions et notations
I Une image est représentée :
• par fonction continue f (x, y ), x, y ∈ R ;
• par une fonction numérique f (i, j) (ou f (n, m)), i, j ∈ N (n, m ∈ N)
et f ∈ N+ , après numérisation.
I Image analogique → image numérique : numérisation en deux
étapes :
1 échantillonnage spatial : discrétisation des coordonnées de l’image
réelle ;
2 quantification des luminances : discrétisation des intensités de
l’image réelle.
I Une image numérique est composée d’un ensemble fini d’éléments,
appelés picture element, ou pixels (voxels en 3D)

Bases du traitement des images


39 / 102
BIMA Bref historique Acquisition Définitions Applications

Qu’est-ce qu’une image numérique ?

Après échantillonnage spatial : notations


I N le nombre de lignes de l’image ;
I M le nombre de colonnes de l’image ;
I (i, j) les coordonnées spatiales d’un élément de l’image (ligne i,
colonne j) ;
I fj (i), ou encore f (i), la ligne i ;
I fi (j), ou encore f (j), la colonne j.

Bases du traitement des images


40 / 102
BIMA Bref historique Acquisition Définitions Applications

Qu’est-ce qu’une image numérique ?

Après quantification : notations


I f (i, j) l’amplitude en du pixel (i, j) ;
I k (ou f ) un niveau de gris ;
I m le nombre de bits sur lesquels est codée la valeur d’un niveau de
gris ;
I L la dynamique de l’image, soit l’étendue des valeurs qu’un pixel
peut prendre.
,→ L = 2m , donc k ∈ [0, . . . , 2m − 1]

Bases du traitement des images


41 / 102
BIMA Bref historique Acquisition Définitions Applications

Représentation d’une image numérique

I Représentation matricielle :
• Représentation lexicographique de l’image, soit une matrice
f = [0, . . . , N − 1] × [0, . . . , M − 1]
• La largeur de l’image est donnée par la nombre de colonnes M de f ,
sa hauteur par le nombre de lignes N
• Le pixel au croisement de la ligne i et de la colonne j est désigné
par f (i, j)
I Représentation vectorielle :
• Les lignes de l’image sont juxtaposées de manière à former un
vecteur v = [0, . . . , M × N − 1]t
• Le pixel (i, j) correspond à la composante v [iM + j]

Bases du traitement des images


42 / 102
BIMA Bref historique Acquisition Définitions Applications

Voisinage de pixels
Connexité
I Notion fondamentale en traitement
d’images
• Topologie
• Algorithmes de suivi de contours,
croissance de région, ...
• Deux pixels voisins peuvent être agrégés
I Connexité d’ordre 4 : on considère les 4
voisins directs N, S, O et E du pixel
I Connexité d’ordre 8 : on considère les 8
voisins directs N, NE, NO, S, SE, SO, O
et E du pixel
I La connexité peut s’étendre aux voisins
indirects (i.e. pas de la première couronne)
Bases du traitement des images
43 / 102
BIMA Bref historique Acquisition Définitions Applications

L’importance de la numérisation

Une vision subjective


I L’échantillonnage spatial définit la taille du plus petit élément de
l’image (pixel)
I La quantification des luminances définit plus petit changement
d’intensité dans l’image (est-il toujours perceptible à l’œil ?)
I Cela définit la taille (en bits) de l’image : tb = N × M × m

Bases du traitement des images


44 / 102
BIMA Bref historique Acquisition Définitions Applications

Qu’est-ce qu’une image numérique ?


Types d’image
I m = 1, k ∈ {0, 1} : image binaire
I m = 8, k ∈ [0, . . . , 255] : image en niveaux de gris
• en général codée sur 1 octet ;
• par convention : noir = 0 et blanc = 255 (ou 1 si normalisation) ;

I m = 24, k ∈ [0, . . . , 16777215] : image en couleurs (3 octets)

Bases du traitement des images


45 / 102
BIMA Bref historique Acquisition Définitions Applications

Les espaces de couleur


Définition
I Toute couleur peut être représentée comme une combinaison
linéaire de trois primaires c1 , c2 , c3
I Deux types de synthèse : synthèse additive, synthèse soustractive

I Beaucoup d’espaces de couleur : RGB, CMYK (∼ RGB en synthèse


soustractive), HSV, YUV, Lab, CIE ...
Bases du traitement des images
46 / 102
BIMA Bref historique Acquisition Définitions Applications

Espace RGB

I Synthèse additive, 3 couleurs primaires :


rouge, vert et bleu
I Luminance L = 0.3R + 0.59G + 0.11B

I Séparation des plans de couleur & Mélange de plans ⇒ TME 4


Image couleur R G B

R↔B R↔G

Bases du traitement des images


47 / 102
BIMA Bref historique Acquisition Définitions Applications

Espace RGB : limites


Limites

I Toutes les couleurs perceptibles par l’œil ne peuvent


être définies à l’aide des trois composantes r , v et b
I Les composantes y sont souvent fortement corrélées.
I Différence perceptuelle entre deux couleurs ne
coïncide pas avec la distance dans l’espace RVB.

Extensions
I Base où les composantes sont décorrélées, par analyse statistique
(ACP, ACI)
I Espace couleur plus "perceptuels" : HSV, XYZ, YUV, Lab, etc
Bases du traitement des images
48 / 102
BIMA Bref historique Acquisition Définitions Applications

Espace HSV
Définition

I Trois composantes : Hue (teinte),


Saturation, Value (luminance)
I Passage RBG ↔ HSV :

R +G +B
V =
3
(
θ si B ≤ G
H=
2π − θ, sinon
!
(R−G )+(R−B)
θ = arccos q
2 (R−G )2 +(R−B)(G −B)

3min(R, G , B)
S =1−
R +G +B
Bases du traitement des images
49 / 102
BIMA Bref historique Acquisition Définitions Applications

Espace HSV : exemple

I Espace HSV : TME 7 sur les descripteurs visuels


Bases du traitement des images
50 / 102
BIMA Bref historique Acquisition Définitions Applications

Formats d’images numériques

I Données brutes : raw data


I Standards universels : gif, bitmap, tiff, ppm, eps, ...
I Standards médicaux : DICOM
I Standards propriétaires : Philipsr , Siemensr , ...
I Quelques exemples :
• BMP (Bitmap) : matrice de bits codés en couleur (jusqu’à 24
bits/pixel)
• GIF : format compressé avec codage 8 bits/pixel
• JPG (jpeg) : format de compression d’images photographiques

Bases du traitement des images


51 / 102
BIMA Bref historique Acquisition Définitions Applications

Quelques exemples d’images numériques

I Image 2D : objet représenté par un tableau bidimensionnel de


surfaces élémentaires (pixels)
I Séquence vidéo (2D) : scène dynamique présentant des objets 2D en
mouvement
,→ juxtaposition d’images 2D, où le temps peut être vu comme une
troisième dimension (de nature différente)
I Image volumique : objet représenté par un tableau tridimensionnel
de volumes élémentaires (voxels)
,→ pile d’images 2D (ex. des coupes scanners)
I Séquences volumiques : scène dynamique présentant des objets 3D
en mouvement

Bases du traitement des images


52 / 102
BIMA Bref historique Acquisition Définitions Applications

Qualité d’une image

I Lignage : phénomène d’alternance de lignes claires (ou sombres) de


même direction et qui tranchent avec le reste de l’image
I Contraste : qualité de la dynamique des intensités de l’image
I Bruit : signal “parasite” dont la distribution dans l’image est
aléatoire et la plupart du temps inconnue
I Déformations géométriques : défauts dus à l’acquisition de l’image
(ex. différence d’axe entre le capteur d’acquisition et le centre de la
scène observée)
I Dégradations connues (ex. dus à la réponse impulsionnelle du
détecteur)

Bases du traitement des images


53 / 102
BIMA Bref historique Acquisition Définitions Applications

Contenu d’une image

I Texture : répartition statistique ou


géométrique des intensités dans l’image
I Contour : limite entre deux (ou un groupe
de) pixels dont la différence de niveaux de
gris (ou de couleurs) est significative
I Région : groupe de pixels présentant des
caractéristiques similaires (intensité,
mouvement, etc.)
I Objet : région (groupe de régions)
entièrement délimitée par un contour,
possédant une indépendance dans l’image
,→ description sémantique : on peut
donner un nom à un objet

Bases du traitement des images


54 / 102
BIMA Bref historique Acquisition Définitions Applications

Propriétés de l’image

Brillance
I Moyenne des niveaux de gris de l’image, ou intensité moyenne
N−1 M−1
1 XX
B= f (i, j)
NM
i=0 j=0

Bases du traitement des images


55 / 102
BIMA Bref historique Acquisition Définitions Applications

Propriétés de l’image
Contraste
I Définition 1 : variation maximale entre valeurs de niveaux de gris
min et max dans l’image :

maxi,j [f (i, j)] − mini,j [f (i, j)]


C=
maxi,j [f (i, j)] + mini,j [f (i, j)]

I Définition 2 : écart-type des variations de niveaux de gris dans


l’image : v
u 1 N−1 X M−1
u
X
C =t (f (i, j) − B)2
NM
i=0 j=0

Attention, l’écart type traduit une moyenne de variation, ce qui est


un peu différent
I Deux images totalement différentes peuvent avoir le même contraste
Bases du traitement des images
56 / 102
BIMA Bref historique Acquisition Définitions Applications

Exemples de calcul de contraste

Bases du traitement des images


57 / 102
BIMA Bref historique Acquisition Définitions Applications

Histogramme

Définition
I Fonction décrivant la répartition des niveaux de gris de l’image
I Fournit des informations propres à l’image, telles que :
• La distribution statistique des niveaux de gris
• Les bornes de répartition des niveaux de gris
I Mais aucune information spatiale !
I À chaque image f de taille N × M , on peut associer une
distribution H des valeurs contenues dans cette image par :

H(k) = Card{0 ≤ i ≤ N − 1, 0 ≤ j ≤ M − 1 : f (i, j) = k} = nk

Bases du traitement des images


58 / 102
BIMA Bref historique Acquisition Définitions Applications

Quelques exemples d’histogrammes

Bases du traitement des images


59 / 102
BIMA Bref historique Acquisition Définitions Applications

Remarque sur l’histogramme


Il ne code pas d’information spatiale

I Deux images différentes (en termes de contenu sémantique) peuvent


aussi avoir le même histogramme
Bases du traitement des images
60 / 102
BIMA Bref historique Acquisition Définitions Applications

Histogramme normalisé

Définition
I Fonction Hn donnant la probabilité (en termes de fréquence
d’occurrence) qu’un pixel ait pour niveau de gris k

H(k)
Hn (k) =
N ×M
où N et M sont respectivement le nombre de colonnes et de lignes
de l’image
I Les valeurs de H sont normalisées
I Approximation discrète de la densité de probabilité (pdf) de la
variable aléatoire "niveau de gris d’un pixel"

Bases du traitement des images


61 / 102
BIMA Bref historique Acquisition Définitions Applications

Histogramme cumulé
Définition
I L’histogramme cumulé est donné par :
X
Hc (k) = H(i)
i≤k

où H(.) est l’histogramme


I L’histogramme cumulé normalisé est donné par :
X
Hc (k) = Hn (i)
i≤k

où Hn (.) est l’histogramme normalisé


I Hc (k) représente la probabilité d’avoir un niveau de gris inférieur ou
égal à k : approximation discrète de la fonction de répartition de la
variable aléatoire "niveau de gris d’un pixel"
Bases du traitement des images
62 / 102
BIMA Bref historique Acquisition Définitions Applications

Histogramme cumulé

Bases du traitement des images


63 / 102
BIMA Bref historique Acquisition Définitions Applications

Plan

1 BIMA

2 Bref historique

3 Acquisition

4 Définitions

5 Applications

Bases du traitement des images


64 / 102
BIMA Bref historique Acquisition Définitions Applications

Champs d’application

⇒ des milliers d’applications potentielles


Bases du traitement des images
65 / 102
BIMA Bref historique Acquisition Définitions Applications

Traitements : classification et étapes


fondamentales

I Traitement bas niveau


• Entrée : image
• Sortie : image
I Traitement moyen niveau
• Entrée : image ou représentation préalable
• Sortie : nouvelle représentation
I Traitement haut niveau
• Entrée : image ou représentation préalable
• Sortie : sémantique de l’image (abstraction)

Bases du traitement des images


66 / 102
BIMA Bref historique Acquisition Définitions Applications

Exemples de traitements bas niveau des


images

Bases du traitement des images


67 / 102
BIMA Bref historique Acquisition Définitions Applications

Exemples de traitements bas niveau des


images
I Amélioration d’images : amélioration de l’aspect des images
,→ restauration (TME 1), débruitage, filtrage (TME 4)
I Analyse fréquentielle : changement d’espace de représentation
,→ Transformée de Fourier (TME 2)
I Acquisition d’images : disposer d’une image sous forme numérique
,→ échantillonnage, quantification (TME 3)
I Compression d’images : réduction de la quantité d’informations
nécessaires pour représenter une image
,→ codage, transmission (TME 4)
I Segmentation d’images : division de l’image en parties, ou zones
caractéristiques
,→ détection de contours (TME 5), partitionnement split & merge
(TME 10)
Bases du traitement des images
68 / 102
BIMA Bref historique Acquisition Définitions Applications

Exemples de traitements moyen et haut


niveau des images

I Représentation et description d’images : transformation de l’image


en un ensemble de “concepts” utilisables par l’ordinateur pour des
algorithmes plus évolués
,→ détection de caractéristiques, e.g. Harris (TME 6), modèles
(graphes, ...)
I Indexation d’images : tri d’images selon un ensemble de descripteurs
,→ fouille dans les bases d’images (TME 7)
I Reconnaissance : association d’une étiquette à un objet à partir de
ses descripteurs
,→ Reconnaissance de visages (TME 8-9)

Bases du traitement des images


69 / 102
BIMA Bref historique Acquisition Définitions Applications

Un premier exemple : les prévisions


météorologiques

Traitement bas niveau : extraction de vecteurs de mouvement

Bases du traitement des images


70 / 102
BIMA Bref historique Acquisition Définitions Applications

Un premier exemple : les prévisions


météorologiques

Traitement moyen niveau : vecteurs de mouvement ⇒ carte des


pressions
Bases du traitement des images
71 / 102
BIMA Bref historique Acquisition Définitions Applications

Un premier exemple : les prévisions


météorologiques

Traitement moyen niveau : vecteurs de mouvement ⇒ carte des


pressions
Bases du traitement des images
72 / 102
BIMA Bref historique Acquisition Définitions Applications

Un premier exemple : les prévisions


météorologiques

Traitement haut niveau : carte des pressions ⇒ prévision


météorologiques
Bases du traitement des images
73 / 102
BIMA Bref historique Acquisition Définitions Applications

Un deuxième exemple : "compréhension


d’images"

I Compréhension : très vaste


• Classification
• Détection
• Segmentation
• Combinaison (contexte) :
Classification + Détection +
Segmentation
I Méthodes de traitement image/
vision couplées avec des outils
d’apprentissage statistique (par
l’exemple)

Bases du traitement des images


74 / 102
BIMA Bref historique Acquisition Définitions Applications

Classification images
Classification : quelle(s) catégorie(s) sémantique(s) dans l’image ?
Cas simples : ∼ résolu
I Objets géométriques "simples", centrés dans l’image & segmentés
I Base d’apprentissage annotée, extraction descripteurs ⇒ prédiction
de la classe

MNIST Formes Binaires


Bases du traitement des images
75 / 102
BIMA Bref historique Acquisition Définitions Applications

Classification images

Classification : quelle(s) catégorie(s) sémantique(s) présente(s)


dans l’image ?
Cas plus compliqués
I Plusieurs objets / image, plusieurs catégories / images
I Images réelles (photos), flickr ⇒ des difficultés importantes

PASCAL VOC

Bases du traitement des images


76 / 102
BIMA Bref historique Acquisition Définitions Applications

Classification images
Classification : quelle(s) catégorie(s) sémantique(s) présente(s)
dans l’image ?
Cas plus compliqués : principaux challenges
1 Variations : illumination, échelle, rotation, point de vue
2 Occultations, fond ("background clutter")
3 Variations intra-classe d’apparence visuelle

Bases du traitement des images


PASCAL VOC : cas difficiles 77 / 102
BIMA Bref historique Acquisition Définitions Applications

Classification images

Challenges

Variations Illumination Variations point de vue

Bases du traitement des images


78 / 102
BIMA Bref historique Acquisition Définitions Applications

Classification images
Challenges

Variations échelle Occultations


Bases du traitement des images
79 / 102
BIMA Bref historique Acquisition Définitions Applications

Classification images

Challenges

Objets Déformables Background clutter

Bases du traitement des images


80 / 102
BIMA Bref historique Acquisition Définitions Applications

Classification images

Challenges : fortes variations d’apparence visuelle intra-classe

Bases du traitement des images


81 / 102
BIMA Bref historique Acquisition Définitions Applications

Classification images
Recherche sémantique
I Descripteurs image : bas niveau (couleur, texture, forme, gradient)
I Concepts à prédire : haut niveau (objets, scènes, concepts abstraits)
I Principal défi : Combler le fossé sémantique

Recherche basée couleur :

Requête :

Bases du traitement des images


82 / 102
BIMA Bref historique Acquisition Définitions Applications

Classification images

Recherche sémantique
I Retrouver des concepts abstraits, e.g. émotions, liberté, etc

I Joie, amour, haine,


etc
I Fossé sémantique
extrême

Bases du traitement des images


83 / 102
BIMA Bref historique Acquisition Définitions Applications

Classification images
Recherche sémantique
I Des résultats récents : compétition ImageNet, conférence ECCV,
octobre2012
• Tâche de classification très large échelle : 1000 classes, 1 million
images entrainement
• Prédire la bonne classe : complexe

Bases du traitement des images


84 / 102
BIMA Bref historique Acquisition Définitions Applications

Classification images
Recherche sémantique
I Des résultats récents : compétition ImageNet, conférence ECCV,
octobre2012
• Réseaux de neurones convolutifs
• Gain très important par rapport aux méthodes traditionnelles
• Intérêt : combler le fossé sémantique en apprennant les
représentations internes à partir des données

Bases du traitement des images


85 / 102
BIMA Bref historique Acquisition Définitions Applications

Détection objets

Classification vs détection : où se situent les objets des catégorie(s)


sémantique(s) présente(s) dans l’image ?
Principe : fenêtre glissante

Bases du traitement des images


86 / 102
BIMA Bref historique Acquisition Définitions Applications

Détection objets
Détection visages : succès
I Dans la plupart des appareils photo

Bases du traitement des images


87 / 102
BIMA Bref historique Acquisition Définitions Applications

Détection objets

Autres exemple : détection de texte


I Détecter les zones de texte dans une image
I Contexte urbain
I De nombreuses applications pratiques

Bases du traitement des images


88 / 102
BIMA Bref historique Acquisition Définitions Applications

Détection objets
Autres exemple : détection de texte

I Couplé avec un OCR : outil


de recherche sémantique
I Coupler les infos visuelles
avec d’autres sources :
geo-localisation, etc
I Applications téléphones
mobiles

Bases du traitement des images


89 / 102
BIMA Bref historique Acquisition Définitions Applications

Segmentation objets/régions

Autres exemple : segmentation


Classification vs détection vs segmentation : quels sont les pixels où
se situent les objets des catégorie(s) sémantique(s) présente(s) dans
l’image ?

Bases du traitement des images


90 / 102
BIMA Bref historique Acquisition Définitions Applications

Compréhension d’images
Le saint Graal
I Coupler classification globale, détection et segmentation
I Contexte : Détection/segmentation objet/région renforce -
détection autre objet/région

Bases du traitement des images


91 / 102
BIMA Bref historique Acquisition Définitions Applications

Dernier exemple : conformité des photos


d’identité

I Connecté au problème de reconnaissance de visage


I Détection visage : identifier les zones de l’image de la classe "visage"
I Reconnaissance de visage : identifier une instance particulière de la
classe "visage"
I Problème très difficile dans le cas général

Bases du traitement des images


92 / 102
BIMA Bref historique Acquisition Définitions Applications

Dernier exemple : conformité des photos


d’identité

I La norme ISO/IEC (2005)

Bases du traitement des images


93 / 102
BIMA Bref historique Acquisition Définitions Applications

Dernier exemple : conformité des photos


d’identité
I Beaucoup de problèmes en un à résoudre !

Bases du traitement des images


94 / 102
BIMA Bref historique Acquisition Définitions Applications

Dernier exemple : conformité des photos


d’identité

I Détection du visage et seuillage de la peau

Bases du traitement des images


95 / 102
BIMA Bref historique Acquisition Définitions Applications

Dernier exemple : conformité des photos


d’identité
I Seuillage de la peau

Bases du traitement des images


96 / 102
BIMA Bref historique Acquisition Définitions Applications

Dernier exemple : conformité des photos


d’identité
I Détection des traits caractéristiques (yeux, bouche, ...)

Bases du traitement des images


97 / 102
BIMA Bref historique Acquisition Définitions Applications

Dernier exemple : conformité des photos


d’identité
I Détection des traits caractéristiques (yeux, bouche, ...) : si simple ?

Bases du traitement des images


98 / 102
BIMA Bref historique Acquisition Définitions Applications

Dernier exemple : conformité des photos


d’identité

I Détection des traits caractéristiques (yeux, bouche, ...) : beaucoup


d’algorithmes ! !

Bases du traitement des images


99 / 102
BIMA Bref historique Acquisition Définitions Applications

Dernier exemple : conformité des photos


d’identité
I Travail sur le visage : représentations multiples

Bases du traitement des images


100 / 102
BIMA Bref historique Acquisition Définitions Applications

Dernier exemple : conformité des photos


d’identité

I Travail sur le visage : orientation du visage

Bases du traitement des images


101 / 102
BIMA Bref historique Acquisition Définitions Applications

Dernier exemple : conformité des photos


d’identité

I Et le fond ?

Bases du traitement des images


102 / 102

Vous aimerez peut-être aussi