BDM2

Bases de données multimédia / Les descripteurs d'images (1) 07/06/2006
Bases de données multimédia

Séance 2 : Les descripteurs d’images (1)
Valérie Gouet-Brunet
valerie.gouet@cnam.fr
7 Juin 2006
Plan de la séance
| Rappels, définitions et propriétés
| Descripteurs génériques
z Description globale de l’image
z Description locale de l’image

• Segmentation en régions
• Points d’intérêt
| Descripteurs spécifiques
z Visages
z Empreintes digitales
Bases de données multimédia / Les descripteurs d'images (1) 2
CNAM / Valérie Gouet-Brunet

Définitions
| Indexer une image par son contenu visuel

z Opération qui consiste à extraire automatiquement d’une
image des descripteurs significatifs et compacts qui seront
utilisés et comparés au moment de la recherche ou de la
structuration.
z Prise en compte directe du contenu visuel

… mais manifestation fréquente du gap sémantique
Définitions
| Descripteur d’image
z Méthode d’extraction du contenu visuel de l’image (pertinent pour
l’application)
• Exple : histogramme couleur
z Mesure de similarité associée
• Exple : intersection d’histogrammes
| Signature d’image
z Vecteur numérique représentant le contenu visuel de l’image
• Exple : 1 vecteur de dimension 216 pour l’histogramme couleur
| Espace de description (de représentation) des images

z 1 image = 1 ou plusieurs points dans un espace multimensionnel
| Espace de recherche dans la base d’images

z Structurer l’espace de description pour une recherche efficace (index)

Définitions
| Qu’est ce qu’un index ?
Analyse Recherche d’images Bases de

d’images par contenu visuel données
z En bases de données : l’index est une structure (généralement

multimensionnelle) permettant de structurer la base pour un
accès efficace aux données
• « Indexer une base d’images »
z En image : l’index d’une image, c’est son descripteur

• « Indexer une image »
Propriétés
| Deux contraintes fondamentales

1. L’invariance de la description
• Translation, rotation image
• Changement de point de vue
• Changement d’échelle
• Changement d’illumination (interne, externe)
• Occultations
• Arrière-plans différents
• Caméras différentes (grand angulaire, etc)
• Images de mauvaise qualité (processus d’acquisition non maîtrisé, codage JPEG, etc)
¾ Identifier les contraintes liées à l’application

9 Exple : forts changement d’échelle ? D’illumination ?
¾ Déterminer un ensemble de grandeurs invariantes (au moins

robustes) ou une mesure de similarité adaptés
9 Attention : les descripteurs les plus invariants sont les moins discriminants !

Propriétés
| Deux contraintes fondamentales (suite)

2. La dimension de la description
9 Dimension de la signature d’image / Nombre de signatures par image
• Exple 1 : 500 000 images décrites par un histogramme couleur décrit

par un vecteur de dimension 216 => recherche dans un espace de
dimension 216 contenant 500 000 points.
• Exple 2 : 500 000 images décrites par 20 régions décrites par un
vecteur de dimension 40 => recherche dans un espace de dimension
40 contenant 10 millions (500 000×20) de points.
¾ Déterminer le plus petit ensemble de grandeurs invariantes

9 Problématique du passage à l’échelle (bien connu en bases de
données)
Définitions
| Deux catégories de bases d’images
z Les bases génériques

• Contenu hétérogène (bases grand public, Internet, archives
généralistes)
• En général sans vérité-terrain naturelle
z Les bases spécifiques

• Spécifiques à un domaine d’application (souvent biométrie)
• Contenu homogène (visages, empreintes digitales, monnaies…)
• En général avec vérité-terrain naturelle

Définitions
Exemples de bases spécifiques
Indexation par le contenu : méthodologie
| Traitement « off-line »
| Choix d’un espace de représentation

z Choix des descripteurs de l’image dans cet espace
• Ex : histogramme couleur de l’image
z Représentation compacte (- de données, + de sémantique)

Indexation par le contenu : méthodologie
| Construction de l’index
z Stockage efficace des descripteurs en machine
z Structurer le nuage de points dans l’espace de description,
pour réduire ultérieurement le coût de la requête
z Compromis entre :
• Stockage (mémoires principale et secondaire)
• Recherche (temps de réponse)
¾ Index multidimensionnels
z B-tree, Kd-tree, R-tree, X-tree, VA-files, tables de hachage…
Typologie des descripteurs d’images
| 3 classes de descripteurs
z Description globale de l’image
• Description approximative de toute l’image (recherche d’une ambiance)
• Solutions :
• Couleur, Texture , Forme
• 1 point dans un espace de description de grande dimension
z Description locale de l’image

• Description précise des parties de l’image (recherche précise)
• Solutions :
• Modèles pour la reconnaissance d’objets
• Génériques (sans modèle) : segmentation en régions, détection de points d’intérêt
• Plusieurs points dans un espace de description de dimension modérée
z Descripteurs spécifiques (essentiellement biométrie)

• Empreintes digitales : minuties
• Visages : EigenFaces, …

Description globale de l’image
Signature de couleur Signature de texture Signature de forme
Histogramme,... Fourier, ondelettes ... Moments, EOH, ...
A combiner pour une description plus riche
Les signatures de couleur
| Modélisation de la distribution des couleurs

z Couleur moyenne
z Histogramme des couleurs
z Moments
z …
| Choix d’un espace de représentation des couleurs


Espaces colorimétriques
| Espaces colorimétriques
• RVB, CMY, HSV, Lab, Luv, …
Cube de Maxwel

| Espaces colorimétriques (suite)

• RVB, CMY, HSV, Lab, Luv, …


| Uniformité perceptuelle des espaces colorimétriques

z Cas de l’espace CIE XYZ (standard 1931)
Ellipses de MacAdam (1942) :

http://www.prenhall.com/gonzalezwoods différences juste perceptibles

| Espace Lab
z Transformation non linéaire de XYZ
• Espace plus uniforme
• Deux couleurs proches en distance le sont aussi pour l’œil
Y 1
L * = 116 ( ) 3 − 16
Yn
⎡ X 1 Y 1 ⎤
a *
= 500 ⎢( ) 3 − ( ) 3
⎥
⎣ X n Yn ⎦
⎡ Y 1 Z 1 ⎤
b *
= 200 ⎢( ) 3 − ( ) 3
⎥
⎣ Yn Z n ⎦


Les histogrammes
| Une signature couleur : l’histogramme couleur

z Échantillonnage des couleurs de l’image
• Ex : image codée sur 24 bits échantillonnée en 216 couleurs (= 6×6×6)
z Calcul de l’histogramme pour chaque couleur :
h(c)
M −1 N −1
∑∑ δ ( f (i, j ) − c)
~ 1
∀c ∈ C h (c ) =
MN
i =0 j =0
c

Les histogrammes
| Les mesures de similarité en général

z Distance de Minkowski
d (i, j) = q (| x − x | + | x − x | +...+ | x − x | )
q q q
i1 j1 i2 j 2 id jd
• q=1 : distance de Manhattan (L1)
• q=2 : distance euclidienne (L2)
• q=∞ : distance max (L∞) d(x,y) = max i=1,d |xi-yi|
. . .
. .. . euclidienne pondérée
euclidienne . ... . max . .
. . . . . .... . . . . .
.
manhattan . . ... . .
. . . . quadratique
.


Les histogrammes
| Mesures de similarité entre histogrammes couleur

z Intersection d’histogrammes
∑ min( h ci
, m ci )
I (H , M ) = i
∑mi
ci
z Distances
• L1
• L2 généralisée d L2 ( H , M ) = ( H − M ) A( H − M )T
• L∞
d L∞ ( H , M ) = max hci − mci

i

Les histogrammes
Bases de donnéeshttp://www-rocq.inria.fr/imedia
multimédia / Les descripteurs d'images (1) 22


Les histogrammes
| Avantages des histogrammes

z Robuste à certaines transformations géométriques de l’image
| Limitations
Contenu visuel différent
Histogrammes similaires

Les histogrammes
| Une amélioration : les histogrammes pondérés

z Principe : tenir compte de la répartition spatiale des couleurs, tout
en gardant une signature de même taille
z Formulation M −1 N −1
∑∑ w(i, j)δ ( f (i, j ) − c)

~ 1
∀c ∈ C h (c ) =
MN
i =0 j =0
z Choix du critère de pondération w(i,j)

• Force locale des contours : gradient
w(i, j ) = (k + ∇(i, j ) )α
• α < 0 et k > 0 (régions uniformes)
• α > 0 et k > 0 (contours)
• Probabilités
• …


Les histogrammes
Signature
couleur
classique
Requête
Signature
intégrant la
répartition
spatiale de
la couleur
http://www-rocq.inria.fr/imedia

Les histogrammes
| Les histogrammes accumulatifs
Signature
histogramme
couleur
Signature
histogramme
accumulatif

Les signatures de texture

La transformée de Fourier
| Distribution spectrale d’énergie

z Transformée de Fourier
• Formulation
∫∫ I ( x, y)e
−i (ux + vy )
F (u , v) = dxdy
• Invariance
• Phase invariante à la luminosité, stable jusqu’à un changement d’échelle de 20%
• Amplitude invariante à la translation
• Variantes
• Transformée de Fourier circulaire (amplitude invariante à la rotation)
• Transformée de Mellin (amplitude invariante au changement d’échelle)
z Ondelettes

Les signatures de forme

EOH
| EOH : Edge Orientation Histogram

z Principe
• Extraction des contours de l’image
• Histogramme de l’angle des gradients sur les contours
z Invariance aux changements d’illumination affines

Les signatures de forme

EOH
Orientation
Contours du gradient

Description locale de l’image
| Objectif
z Recherche de zones ou d’objets similaires
z Requêtes dites partielles
Je cherche des images contenant des tournesols comme celui-ci
| Solutions
z Description par le contenu de zones de l’image
z Ajout de relations spatiales
• Ex : Je cherche des images avec du ciel en haut et de l’herbe en bas
| Comment choisir les zones à décrire ?

z Subdivision systématique
• Partitionnement automatique de l’image indépendante de son contenu
z Subdivision adaptative
• Partitionnement automatique de l’image en fonction de son contenu

| Subdivision systématique
| Subdivision adaptative
Extraction de
Segmentation en régions points d’intérêt
Requête à base de régions Requête à base de points
⎛ −⎞
⎜ ⎟
⎜ −⎟ ⎛ −⎞
R=⎜ ⎟ ⎜ ⎟
M ⎜ −⎟
⎜ ⎟ p=⎜ ⎟
⎜ −⎟ M
⎝ ⎠ ⎜ ⎟
⎜ −⎟
⎝ ⎠

| Description de l’image par un ensemble de régions
z Principe
• Segmenter grossièrement l’image en régions
• Caractériser finement chaque région
z Objectif
• Extraction de zones saillantes exhibant les structures dominantes de
l’image
z Usage
• Les zones obtenues sont proposées comme requêtes à l’utilisateur

Segmentation en régions
| Description de l’image par un ensemble de régions

z Segmentation de l’image en régions
1. Regroupement des données dans l’espace des couleurs (Luv, Lab)
• Algorithmes de clustering supervisés/non supervisés
2. Retro-projection dans l’image f2

C2
C1
C
3. Calcul des ensembles maximaux 3
de pixels connexes
C5 C4
z Description de chaque région f1

• Caractérisation de la distribution des couleurs (couleurs dominantes,
couleur moyenne, etc)
• Surface
• …


Images originales
Images segmentées
Couleurs dominantes
Bases de données multimédia / Les descripteurshttp://www-rocq.inria.fr/imedia

d'images (1) 39

Zone
sélectionnée
(cliquée)
comme
requête



Zone
sélectionnée
(cliquée)
comme
requête

| Application à la recherche par image mentale

z Construction d’un représentant de l’image mentale (la
requête) par composition de prototypes de régions
(thésaurus de régions)
| Exemple : recherche d’un paysage urbain
Formulation de la requête
Catégorie « régions à dominante verte »

Composition logique correspondante


| Application à la recherche par image mentale (suite)
Résultat de la requête
Exemples d’images
rejetées
Bases de données multimédia / Les descripteurs d'images (1) http://www-rocq.inria.fr/imedia 43

Langue

BDM2

Transféré par

Informations du document

Copyright

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

BDM2

Transféré par

Droits d'auteur :

Bases de données multimédia / Les descripteurs d'images (1) 07/06/2006

Bases de données multimédia

| Rappels, définitions et propriétés

z Description globale de l’image

z Description locale de l’image

Bases de données multimédia / Les descripteurs d'images (1) 2

CNAM / Valérie Gouet-Brunet

| Indexer une image par son contenu visuel

z Prise en compte directe du contenu visuel

Bases de données multimédia / Les descripteurs d'images (1) 3

| Espace de description (de représentation) des images

| Espace de recherche dans la base d’images

Bases de données multimédia / Les descripteurs d'images (1) 4

CNAM / Valérie Gouet-Brunet

| Qu’est ce qu’un index ?

Analyse Recherche d’images Bases de

z En bases de données : l’index est une structure (généralement

z En image : l’index d’une image, c’est son descripteur

Bases de données multimédia / Les descripteurs d'images (1) 5

| Deux contraintes fondamentales

¾ Identifier les contraintes liées à l’application

¾ Déterminer un ensemble de grandeurs invariantes (au moins

Bases de données multimédia / Les descripteurs d'images (1) 6

CNAM / Valérie Gouet-Brunet

| Deux contraintes fondamentales (suite)

9 Dimension de la signature d’image / Nombre de signatures par image

• Exple 1 : 500 000 images décrites par un histogramme couleur décrit

¾ Déterminer le plus petit ensemble de grandeurs invariantes

Bases de données multimédia / Les descripteurs d'images (1) 7

| Deux catégories de bases d’images

z Les bases génériques

z Les bases spécifiques

Bases de données multimédia / Les descripteurs d'images (1) 8

CNAM / Valérie Gouet-Brunet

Exemples de bases spécifiques

Bases de données multimédia / Les descripteurs d'images (1) 9

Indexation par le contenu : méthodologie

| Choix d’un espace de représentation

z Représentation compacte (- de données, + de sémantique)

Bases de données multimédia / Les descripteurs d'images (1) 10

CNAM / Valérie Gouet-Brunet

Indexation par le contenu : méthodologie

Bases de données multimédia / Les descripteurs d'images (1) 11

Typologie des descripteurs d’images

z Description locale de l’image

z Descripteurs spécifiques (essentiellement biométrie)

Bases de données multimédia / Les descripteurs d'images (1) 12

CNAM / Valérie Gouet-Brunet

Description globale de l’image

Signature de couleur Signature de texture Signature de forme

Histogramme,... Fourier, ondelettes ... Moments, EOH, ...

A combiner pour une description plus riche

Bases de données multimédia / Les descripteurs d'images (1) 13

Les signatures de couleur

| Modélisation de la distribution des couleurs

| Choix d’un espace de représentation des couleurs

Bases de données multimédia / Les descripteurs d'images (1) 14

CNAM / Valérie Gouet-Brunet

Les signatures de couleur

Les signatures de couleur

| Espaces colorimétriques (suite)

Bases de données multimédia / Les descripteurs d'images (1) 16

CNAM / Valérie Gouet-Brunet

Les signatures de couleur

| Uniformité perceptuelle des espaces colorimétriques

Ellipses de MacAdam (1942) :