Plan

Indexation par le contenu Introduction

de documents Audio-Vidéo
Indexation d’images par la couleur
Média Image
Indexation d’images par la texture
M2 SID
Julien Pinquier, pinquier@irit.fr Indexation d’images par la forme

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier

2

Plan Introduction : objectifs et besoins

Introduction Quantité de vidéos disponibles chaque jour : un problème !

Objectifs et besoins
Etat de l’art sur le texte, l’audio, l’image et la vidéo
Mesures de performances

Indexation d’images par la couleur

Indexation d’images par la texture

Indexation d’images par la forme

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
3 4

Introduction : objectifs et besoins Introduction : objectifs et besoins

Quantité de vidéos disponibles chaque jour : une solution ! Demande grand public encore plus importante et variée

Solutions d’indexation automatique pour :

réduire les coûts d’indexation
harmoniser des descriptions dans une base
améliorer la consistance
proposer de nouvelles formes d’accès
proposer de nouveaux services sur les réseaux

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
5 6

1
Introduction : objectifs et besoins Introduction : objectifs et besoins

MAIS Description des informations de contenu

Quelles unités ? Décomposition ? Agrégation ?
Eléments « homogènes »
ou modèles « composites » prédéfinis Approche normative
Quels systèmes d’accès ? Ecole du texte
Forme de la requête, interfaces, diffusion...
Objectif des normes :
Expertise dans de nombreux domaines

Données non-textuelles
MPEG-1 :
MPEG-2 :
MPEG-4 :
MPEG-7 :

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
7 8

Introduction : objectifs et besoins Plan

Attention, la norme ne garantit pas : Introduction

Objectifs et besoins
Etat de l’art sur le texte, l’audio, l’image et la vidéo
Mesures de performances
Problèmes
Concilier les impératifs des algorithmes d'extraction, des Indexation d’images par la couleur
algorithmes d'encodage et des algorithmes exploitant les données
dans les applications
Assurer des traitements offrant des garanties : Indexation d’images par la texture
Qualité
Rapidité Indexation d’images par la forme
Adaptabilité

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
9 10

Introduction : état de l’art TEXTE Introduction : état de l’art TEXTE

Stemming (racinisation) Analyse syntaxique

Réduction de l'ensemble des mots d'un texte à un index de mots de Par automates d'états finis et appariement de chaque phrase sur
forme morphologiquement invariante l'automate

Analyse probabiliste
Elimination des faibles ou fortes fréquences
Algorithme de Porter
Concepts similaires sous un même terme

Thesaurus

Production automatique d'un index

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
11 12

2
Introduction : état de l’art AUDIO Introduction : état de l’art IMAGE

Parole : voir l’autre partie du cours ! Points d'intérêts

Musique

Caractéristiques de la scène photographiée

Caractéristiques techniques des appareils d'acquisition, de transfert et
de restitution
Caractéristiques techniques des supports intermédiaires

Modèle du signal des images

Modèle de la perception des images
Bruit
Espaces de couleur
Couleurs dominantes
Couleur d’une région
Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
13 14

Introduction : état de l’art IMAGE Introduction : état de l’art VIDEO

Segmentation spatiale Texte

en régions

en objets
Indexation du mouvement
Trace des objets dans le temps
Mouvements de caméra
Modèle projectif de la scène filmée
Caractérisation du mouvement global

Segmentation en objets
Entrée / sortie de personnages

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
15 16

Introduction : état de l’art VIDEO Plan

Changements plans Introduction

Objectifs et besoins
Etat de l’art sur le texte, l’audio, l’image et la vidéo
Mesures de performances
Macrosegmentation
Microsegmentation Indexation d’images par la couleur

Indexation automatique de la vidéo Indexation d’images par la texture

Indexation d’images par la forme

Connaissances extérieures

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
17 18

3
Introduction : mesures de performances Plan

Introduction
Rappel :
Indexation d’images par la couleur
Image numérique
Codage
Quantification
Précision :
Distances et mesures de similarité

Indexation d’images par la texture

F-mesure : Indexation d’images par la forme

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
19 20

Indexation d’images par la couleur : image Indexation d’images par la couleur : image

Image en niveaux de gris Echantillonnage : discrétisation spatiale d'une image

R(x,y)

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
21 22

Indexation d’images par la couleur : image Indexation d’images par la couleur : image

Echantillonnage Quantification

8 bits 4 bits 3 bits

256x256
128x128
64x64
32x32
2 bits 1 bit
Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
23 24

4
Indexation d’images par la couleur : image Indexation d’images par la couleur : image

Image en couleur RGB Image : couleur RGB niveaux de gris

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
25 26

Plan Indexation d’images par la couleur : codage

Introduction Espace de couleur

Lié à l’affichage :
Indexation d’images par la couleur
Image numérique
Codage
Quantification
Lié à la perception :
Distances et mesures de similarité

Lié à l’éclairage : CIE xyz / D65

Indexation d’images par la texture
Lié à l’encodage analogique :
Indexation d’images par la forme

etc.
Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
27 28

Indexation d’images par la couleur : codage Indexation d’images par la couleur : codage

Perception : La Commission Internationale de l’Eclairage (CIE), suite à

des tests perceptifs, a proposé 3 longueurs d’ondes primaires

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
29 30

5
Indexation d’images par la couleur : codage Indexation d’images par la couleur : codage

RGB : par composition , il est possible de HLS (Hue, Luminance, Saturation)

produire toute la palette des couleurs perceptibles
Lié à la perception

H : teinte

L : luminance

S : saturation
CMYK (Cyan, Magenta, Yellow, blacK)

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
31 32

Indexation d’images par la couleur : codage Indexation d’images par la couleur : codage

Conversion RGB/HLS Conversion RGB/YUV (JPEG)

YUV : espace de représentation analogique de la couleur
Intensité (physique) :

Luminance (analogique) :

Conversion :
Conversion RGB/YCbCr (MPEG)
YCbCr : comme YUV, codage en luminance/chrominance

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
33 34

Plan Indexation d’images par la couleur : quantification

Introduction But : réduire le nombre de couleurs présentes dans une image à

un sous-ensemble de couleurs possibles clairement identifiées
Indexation d’images par la couleur
Image numérique Applications
Codage
Quantification
Distances et mesures de similarité

Indexation d’images par la texture

Evaluation de sa qualité

Indexation d’images par la forme

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
35 36

6
Indexation d’images par la couleur : quantification Indexation d’images par la couleur : quantification

Méthode : LUT (Look Up Table) Quantification par sous-échantillonnage

Tableau qui associe un index (un numéro d'ordre) à une couleur Construire des LUT a priori
donnée index R G B

0 0 0 0
Exemple : 1 1 0 0
2 0 1 0
3 1 1 1

Exemple : image RGB avec une intensité sur 8 bits

Utilisation : la couleur d'un pixel est remplacée par la couleur la

plus proche dans la LUT

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
37 38

Indexation d’images par la couleur : quantification Indexation d’images par la couleur : quantification

Quantification par sous-échantillonnage : exemple Histogramme de Thomas

Principe

Avantages
Structure de données peu couteuse en mémoire
Accès rapide au nombre de pixels d'une couleur donnée
Histogramme plus compact et donc plus manipulable

Inconvénients
Perte d’information
Espace de couleurs pas forcément adapté aux caractéristiques de l'image

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
39 40

Indexation d’images par la couleur : quantification Indexation d’images par la couleur : quantification

Quantification par popularité Quantification ascendante

Quantifier l'espace de couleurs en fonction des couleurs les plus Algorithme

« représentatives » de l'image (et non pas de façon arbitraire)

Principe

Inconvénient : les N couleurs les plus fréquentes ne sont pas

nécessairement représentatives du contenu visuel d'une image

Solution palliative : effectuer une partition régulière de l'espace de

couleur (en M parties) ou de l'image, puis d'extraire sur chaque
parties les N/M couleurs les plus fréquentes
Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
41 42

7
Indexation d’images par la couleur : quantification Indexation d’images par la couleur : quantification

Quantification ascendante Quantification ascendante

Exemple de fusion, avec C l’échantillon Avantages

Même complexité que la popularité (un seul parcours de l’image pour
argmin d C, LUT produire la LUT)
∈ ,
Prise en compte des valeurs marginales
, argmin d LUT , LUT
, ∈ , ,
Inconvénient

Si d C, LUT d LUT , LUT

Dépendance avec l'organisation du signal : la fin et mieux quantifiée que
alors
LUT moyenne C, LUT
le début

sinon
LUT moyenne LUT , LUT
LUT C
fin

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
43 44

Indexation d’images par la couleur : quantification Indexation d’images par la couleur : quantification

K-means (ou centres mobiles) K-means (ou centres mobiles)

Technique ascendante nécessitant plusieurs parcours de l'image Avantage : indépendance de la solution avec la position des valeurs
dans l’image
Algorithme
Inconvénients
Algorithme s'arrête dès l'atteinte d’un minium de l’EQM qui peut être un
minium local !
Complexité difficilement prévisible

Solution

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
45 46

Indexation d’images par la couleur : quantification Indexation d’images par la couleur : quantification

Quantification descendante Quantification descendante : algorithme de l’Octree

Principe Soit n le nombre d’entrées de la LUT

Soit N le nombre d’entrées de la LUT espéré
Soit L l'espace RGB (correspondant à un cube contenant l’ensemble des pixels qui
composent l'image)

Algorithme de l’Octree
Médian cut

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
47 48

8
Indexation d’images par la couleur : quantification Plan

Quantification descendante : médian cut Introduction

Principe calqué sur l'octree

Indexation d’images par la couleur
Image numérique
Codage
Quantification
Distances et mesures de similarité

Indexation d’images par la texture

Indexation d’images par la forme

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
49 50

Indexation d’images par la couleur : distances Indexation d’images par la couleur : distances

Quantifications identiques Quantifications identiques

Intersection d’histogrammes

Distance de Minkowski

Si p=1 distance de Manhattan Mesure khi2

Si p=2 distance Euclidienne

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
51 52

Indexation d’images par la couleur : distances Indexation d’images par la couleur : distances

Quantifications identiques Quantifications identiques

Histogramme cumulé
Divergence de Kullback-Leibler

Distance quadratique

Divergence de Jensen-Shannon

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
53 54

9
Indexation d’images par la couleur : distances Indexation d’images par la couleur

Quantifications différentes Exercice 1 : soit une image en niveau de gris de taille

800x600 pixels, codée sur 8 bits.

1. Quelle est la taille brute de cette image (en ko) ?

Distance du cantonnier (Earth Mover Distance – EMD)

2. Même question si elle codée sur 7 bits et 2 bits.

3. Dans le dernier cas, que devrait-on constater visuellement ?

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
55 56

Indexation d’images par la couleur Indexation d’images par la couleur

Exercice 2 : soit l'image suivante de Exercice 2 (solution)

résolution 5x5 pixels, codée sur 8 bits 1 2 1 2 1

0 120 0 120 0 1. Binarisation (seuil 128)

1. Binariser l'image, en seuillant à 128. Conclure.
0 120 120 120 0
2. Tracer l'histogramme des niveaux de gris de
cette image. 0 120 0 120 0 2. Histogramme
3. Binariser de nouveau l'image I en tenant
compte de la répartition des valeurs sur 1 2 1 2 1
l'histogramme.
4. Tracez une courbe montrant l'évolution de la valeur des pixels de la 1ère
ligne de l'image. Est-ce une zone de haute ou de basse fréquence ?
5. Tracez une courbe montrant l'évolution de la valeur des pixels de la 3ème
ligne de l'image. Où sont les zones haute et basse fréquence ?
6. En déduire une façon de détecter le H dans l'image.

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
57 58

Indexation d’images par la couleur Indexation d’images par la couleur

Exercice 2 (solution) Exercice 2 (solution)

3. Binarisation 5. Courbe de la valeur des pixels de la 3ème ligne

4. Courbe de la valeur des pixels de la 1ère ligne

0
6. Détection du « H »
0
Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
59 60

10
Indexation d’images par la couleur Indexation d’images par la couleur

Exercice 3 : nous souhaitons améliorer le contraste de Exercice 3 (solution) : Etirement de la dynamique

l’image ci-dessous en étirant la dynamique
A l’aide d’une LUT, ré-écheler les niveaux de gris entre 0 et 255

Image Histogramme

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
61 62

Indexation d’images par la couleur Plan

Exercice 3 (solution) : Etirement de la dynamique Introduction

Illustration du résultat
Indexation d’images par la couleur

Indexation d’images par la texture

Transformée de Fourier
Transformée en Cosinus Discrète
Transformée en Ondelettes

Indexation d’images par la forme

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
63 64

Indexation d’images par la texture : Fourier Indexation d’images par la texture : Fourier

Perception humaine & dispositifs physiques (capteurs, Théorème de Fourier

systèmes de restitution) sont liées à la notion de
Décomposer une fonction en série de Fourier revient à l'exprimer
La propagation de l'information (sonore ou visuelle) peut être sous la forme :
*+ *+
modélisée sous la forme d'une "#
! % & " cos )! % & - sin )!
au cours du temps 2
, ,

Objectif : trouver un mécanisme permettant de représenter une i.e. trouver l’expression des " et -
telle onde dans un espace
1*2 1*2
" / ! cos )! 0! - / ! sin )! 0!
. 1 . 1
et

Si est paire alors la série de Fourier est une série de cosinus

Toute fonction périodique f, de période T, non-sinusoïdale, continue et
dérivable sur tout intervalle [t, t+T], peut se décomposer en une somme
infinie de fonctions sinusoïdales dont les fréquences sont des multiples Si est impaire alors la série de Fourier est une série de sinus
de celle de la fonction f.

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
65 66

11
Indexation d’images par la texture : Fourier Indexation d’images par la texture : Fourier

Transformée de Fourier Transformée de Fourier discrète 2D

Application qui associe à un signal 3 , une fonction complexe d'une

variable réelle, appelée « transformée de Fourier de 3 »
*+
4 5 3 6 7 81 03
7+
TFD :
avec 6 7 81 cos 943 % sin 943 cos 43 9 sin 43 <7
81
: 4 & 3 6 7; . <
4 représente le 1,#

amplitude des fréquences correspondant à la

TFD inverse :
<7
1 ;.
81
3 &: 4 6 <
Les signaux numériques sont
>
8,#
composé d’un sous-ensemble fini de fréquences

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
67 68

Indexation d’images par la texture : Fourier Indexation d’images par la texture : Fourier

Transformée de Fourier 2D Transformée de Fourier 2D et texture

La texture se caractérise par :
TFD ligne par ligne de l’image résultat
est perpendiculaire à la distribution des maxima
TFD colonne par colonne du résultat matrice de coefficients d'énergie de la fréquence
complexes (plan de Fourier) peut être observée dans le spectre
« grossière » si le spectre est fortement concentré autour
TFD 2D : des basses fréquences et « fine » sinon
F7 <7
BC DE
: ?, @ & & !, A 6 7; . < 6 7; . F But : mettre en évidence les caractéristiques fréquentielles d'une
E,# C,# texture

TFD 2D inverse :
F7 <7
1 1 BC DE Spectre  distribution énergétique de l’image
!, A & & : ?, @ 6 ; . < 6 ; . F
G >
Respect de la périodicité et de l’orientation des motifs de l’image de texture
D,# B,#

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
69 70

Indexation d’images par la texture : Fourier Indexation d’images par la texture : Fourier

Interprétation Exemple : motif de direction horizontale

Le pic dominant dans le spectre donne la direction principale de la

texture

La localisation des pics permet de déterminer la période spatiale

fondamentale de la texture

Chaque pic représente une périodicité spatiale dans un sens

particulier

Image Spectre

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
71 72

12
Indexation d’images par la texture : Fourier Indexation d’images par la texture : Fourier

Exemple : motif de direction verticale Exemple : lignes perpendiculaires (quadrillage)

Périodicité selon les composantes horizontales et verticales

Image Spectre
Image Spectre

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
73 74

Indexation d’images par la texture : Fourier Indexation d’images par la texture : Fourier

Exemple : image réelle Translation

Image Spectre
Image Spectre

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
75 76

Indexation d’images par la texture : Fourier Indexation d’images par la texture : Fourier

Rotation Rotation
Transformée de Fourier de la rotation de l’image Pour limiter le repliement spectral

Image Spectre
Image Spectre

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
77 78

13
Indexation d’images par la texture : Fourier Indexation d’images par la texture : Fourier

Homothétie Remarque :
Transformée de Fourier de l’homothétie de l’image

Image Spectre

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
79 80

Indexation d’images par la texture : Fourier Indexation d’images par la texture : Fourier

Filtres de Gabor Filtres de Gabor

But : identifier une région de forme approximativement ellipsoïdale MPEG-7 propose un

dans l'espace de Fourier

L
87JK L 7 N7JO
Méthode : calculer la réponse de la texture au filtre en multipliant 7 L
H 4, I 6 6 ;MO
L
;MK
l'énergie du spectre sous le filtre par les coefficients du filtre

où 4 représente la coordonnée radiale (i.e. la fréquence),

P8 est la distance du centre de l'espace de Fourier au centre de l'ellipse,
Q8 donne la dimension de l'ellipse selon 4,
I est l'orientation perpendiculaire à la texture,
PN est l'axe sur lequel se situe le centre de l'ellipse,
QN est la dimension de l'ellipse selon I.

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
81 82

Indexation d’images par la texture : Fourier Plan

Filtres de Gabor Introduction

Dans MPEG-7, les paramètres P8 , Q8 , PN et QN évoluent dans un
espace discret Indexation d’images par la couleur

Indexation d’images par la texture

En indexation, vecteur de donnée est constitué de : Transformée de Fourier
Transformée en Cosinus Discrète
Transformée en Ondelettes

Indexation d’images par la forme

Distance possible :
R , & ST H 9H
T

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
83 84

14
Indexation d’images par la texture : DCT Indexation d’images par la texture : DCT

DCT : Transformée en Cosinus Discrète DCT : Transformée en Cosinus Discrète

Variante de la transformée de Fourier discrète Formule DCT sur des blocs 8x8 de pixels :

si " 0
avec X " [
Utilisation : couramment utilisée en codage d'images à débit réduit
;
1 sinon

Coefficient DCT(0,0) est appelé

Méthode : approximer l'image de départ par une somme pondérée
il est proportionnel à l'intensité moyenne sur le bloc 8x8
de motifs de « textures ». Ces motifs sont construits à l'aide de
"cosinusoïdes" orientée en x et en y de fréquences variables. Autres coefficients sont appelés
<7 <7 1 1
2X ? X @ !% ?Y A% @Y
UVW ?, @ & & cos 2 cos 2 Z !, A
Coefficient DCT(7,7) correspond à
> > >
C,# E,#
Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
85 86

Indexation d’images par la texture : DCT Indexation d’images par la texture

DCT : Transformée en Cosinus Discrète Transformée de Fourier (et DCT) permettent d’explorer la
composition fréquentielle de l’image
Formule DCT inverse Signal est décomposé en cosinus, sinus
_ _
1 2! % 1 ?Y 2A % 1 @Y
Technique utilisée pour la caractérisation globale de la texture
Z !, A & & d ? R @ cos cos UVW ?, @
4 16 16
B,# D,#
Mais l'analyse locale n’est pas suffisamment précise
si " 0
avec R " [ ;
1 sinon

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
87 88

Plan Indexation d’images par la texture : ondelettes

Introduction Décomposition en Ondelettes

Formalisme identique à la transformée de Fourier (représentation

Indexation d’images par la couleur
fréquentielle) mais

Indexation d’images par la texture

Transformée de Fourier pour traiter aussi bien les textures
Transformée en Cosinus Discrète avec une forte périodicité que celles avec une périodicité moindre
Transformée en Ondelettes
Le nombre de niveaux ( i.e. le nombre d’itération du
processus sur les basses-fréquences) peut être fixé a priori, ou
Indexation d’images par la forme dépendre d’un seuil sur le nombre de valeurs produites après sous-
échantillonnage

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
89 90

15
Indexation d’images par la texture : ondelettes Indexation d’images par la texture : ondelettes

Décomposition en Ondelettes : principe – Haar (1909) Décomposition en Ondelettes : principe – Haar (1909)

Considérons un signal discret ` Réitérons le processus à partir de `;

` 1 3 8 4 5 3 3 13

Approximons grossièrement ce signal en remplaçant chaque couple Moyenne, et la différence à la moyenne de la première valeur
d’échantillons par leur moyenne

Réitérons le processus à partir de `a

Reconstruction possible en codant pour chaque couple la moyenne,
et la différence à la moyenne de la première valeur
Moyenne, et la différence à la moyenne de la première valeur

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
91 92

Indexation d’images par la texture : ondelettes Indexation d’images par la texture : ondelettes

Décomposition en Ondelettes : principe – Haar (1909) Transformée en ondelettes 2D

Principe
En utilisant et l’écart reconstruit

Avec les écarts suivants reconstruit

Puis avec reconstruit

La décomposition conduit à représenter le signal sous la forme

suivante : hx*hy gx*hy

Cette décomposition est le principe mis en œuvre dans le calcul de

la
Partie gauche de cette représentation
hx*gy gx*gy
(prépondérantes dans le cas d’une image naturelle)
Partie droite

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
93 94

Indexation d’images par la texture : ondelettes Indexation d’images par la texture : ondelettes

Transformée en ondelettes 2D Exemple

Le processus est répété sur l’image des basses fréquences obtenue dans a b
la partie (hx*hy) Soit la matrice (image) suivante :
c d

Soit b 0.5 0.5 et e 0.5 90.5

La transformée en ondelettes donne :

hx*hy gx*hy
gx*hy
gx*hy

hx*gy gx*gy
hx*gy gx*gy
hx*gy gx*gy a=8 b=16
Application numérique :
c=24 d=32

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
95 96

16
Indexation d’images par la texture : ondelettes Indexation d’images par la texture : ondelettes

Illustration Illustration

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
97 98

Indexation d’images par la texture : ondelettes Indexation d’images par la texture : ondelettes

Exercice : appliquer la décomposition dyadique sur 2 Exercice (solution) :

niveaux de l’image ci-dessous, en prenant b 1 1 et
e 91 1
0 0
Case noire : valeur « 0 »
0 0
0 0 0 0
Case blanche : valeur « 1 »
0 0 0 0

Image 0 0
0 0
Image

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
99 100

Plan Indexation d’images par la forme

Introduction Définition : étape qui consiste à reconnaître un objet à partir de

sa seule silhouette (forme)
basée sur l’utilisation d’un descripteur de forme
Indexation d’images par la couleur

Idéalement, un descripteur de formes a les propriétés suivantes :

Indexation d’images par la texture

Indexation d’images par la forme

Description basée région
Description basée contour

2 types de description

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
101 102

17
Indexation d’images par la forme, basée région Indexation d’images par la forme, basée région

Description d’une forme Caractéristiques spatiales

Boîte englobante

Centre de gravité
Le canal alpha est une version plus sophistiquée
Masque exprime un degré de transparence sur 8 bits (par exemple)

On code ainsi les formes (shapes)

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
103 104

Indexation d’images par la forme, basée région Indexation d’images par la forme, basée région

Caractéristiques spatiales Caractéristiques spatiales

Centre géodésique Aire
Soit Rf ", - la distance géodésique dans la région g
Diamètre
Distance

Diamètre géodésique : la plus grande distance géodésique entre

deux points de la région

Rayon géodésique
Fonction de propagation : hf " sup Rf ", -
k∈f
Centre géodésique
Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
105 106

Indexation d’images par la forme, basée région Indexation d’images par la forme, basée région

Caractéristiques spatiales Caractéristiques statistiques

Nombre d'intercepts (ou calcul de la variation diamétrique) Moment cartésien d'ordre l % m (cas discret)

pour une image de taille > n G

caractériser la région
F <

& & !oAp !, A

caractériser la direction
op
Les directions possibles sont proposées a priori E,# C,#

Périmètre : peut être calculé de différentes manières

Pour une image binaire, !, A 1 si le point appartient à la région et 0 sinon

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
107 108

18
Indexation d’images par la forme, basée région Indexation d’images par la forme, basée région

Caractéristiques statistiques Caractéristiques statistiques

Moments centraux Moments invariants
F <

Pop & & ! 9 !̅ o

A 9 Ar p
!, A
E,# C,# G 1 P;# % P#;
Moments d’ordre 1 G 2 P;# 9 P#; ;
% 4P;

Moments d’ordre 2 G 3 Pa# 9 3P ;

;
% 3P; 9 P#a ;

Moments d’inertie G 4 Pa# % P ;

;
% P; % P#a ;
Moments de projection
…
G 7

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
109 110

Plan Indexation d’images par la forme, basée contour

Introduction Code de Freeman

3 paramètres
Indexation d’images par la couleur

Indexation d’images par la texture

Exemple 1

Indexation d’images par la forme

Description basée région
Description basée contour

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
111 112

Indexation d’images par la forme, basée contour Indexation d’images par la forme, basée contour

Code de Freeman BitQuads

Exemple 2
Principe

4-voisins

8-voisins Donne des informations sur la région

Changer le point de départ

Rotation de la forme

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
113 114

19
Indexation d’images par la forme, basée contour Indexation d’images par la forme, basée contour

Descripteur de Fourier Descripteur de Fourier

Méthode
2. Calculons la fonction qui représente l’évolution de l’angle de la
tangente (dérivée première) en tout point du contour :
Méthode
1. Considérons l’équation paramétrique d’un contour ! v et A v

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
115 116

Indexation d’images par la forme, basée contour Indexation d’images par la forme, basée contour

Descripteur de Fourier Descripteur de Fourier

Méthode En pratique : approximation des dérivées première et seconde
3. Calculons une fonction paramétrique représentant la courbure
(dérivée seconde) en tout point du contour :

Dans le cas d’un contour fermé, les fonctions ! v et A v sont

*+
;.
x
v & X 6 w
,7+
X : coefficients de Fourier

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
117 118

Indexation d’images par la forme, basée contour Indexation d’images par la forme

Descripteur de Fourier Exercice : soit l’image suivante et un voisinage en 8-connexité

Propriétés d’invariance

Illustration
Image

1. Calculer l’aire

2. Donner le code de Freeman en partant de la croix dans le sens horaire

3. En déduire le périmètre

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
119 120

20
Indexation d’images par la forme Plan

Exercice (solution) : Introduction

1. Calculer l’aire Indexation d’images par la couleur

Indexation d’images par la texture

2. Donner le code de Freeman en partant de la croix dans le sens horaire

Indexation d’images par la forme

3. En déduire le périmètre
Références
Remerciements à Philippe JOLY pour les supports de cours

Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier Indexation par le contenu de documents Audio-Vidéo – Média Image J. Pinquier
121 122

21