AM Indexation

Indexation d'images
Cours Master IA&D

Cours Master IA&D
Techniques du traitement d'images
Techniques du traitement d'images
Antoine Manzanera - ENSTA /Unit d'lectronique et d'Informatique
Indexation - Introduction
Antoine MANZANERA Cours Indexation / DEA IARFA page 2
Le sujet de ce cours est la recherche automatique de documents visuels (images,
squences video), dans des bases de donnes de grande taille, partir de requtes relatives
au contenu de ces documents.
Ce problme fait actuellement l'objet de recherches trs abondantes dans le domaine du
traitement d'images et de la vision par ordinateur. En effet, la gnralisation des supports
numriques, l'apparition de formats video compacts, la chute du cot des mdia de
stockage a engendr une augmentation vertigineuse de la quantit des donnes
multimedia. Pour que ces donnes soient exploitables, il faut qu'elles puissent tre
consultes efficacement comme par le biais d'un catalogue.
Les techniques prsentes ci-aprs, dite d'indexation, se proposent d'attacher une image
ou une video un ensemble de descripteurs de leur contenu, dans le but de mesurer la
ressemblance avec les descripteurs correspondant la requte.
Mais cette requte peut prendre des formes trs diffrentes, elle peut tre conceptuelle
(ex : mot), symbolique (ex : schma) ou instancielle (ex : une autre image).
De la mme faon, l'indexation sera smantique (on attache des descripteurs de niveau
conceptuel au document) ou visuelle (on attache des descripteurs de niveau visuel au
document).
Applications et enjeux
page 3
BD Images et video :
Collections et catalogues des particuliers, entreprises
Mdiathques
Agences de photographie
Archives audiovisuelles (ex. INA)
Internet (ex.AltaVista/Virage)
Applications :
Mdiamtrie (ex. empreintes digitales)
Proprit des oeuvres
Reconnaissance de visages, d'objets...
Donnes biomdicales
Imagerie satellitaire, arienne
Video de tlsurveillance
Antoine MANZANERA Cours Indexation / DEA IARFA
Plan du cours Indexation
page 4
Indexation multimedia : Etat actuel et Perspectives
Recherche de documents multimedia par le contenu
Indexation smantique manuelle
Indexation visuelle automatique
Aide l'indexation manuelle
Smantique de l'indexation video
Dcoupage en plans
Dtection d'objets
Indexation automatique
Images structures et textures
Extractions des descripteurs
Appariement d'images
Mtriques de similarit
Recherche multimedia par le contenu
page 5
Difficults :
la diffrence de donnes textuelles, le contenu smantique n'est jamais explicite.
les requtes sont difficiles exprimer, donc en gnral ambigus, incompltes.

Dimension multidisciplinaire :
Multimedia : texte, image, son - Problmes de gestion de bases de donnes - Problmes hardware - Problmes lis
l'apprentissage - Problmes linguistiques,...
Types de requte :
Mot
Image
Dessin, schma
Modle CAO
Carte
Plan
.../...
Evaluation des rsultats :
Base de donnes
Requte
Rsultat
Prcision =
# rponses pertinentes
# rponses
Rappel =
# rponses pertinentes
# donnes pertinentes
Etat actuel : Indexation explicite
page 6 Antoine MANZANERA Cours Indexation / DEA IARFA
Les outils de recherche de documents multimedia qui fonctionnent actuellement sont bass
sur une recherche de mots clefs explicitement attachs au document ou indexs
automatiquement partir du texte environnant (Ex : Google.)
Les documents video telles que les archives audiovisuelles sont indexs manuellement par
des oprateurs spcialiss, partir d'un descriptif trs prcis li un thesaurus.
Mais cette indexation manuelle s'avre une tche pnible et longue (jusqu' 10 fois la
dure d 'une squence, alors que par exemple le fonds de document tlvisuel de l'INA
reprsente 350.000 heures de programmes...)
De plus une donne intressante une date donne ne l'tait pas forcment la date de
l'indexation...
Il faut galement citer l'mergence de nouveaux standards de codage video tels que
Mpeg7 qui intgre dans le codage des donnes explicites relatifs aux contenus
audiovisuels, dans le but de faciliter la fois la recherche d'information dans une base de
donnes video, et la navigation intelligente dans une video.
Indexations smantique et descriptive
Par nature, l'indexation manuelle est smantique. L'oprateur d'indexation attache au
document des donnes de haut niveau relatifs la signification du contenu de l'objet. Les
requtes associes sont en gnral des mots, dsignant un objet, une action, le nom d'un
personnage ou d'un vnement.
Par opposition, l'indexation automatique est essentiellement descriptive ou visuelle.
L'algorithme d'indexation attache des donnes de bas niveau smantique, relatifs aux
contenus gomtrique, spectral, de l'image, un niveau local ou global. Les requtes
associes se font en gnral par l'exemple, ou par modle.
Mais l'analyse automatique de documents peut galement tre utilise pour rendre plus
facile (plus rapide, moins pnible) le travail de l'oprateur d'indexation manuelle. Cela
concerne typiquement :
pr-tri de grosses bases de donnes images.
indexation automatique aiguille par oprateur.
dcoupage de video et simplification en image-clefs.

Smantique des squences d'images
Diagramme d'annotation d'une video
(Projet Sesame Insa Lyon / RFV)
Avant d'analyser automatiquement ou manuellement une squence d'images, il faut avoir dfini
prcisment la faon dont la video va tre structure. La structuration classique d'une video est celle
d'un dcoupage en scnes avec titre, rsum, mots-clefs.
Les outils d'aide l'indexation video peuvent se fonder sur une structuration prcise des videos,
utilisant plusieurs niveaux d'analyse.
Le premier objectif est de fournir un cadre riche et rigoureux pour faciliter l'indexation manuelle.
Le second objectif est de diminuer le niveau smantique du dcoupage par scnes pour permettre
l'utilisation d'outil d'indexation visuelle automatique.
Nature du lieu
Prsence d'un objet, d'un personnage
Plan
Scne :
Aide l'indexation video
Exemple : Dcoupages en plans (cuts) d'une video
Les techniques employes sont diverses ; elles sont
en gnral bases sur la dtection de discontinuits
temporelles d'un ou de plusieurs descripteurs
globaux associs :
* La couleur. Ex : moments d'histogrammes
couleurs.
* Le mouvement. Ex, ci-contre : extraction du
mouvement dominant (transformation affine 2d), et
mesure du taux de recouvrement entre image et
image transforme.
Difficults :
Fondu-enchains,
Mouvements brusques,...
Logiciel MD-shots (IRISA Rennes / projet VISTA)
de dcoupage video, bas sur un descripteur global
du mouvement dominant (axe vertical)
image I
t
image I
t+1
image I
t
transforme
Aide l'indexation video
Enfin, certaines techniques spcifiques de dtection, reconnaissance, identification sont
utilises pour effectuer des tches particulires d'aide l'indexation. Ce sont typiquement :
* La dtection et le suivi des objets mobiles.
* La dtection d'objets particuliers :
visages, vhicules, texte incrust pour indentifier le type de scne
* Identification : le visage d'un personnage, un vhicule particulier,...
Un problme qui accompagne souvent celui de la segmentation en plans pour l'aide
l'indexation video est l'extraction d'images-clefs dans chaque plan, c'est--dire d'images
les plus reprsentatives du plan. Les techniques utilises actuellement reposent
gnralement sur des statistiques lies aux descripteurs utiliss pour le dcoupage en plans.
On peut alors utiliser l'image mdiane, les images extrmes,...
Ex : video cliquable (INRIA)
Interface de l'outil de segmentation video dvelopp l'INRIA Rhne-Alpes projet MOVI
Indexation automatique d'images
page 12
Temps de calcul de l'indexation : pas primordial
Indices + donnes statistiques : calcul incrmental
Stockage : bases de donnes images et indices
Reprsentation des indices : primordial

Off-line : Indexation
Base de donnes images
Base de
donnes
indices
( x
0
0,
x
1
0,
., x
p
0
)
( x
0
n
, x
1
n
,., x
p
n
)
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Calcul des indices de
description pour toutes
les images de la base.
{
M , C ,.
Donnes statistiques
On-line : Recherche
Base de
donnes
indices
( x
0
0,
x
1
0,
., x
p
0
)
( x
0
n
, x
1
n
,., x
p
n
)
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
M , C ,.
Donnes statistiques
Image
inconnue
(1) Calcul de l'index de description
pour l'image inconnue :
( y
0,
y
1,
., y
p
)
(2) Mesure de similarit de l'index
inconnu avec les indices de la base
(3) Rsultat : adresse des meilleurs
images au sens de la mesure de
similarit
Temps de calcul de la recherche : primordial
Mesure de similarit : indice de confiance
Quels descripteurs ?
Quelles mesures de similarit ?

Difficults :
Variabilit : rotation, translation, homothtie,...
Reconnaissance 2d ou 3d
Visibilit partielle
Changement de luminosit
.../...
Requte par un exemple : recherche d'images semblables
Recherche d'un objet, ou d'un type d'objets particulier

Appariement d'images structures
Images comportant des structures gomtriques simples :
contours rectilignes, elliptiques...
Mise en correspondance de structures 2d
Techniques de traitement d'images :
Dtection + chanage de contours
Dtection de formes paramtres

(transforme de Hough)
Indices : listes de coordonnes des structures (segments, ellipses,...)
Reconstruction 3d
Mtrique d'appariement : base sur l'appariement des structures
Ex : Calcul de la transformation + Distance de Hausdorff
H( P , Q)=max h( P , Q) , h(Q, P)
h( X , Y )=max
xX
min
yY
d ( x , y)
H( P , Q)=min\;6
B
\
( P)Q et 6
B
\
(Q)P
distance de Haussdorff entre
deux ensembles P et Q :
avec :
lien avec la morphologie
mathmatique :
6
B
\
: dilatation par une boule de rayon \
Appariement d'images textures
Dans ce cas, on ne recherche pas de structures particulires, mais des ressemblances globales
(histogrammes, spectres de Fourier), ou locales...
Si l'on cherche des ressemblances locales, il est essentiel de rduire l'espace de reprsentation, pour
deux raisons majeures :
rduction du temps de calcul
augmentation de la robustesse
Utilisation des points d'intrt :
On extrait des descripteurs locaux uniquement aux voisinages des points
les plus intressants .
Puis on reprsente le comportement local au voisinage de ces points par
les descripteurs diffrentiels :
L
i j
t
=G
i j
t
I G
i j
t
=

i+j
x
i
y
j
G
t
G
t
( x , y)=
1
2nt
2
exp(
( x
2
+y
2
)
2 t
2
)
Jet local : avec :
et :
L
ij
t
; 0 <i+ j<3 =L , L
x
, L
y
, L
xx
, L
xy
, L
yy
, L
xxx
, L
xxy
, L
xyy
, L
yyy
On notera :
(drives jusqu'au 3e ordre)
Points d'intrt
(mthode de Harris)
t : facteur d'chelle
t
Invariants gomtriques et photomtriques
Le principe de calcul des invariants est de combiner les diffrentes composantes du jet
local de manire obtenir des grandeurs qui soient invariantes divers changements
d'aspect, notamment transformation affines et changement d'illumination.
1=
(
L
L
i
L
i
L
i
L
ij
L
j
L
ii
L
ij
L
ij
e
ij
( L
jkl
L
i
L
k
L
l
L
jkk
L
i
L
l
L
l
)
L
iij
L
j
L
k
L
k
L
ijk
L
i
L
j
L
k
e
ij
L
jkl
L
i
L
k
L
l
L
ijk
L
i
L
j
L
k
)
e
xy
=e
yx
=1
e
xx
=e
yy
=0
1
2
=L
i
L
ij
L
j
=L
xx
L
x
L
x
+2 L
x
L
xy
L
y
+L
yy
L
y
L
y
1
7
=e
ij
L
jkl
L
i
L
k
L
l
=L
xxy
(L
x
L
x
L
x
+2 L
x
L
y
L
y
)
+L
xyy
(2 L
x
L
x
L
y
+L
y
L
y
L
y
)L
yyy
L
x
L
y
L
y
+L
xxx
L
x
L
x
L
y
Invariants diffrentiels de Hilbert :
Notations d'Einstein : sommation sur les indices
Par ex :
Avec :
quantits invariantes par rotation (Notez : invariance par rotation du noyau gaussien)
1 - Invariance par dplacement
Invariants gomtriques et photomtriques
2 - Invariance photomtrique
Normaliser par l'un des invariants (par ex. Y
1
).
f ( I )=aI +b
L'objectif est d'tre invariant une modification affine de la fonction
d'illumination :
3 - Invariance par changement d'chelle
Utiliser des invariants plusieurs chelles.
x=x
1
, ., x
n
y=y
1
,., y
n
.../...
Un vecteur d'invariants est donc
calcul pour chaque point
d'intrt dans toutes les images.
Ce sont ces vecteurs qui seront
compars par la suite.
Mtriques d'appariement
page 19
Le problme consiste donc comparer des descripteurs qui sont des vecteurs imprcis :
Mtriques d'appariement :
Distance euclidienne
Distance de Mahalanobis
x=x
1
,., x
n
C=
(
var ( x
1
) cov( x
1
, x
2
) cov( x
1
, x
n
)
cov( x
2
, x
1
) var ( x
2
) cov( x
2
, x
n
)

cov( x
n
, x
1
) cov( x
n
, x
2
) var ( x
n
)
)
6
e
( x , x ' )=
.
( xx ' )
t
( xx ' )
6
m
( x , x ' )=
.
( xx ' )
t
C
1
( xx ' )
cov ( x
i
, x
j
)=( x
i
j
i
)( x
j
j
j
)= x
i
x
j
x
i
x
j
var ( x
i
)=cov( x
i
, x
i
)
j
i
= x
i

Distance des points de l'espace au centre d'inertie d'un nuage de points, en
distance euclidienne ( gauche) et en distance de Mahalanobis ( droite).
La distance euclidienne ne tient compte ni des
diffrences d'amplitude ni des corrlations
entre les diffrentes composantes du vecteur de
description.
On utilise plutt la distance suivante :
avec :
...o < . > dsigne la moyenne.
Mtriques d'appariement
page 20
Le problme de la recherche s'exprime maintenant comme suit : tant donn une
donne inconnue de vecteur descriptif x, et un seuil , trouver toutes les donnes de la
base dont les vecteurs descriptifs y sont tels que :
6
m
( x , y)=6
e
(
.
DP x ,
.
DP y)<e
La matrice de covariance C est calcule et mise jour off-line.
Si on diagonalise C
-1
, on peut se ramener un calcul de distance euclidienne par rapport
aux vecteurs descripteurs :
C
1
= P
t
DP
.
( xx ' )
t
C
1
( xx ' )=
.
DPx
.
DPx '
{
{
distance
ellipsodale normalisation
A chaque mise jour de la base on doit donc :
- mettre jour la matrice de covariance C.
- calculer et diagonaliser C
-1
.
- normaliser tous les vecteurs : x -
.
DPx
Parcours de l'espace de recherche
page 21
Pour limiter le temps de recherche dans une grosse base d'indices, on cherche limiter
la recherche un certain voisinage de l'index inconnu. Ce problme est intimement
li au stockage des vecteurs descriptifs de la base.
Dcoupage de la base
d'indices en hypercubes :
e
vecteur inconnu
vecteur de la base
Reprsentation de la base
d'indices sous forme de Kd-
tree :
dimension
.
.
.
.
.
.
reprsentation du voisinage du vecteur inconnu dans un Kd-tree
Complexit de la recherche :
m
2
N 3
d
k
d
+m3
d
N = nombre d'images de la base
m = nombre d'invariants par image
k = nombre d'hypercubes par dimension
d = dimension des invariants
{
{
cot du
parcours du
Kd-tree
cot de l'appariement
2e
un dcoupage alternatif
de la base d'indices
Bouclage de pertinence et apprentissage
Base de
donnes
indices
( x
0
0,
x
1
0,
., x
p
0
)
( x
0
n
, x
1
n
,., x
p
n
)
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
( y
0,
y
1,
., y
p
)
( y '
0,
y '
1,
., y '
p
)
( y ' '
0,
y ' '
1,
., y ' '
p
)
( y ' ' '
0,
y ' ' '
1,
., y ' ' '
p
)
Le bouclage de pertinence (relevance feedback)
est une technique utilisant une valuation
interactive de l'utilisateur pour modifier le
descripteur de la requte ou la mtrique
d'appariement, par exemple en modifiant les
poids des composantes, ou bien en ne conservant
que les invariants jugs les plus pertinents au
regard des valuations.
utilisateur requte
Bibliographie et sources
page 23
P. Gros : Traitement des images par le contenu - document de cours - IRISA 1999.
C. Schmid : Appariement d'images par invariants locaux de niveaux de gris - thse

de doctorat - INPG 1996.
J.M. Jolion et al : Projet Sesame / Rapport final - INSA 1998
R.C. Veltkamp, M. Tanase : Content-based image retrieval : a survey - Utrecht

University
IRISA / TEXMEX : http://www.irisa.fr/texmex/index.htm
INRIAlpes / LEAR : http://www.inrialpes.fr/lear/index.html
INSA Lyon / RFV : http://telesun.insa-lyon.fr/kiwi/
Univ. Stanford / SIMPLICITY : http://www-db.stanford.edu/IMAGE/
Univ. Texas / CIRES : http://amazon.ece.utexas.edu/~qasim/research.htm
.../...

AM Indexation

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

AM Indexation

Transféré par

Droits d'auteur :

Formats disponibles

Indexation d'images

Cours Master IA&D

Collections et catalogues des particuliers, entreprises

Archives audiovisuelles (ex. INA)

Mdiamtrie (ex. empreintes digitales)

Proprit des oeuvres

Reconnaissance de visages, d'objets...

Imagerie satellitaire, arienne

la diffrence de donnes textuelles, le contenu smantique n'est jamais explicite.

les requtes sont difficiles exprimer, donc en gnral ambigus, incompltes.

pr-tri de grosses bases de donnes images.

indexation automatique aiguille par oprateur.

dcoupage de video et simplification en image-clefs.

Prsence d'un objet, d'un personnage

Temps de calcul de l'indexation : pas primordial

Indices + donnes statistiques : calcul incrmental

Stockage : bases de donnes images et indices

Reprsentation des indices : primordial

Temps de calcul de la recherche : primordial

Mesure de similarit : indice de confiance

Quelles mesures de similarit ?

Variabilit : rotation, translation, homothtie,...

Requte par un exemple : recherche d'images semblables

Recherche d'un objet, ou d'un type d'objets particulier

Dtection + chanage de contours

Dtection de formes paramtres

rduction du temps de calcul

Antoine MANZANERA Cours Indexation / DEA IARFA

C. Schmid : Appariement d'images par invariants locaux de niveaux de gris - thse

J.M. Jolion et al : Projet Sesame / Rapport final - INSA 1998

R.C. Veltkamp, M. Tanase : Content-based image retrieval : a survey - Utrecht

IRISA / TEXMEX : http://www.irisa.fr/texmex/index.htm

INRIAlpes / LEAR : http://www.inrialpes.fr/lear/index.html

INSA Lyon / RFV : http://telesun.insa-lyon.fr/kiwi/

Univ. Stanford / SIMPLICITY : http://www-db.stanford.edu/IMAGE/

Univ. Texas / CIRES : http://amazon.ece.utexas.edu/~qasim/research.htm

Vous aimerez peut-être aussi