Vous êtes sur la page 1sur 60

Ondelettes pour la dtection de caractristiques e e en traitement dimages Applications ` la dtection de rgions dintrt a e e ee

C. Damerval
Laboratoire Jean Kuntzmann, Grenoble

7 mai 2008

Directeurs : S. Meignen et C. Schmid

(LJK, Grenoble)

1 / 60

Introduction

Plan

Dtection de rgions dintrt en vision par ordinateur e e ee Rappels sur les lignes de maxima Applications ` la dtection de structures remarquables a e

Mots cls : ondelettes, Scale-Space, reprsentations multichelles, lignes e e e de maxima, invariance ou robustesse ` des transformations de limage, a dtection de rgions dintrt, calcul de grandeurs caractristiques. e e ee e

(LJK, Grenoble)

2 / 60

Dtection de rgions dintrt en vision par ordinateur e e ee

Probl`mes en vision par ordinateur e

Appariement dimages Savoir si deux images correspondent ` une mme sc`ne a e e Calcul de dformations gomtriques e e e

Source : LEAR, Inria Rhne-Alpes o

(LJK, Grenoble)

3 / 60

Dtection de rgions dintrt en vision par ordinateur e e ee

Probl`mes en vision par ordinateur e

Reconnaissance dobjets Identier une entit particuli`re dans une image e e Dcider si une image correspond ` tel ou tel mod`le dobjet e a e

Source : U. Leuven / Pascal Database

(LJK, Grenoble)

4 / 60

Dtection de rgions dintrt en vision par ordinateur e e ee

Probl`mes en vision par ordinateur e


Mthodologie e Dtection de structures remarquables : mise en vidence e e de rgions dintrt e ee Calcul de descripteurs : description quantitative du contenu de ces rgions e Utilisation de ceux-ci dans les applications comme primitives de plus haut niveau

Exemples de rgions dintrt e ee


(LJK, Grenoble) 5 / 60

Dtection de rgions dintrt en vision par ordinateur e e ee

Invariance, robustesse

Dans les applications, il est ncessaire que les caractristiques extraites e e (descripteurs) soient invariantes ou robustes vis ` vis de certaines a transformations de limage : - gomtriques : changement dchelle, dformations anes e e e e - ajout de bruit, changement dillumination ou de contraste Caract`re essentiel de ltape de dtection e e e Extraction de caractristiques locales prenant en compte les e dformations gomtriques (Lindeberg98, Schmid04) e e e Performance des dtecteurs value grce ` la notion de rptabilit e e e a a e e e

(LJK, Grenoble)

6 / 60

Dtection de rgions dintrt en vision par ordinateur e e ee

Approche issue du Scale-Space (Lindeberg)

Thorie du Scale-Space (Witkin83, Lindeberg94) e Image f , noyau Gaussien isotrope Gt (x, y ) =


1 2t 2

Reprsentation espace-chelle linaire de f (dans e e e L(x, y , t) = f Gt

R2

exp x

2 +y 2

2t

R ) +

Utilisation dun oprateur dni ` partir des drives de L, comme e e a e e L = xx L + yy L

(LJK, Grenoble)

7 / 60

Dtection de rgions dintrt en vision par ordinateur e e ee

Approche issue du Scale-Space (Lindeberg)

Introduction dune normalisation : t L, > 0 Slection de maxima locaux en espace et en chelle : e e (x, y , t) t L(x, y , t) Pour un maximum local de t L en (x , y , t ), rgion dintrt e ee , y ) de rayon s = t associe : cercle centr en (x e e

(LJK, Grenoble)

8 / 60

Dtection de rgions dintrt en vision par ordinateur e e ee

Approche issue du Scale-Space (Lindeberg)


Intrt de cette approche : adquation entre la rgion dintrt et un ee e e ee objet prsent dans limage e
50 50

100

100

150

150

200

200

250 50 100 150 200 250

250 50 100 150 200 250

Gaussienne 2D G1 Gaussienne 2D G2 s1 1 s2 2 s : chelle caractristique (lien avec la notion dinvariance) e e Ici, dans le cas de loprateur t L, les structures de limage e associes ` de tels maxima sont appeles blobs e a e
(LJK, Grenoble) 9 / 60

Dtection de rgions dintrt en vision par ordinateur e e ee

Approche issue du Scale-Space (Lindeberg)


Dtection de blobs : maxima en espace et en chelle de L e e (code issu de lquipe LEAR, Inria Rhne-Alpes) e o

50

100

150

200

250

300

350

400

450

500 50 100 150 200 250 300 350 400 450 500

Probl`me de caractrisation des objets : nature des objets dtects ? e e e e


(LJK, Grenoble) 10 / 60

Dtection de rgions dintrt en vision par ordinateur e e ee

Approche propose dans cette th`se e e


Objectif : recherche de structures remarquables dans une image Points de contours (structures 1D) Structures 2D associes ` des rgions dintrt e a e ee telles que des objets de type blob, dlimits par des singularits e e e Pour une mme sc`ne, les objets dtects ne doivent pas dpendre e e e e e des conditions dobservation (notion de caractristique) e Outil : lignes de maxima associes ` des dcompositions en ondelettes e a e Dtection de points de contours e et caractrisation par la rgularit associe e e e e Mise en vidence dobjets de type blob e et calcul de grandeurs caractristiques associes e e

(LJK, Grenoble)

11 / 60

Rappels sur les lignes de maxima

Dtection de rgions dintrt en vision par ordinateur e e ee Rappels sur les lignes de maxima Cadre 1D Cadre 2D Applications ` la dtection de structures remarquables a e

Transforme en ondelette dun signal (1D), dune image (2D) e Lignes de maxima associes (Mallat) e Construction numrique de lignes de maxima e

(LJK, Grenoble)

12 / 60

Rappels sur les lignes de maxima

Cadre 1D

Notion dondelette
Ondelette : fonction : R R, L2 , vriant la condition e

C =
0

|()|2 d <

Proprits de rgularit, support compact, dcroissance rapide, ... ee e e e


0.8
1

1.2

0.6
0.8

0.8
0.6 0.4

0.4 0.6 0.2

0.2 0 0.2

0.4 0 0.2 0.2

0.4 0.6 0.8

0 0.4 0.2

0.6
1

0.4

0.5

0.5

1.5

0.8 5

0.6 5

Ondelette de Haar

Drive premi`re e e e de Gaussienne

Ondelette Sombrero

(LJK, Grenoble)

13 / 60

Rappels sur les lignes de maxima

Cadre 1D

Transforme en Ondelette Continue (TOC) e


TOC normalise L1 de f : R R (f L2 ) utilisant londelette e Wf (u, s) = 1 s f (t)
R

t u s
8 7

dt u R, s > 0

1.2

1
6

0.8

Amplitude

0.4

log2(s) 4 3 2

0.6

0.2

0.2 100 200 300 400 500 600 700 800 900 1000

Temps

1 0 100 200 300 400 500 600 700 800 900 1000

Signal

TOC (ondelette Sombrero)

(LJK, Grenoble)

14 / 60

Rappels sur les lignes de maxima

Cadre 1D

Modules Maxima de la TOC (Mallat)


Module maximum : point de lespace-chelle (u0 , s0 ) tel que e u |Wf (u, s0 )| est localement maximum en u = u0 MM associs ` des singularits (discontinuits, maxima locaux de la e a e e courbure, ...) Notion de Maxima Line : pour certaines ondelettes, les MM se propagent vers les chelles nes (Hummel, Poggio, Yuille) e
9 8

100

200

300

400

500

600

700

800

900

1000

Ensemble des ML

(LJK, Grenoble)

15 / 60

Rappels sur les lignes de maxima

Cadre 1D

Transforme en ondelette et rgularit Lipschitzienne e e e

f : R R -Lipschitz en t0 ( ]0, 1[) |f (t) f (t0 )| K |t t0 | t R

Proprit de la TOC dune fonction -Lipschitz (Arneodo, Jaard) ee |Wf (u, s)| As u R, s > 0

(LJK, Grenoble)

16 / 60

Rappels sur les lignes de maxima

Cadre 1D

Estimation de la rgularit Lipschitzienne par ondelettes e e

Direntes approches quant ` la rgularit Lipschitzienne e a e e Etude de la rpartition globale des rgularits e e e Applications ` ltude de signaux multifractaux (Arneodo98) a e Estimation en certains points singuliers, par rgression linaire aux e e nes chelles le long de Maxima Lines e Applications : dtection et caractrisation de singularits (Mallat92) e e e

(LJK, Grenoble)

17 / 60

Rappels sur les lignes de maxima

Cadre 2D

Lignes de maxima en 2D

A chaque chelle s, maxima dans lespace R2 (en un certain sens) e Pour certains types de maxima, proprit de persistance ee ` mesure que lchelle diminue a e Courbes connexes de lespace-chelle R2 R e + appeles lignes de maxima : (x(s), y (s))s>0 e Cadre 2D, direntes lignes e Maxima Lines, associes aux modules maxima dune TOC 2D e Lignes de Canny, permettant de suivre des points de contour en fonction de lchelle e

(LJK, Grenoble)

18 / 60

Rappels sur les lignes de maxima

Cadre 2D

Transforme en ondelette continue 2D e


Ondelette 2D : R2 R, image dintensit f : R2 R e TOC 2D (normalise L1 ) e Wf (x, y , s) = 1 s2
50

f (u, v )
R2

ux v y , s s
50

dudv

100

100

150

150

200
0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 5 5 0 0 5 5

200

250

250

300

300

350

350

400

400

450

450

500 50 100 150 200 250 300 350 400 450 500

500 50 100 150 200 250 300 350 400 450 500

Ondelette G

Image

TOC 2D

(LJK, Grenoble)

19 / 60

Rappels sur les lignes de maxima

Cadre 2D

Notion de Maxima Line en 2D

Maxima Line (ML) : courbe connexe forme de modules maxima e dune TOC 2D ML : (x(s), y (s), s, Wf (x(s), y (s), s)) o` pour tout s > 0, (x(s), y (s)) est un maximum local de |Wf (., ., s)| u

Pour londelette G , existence de ML se prolongeant jusquaux chelles les plus nes (principe du maximum) e

Proprit de conservation des ML, sous leet dune dformation ee e ane ou dun changement dchelle e

(LJK, Grenoble)

20 / 60

Rappels sur les lignes de maxima

Cadre 2D

Construction numrique des Maxima Lines en 2D e


A chaque chelle, calcul dune TOC et dtermination des MM e e R`gles de cha e nage dune chelle ` une autre e a Construction numrique en N log(N) (N : taille des donnes) e e

50

50

50

100

100

100

150

150

150

200

200

200

250 50 100 150 200 250

250 50 100 150 200 250

250 50 100 150 200 250

Image Barbara

Echelle ne

Echelle intermdiaire e

(LJK, Grenoble)

21 / 60

Rappels sur les lignes de maxima

Cadre 2D

Notion de ligne de Canny


Singularits spciques au cadre 2D : points de contour e e Maxima au sens de Canny (MC) : lieux o`, suivant la direction du u gradient, le module du gradient est localement maximum Formulation multichelles (Mallat) e Gradient (f s ) o` s est un noyau de lissage 2D u Module du gradient Mf (x, y , s) et orientation de celui-ci Af (x, y , s) Ligne de Canny : courbe connexe forme de MC e LC : (x(s), y (s), s, Mf , Af ) Rsultat empirique, construction des lignes e

(LJK, Grenoble)

22 / 60

Rappels sur les lignes de maxima

Cadre 2D

Construction numrique des lignes de Canny e

R`gles de cha e nage conduisant ` des lignes de Canny (LC) a Construction numrique en N log(N) (N : taille des donnes) e e
50 50 50 100 100

150 100

150

200

200

250 150

250

300

300

350 200

350

400

400

450 250 50 100 150 200 250

450

500 50 100 150 200 250 300 350 400 450 500

500 50 100 150 200 250 300 350 400 450 500

Image Barbara

Echelle ne

Echelle intermdiaire e

(LJK, Grenoble)

23 / 60

Rappels sur les lignes de maxima

Cadre 2D

Estimation de la rgularit grce aux lignes de maxima e e a

Rgularit Lipschitzienne R : rgularit locale de limage e e e e Cette rgularit R caractrise le type de singularit e e e e e =0 Fronti`re Ligne = 1 Point isol = 2 e

Estimation par rgression linaire en des points particuliers : origines e e des lignes de maxima log Ms log s avec Ms = Wf (x(s), y (s), s) pour les ML et Ms = Mf (x(s), y (s), s) pour les LC

(LJK, Grenoble)

24 / 60

Rappels sur les lignes de maxima

Cadre 2D

Synth`se sur les lignes de maxima e


Deux types de lignes Maxima Lines : modules maxima de londelette G Lignes de Canny : maxima de Canny (gradient), points de contour Applications ` la dtection de caractristiques locales ou ponctuelles a e e Origines des lignes : localisation de certaines singularits e Aux plus petites chelles : caractrisation du type de singularit e e e (rgularit Lipschitzienne) e e Spcicit des ML e e
Echelle associe ` un maximum local de la rponse : chelle e a e e caractristique associe ` un certain objet e e a Caractrisation dobjets par les ML associes e e

(LJK, Grenoble)

25 / 60

Applications ` la dtection de structures remarquables a e

Dtection de rgions dintrt en vision par ordinateur e e ee Rappels sur les lignes de maxima Applications ` la dtection de structures remarquables a e Caractrisation de singularits ponctuelles e e Dtection de blobs par ML e

(LJK, Grenoble)

26 / 60

Applications ` la dtection de structures remarquables a e

Caractrisation de singularits ponctuelles e e

Dtection de singularits ponctuelles par lignes de maxima e e

Slectionner des lignes pertinentes e


traversant susamment dchelles e ne correspondant pas ` du bruit a

Origine des lignes : singularits (MM, MC) e Caractrisation de ces singularits : rgularit R e e e e Invariance, robustesse de la rgularit R, sous linuence de e e transformations de limage ?

(LJK, Grenoble)

27 / 60

Applications ` la dtection de structures remarquables a e

Caractrisation de singularits ponctuelles e e

Inuence dune dformation gomtrique sur e e e

Image originale f Image dforme g e e f (X ) = g (BX ), B GL2 (dformation ane) e Pour [0, 1[, f -Lipschitz = g -Lipschitz Interprtation : tant quune dformation ne change pas la nature dune e e singularit, la rgularit Lipschitzienne associe nest pas modie. e e e e e

(LJK, Grenoble)

28 / 60

Applications ` la dtection de structures remarquables a e

Caractrisation de singularits ponctuelles e e

Qualit de lestimation de e
10

20

30

40

50

60 10 20 30 40 50 60

20

40

60

80

100

120 20 40 60 80 100 120

20

40

60

80

100

120 20 40 60 80 100 120

Image Fronti`re ( = 0) e ML LC Ligne ( = 1) ML LC Point Isol ( = 2) e ML LC

(1) 0.15 0.08 -0.98 -1.00 -1.98 -2.00

(2) -0.04 0.08 -0.90 -0.97 -1.74 -1.91

(3) 0.09 0.04 -0.74 -0.87 -1.87 -1.78

Globalement, les LC conduisent ` une estimation de a lg`rement meilleure que les ML e e

(LJK, Grenoble)

29 / 60

Applications ` la dtection de structures remarquables a e

Caractrisation de singularits ponctuelles e e

Qualit de lestimation de la rgularit e e e


2.5 x 10
4

900

Modules Maxima
2

800

Maxima au sens de Canny

700

Nombre de maxima

600
1.5

500

400

300
0.5

200

100
10 20 30 40 50 60 70 80 90 100

Echelle

0 3

2.5

1.5

0.5

0.5

1.5

Nombre de MM et de MC en fonction de lchelle e (bruit blanc Gaussien 2D)

Histogramme des rgularits e e (image Barbara)

Quantitativement : plus de LC que de ML Qualitativement : meilleurs rsultats pour les LC que les ML e Sur Barbara, nombreuses rgularits comprises entre 1 et 0.5, o` e e u lestimation est satisfaisante (en dpit dun certain biais) e Robustesse de lestimation par les LC ?
(LJK, Grenoble) 30 / 60

Applications ` la dtection de structures remarquables a e

Caractrisation de singularits ponctuelles e e

Robustesse de lestimation de (rotation)


0.7 0.75 0.8 Regularite 0.85 0.9 0.95 1 1.05 1.1

20

40 60 Angle (en degres)

80

0.14

0.12

0.1 Regularite

0.08

0.06

0.04

0.02

20

40 60 Angle (en degres)

80

Estimation robuste ` la rotation (existence dun biais) a


(LJK, Grenoble) 31 / 60

Applications ` la dtection de structures remarquables a e

Caractrisation de singularits ponctuelles e e

Robustesse de lestimation (dformation ane) e

Deux images, originale et dforme (dformation ane connue) e e e Estimation de rgularit en des points e e
i i i i issus de limage originale pO = (xO , yO ) : O j j j j issus de limage dforme pD = (xD , yD ) : D e e

j i Connaissant la dformation, appariements du type (pO , pD ) e j i Calcul de la dirence d = |O D | e La proportion dappariements pour lesquels d < 0.2 reprsente e

80% pour limage Barbara 97% pour une image gomtrique reprsentant un carr e e e e

(LJK, Grenoble)

32 / 60

Applications ` la dtection de structures remarquables a e

Caractrisation de singularits ponctuelles e e

Illustration sur une image naturelle


2 images, originale et dforme (changement dchelle et rotation) e e e Estimation de rgularits ponctuelles par les LC e e

Bleu

0 (fronti`res) e 1 (lignes) 2 (points)

Vert

Rouge

(LJK, Grenoble)

33 / 60

Applications ` la dtection de structures remarquables a e

Caractrisation de singularits ponctuelles e e

Conclusion sur la rgularit Lipschitzienne e e

Les lignes de Canny apparaissent comme mieux adaptes ` e a lestimation de la rgularit Lipschitzienne e e Cette estimation de en des points singuliers sav`re robuste ` des e a dformations gomtriques e e e Autres tests, robustesse vis ` vis de lajout de bruit a Existence dun certain biais par rapport aux valeurs attendues sur une image gomtrique e e

(LJK, Grenoble)

34 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Approche originale pour la dtection de blobs par ML e

Liens entre Scale-Space et ondelettes Nouveau mcanisme de slection dchelle fond sur les ML e e e e Dtecteur de rgions dintrt par ML e e ee Caractrisation des objets dtects par ML e e e

(LJK, Grenoble)

35 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Liens entre Scale-Space et ondelettes

Echelle Oprateur e

Scale-Space t Fonction des drives e e de L = f Gt

Ondelettes s TOC 2D Wf (x, y , s)

Gnralisations permises par les ondelettes e e (fonction chelle 2D au lieu dun noyau Gaussien) e Originalit de lapproche par ondelettes : lignes de maxima e

(LJK, Grenoble)

36 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Liens entre Scale-Space et ondelettes

Remarque sur loprateur Laplacien e Dtection de structures 2D de type blob e Oprateur t L, L = f Gt e Pour = 1, t L = tL = tf Gt = f (G )t

Consquence : galit entre e e e la TOC 2D Wf (x, y , t), ondelette G , normalisation L1 loprateur Laplacien issu du Scale-Space tL(x, y , t) e

(LJK, Grenoble)

37 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Pertinence des lignes de maxima

Liens entre Scale-Space et ondelettes Existence de lignes de maxima Comportement des lignes vis ` vis de dformations gomtriques a e e e Construction numrique de lignes de maxima e Pertinence des lignes de maxima issues de transformes en ondelettes e pour la dtection de structures remarquables e lesquelles pourront tre associes ` des rgions dintrt e e a e ee

(LJK, Grenoble)

38 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Nouveau mcanisme de slection dchelle e e e

Dtection de structures 2D de type blob e Slection de maxima le long de ML e (maximum local en chelle de la rponse le long dune ML) e e Comparaison avec la slection classique e (maximum en espace et en chelle) e Conditions sur les proprits des ML plutt que sur un seuillage ee o Existence de jonction de ML Intrt : association entre ML et objets prsents dans limage ee e

(LJK, Grenoble)

39 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Notion de jonction de ML (1D)


1.2

1.2

0.8

0.8

0.6

Amplitude

0.6

0.4

0.4

0.2

0.2

0.2

0.2 100 200 300 400 500 600 700 800 900 1000

0.4

Temps

0.6 5

Signal
9 8 7

Ondelette Sombrero

100

200

300

400

500

600

700

800

900

1000

Ensemble des ML
(LJK, Grenoble)

Lignes associes ` du bruit e a Lignes isoles e Lignes impliques dans une jonction e
40 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Notion de jonction de ML (1D)

Rponses |Wf (u(s), s)| associes ` direntes ML (u(s), s) e e a e


0.09 0.34 0.5 0.08 0.32 0.07 0.3 0.4 0.45 0.35

Reponse |Wf|

Reponse |Wf|

Reponse |Wf|

0.06

0.3

0.05

0.28

0.25

0.04

0.26

0.2

0.03

0.24 0.02 0.22 0.01

0.15

0.1

0.05

s*
0 5 10 15 20 25 30 35 40 45 50 0.2 20 40 60 80 100 120 0 20 40 60 80 100 120

Echelle s

Echelle s

Echelle s

ML bruit

ML isole e

ML implique e dans une jonction

(LJK, Grenoble)

41 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Notion de jonction de ML (1D)

Lignes remarquables : ML ayant la double proprit ee jonction en (u , s ) Mise en vidence de certains objets : jonction de ML e dlimits par des singularits, en u0 et u1 e e e associs ` une jonction de ML (u , s ) e a maximum local de la rponse u |Wf (u(s), s)| en s = s e

(LJK, Grenoble)

42 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Jonction de ML en 2D Objets associs e


Lien empirique entre jonction de ML et maximum local de la rponse e le long de ces ML Les jonctions permettent une association entre des ML et certains objets prsents dans limage (dlimits par des singularits) e e e e
100

80
0.8

110

100

0.7

120

0.6

120
0.5

130

Reponse

0.4

140

0.3

140

160

0.2

150

0.1

180
0 5 10 15

80

100

120

140

160

180

160

s*

20

25

30

35

40

100

110

120

130

140

150

160

Echelle s

ML extrieures e

ML intrieures e

Rponse associe e e ` une ML intrieure a e


43 / 60

(LJK, Grenoble)

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Dtecter des objets en 2D (Damerval, Meignen) e

Construire toutes les ML associes ` une image e a Slectionner un certain nombre de ML Li pour lesquelles la rponse e e admet un maximum en (xi , yi , si ) Regrouper celles ayant les mmes (xi , yi , si ) e Mise en vidence dun objet caractris par les ML associes e e e e
Jonction de ML (x , y , s ) Origines des ML (xi0 , yi0 )

(LJK, Grenoble)

44 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Notion dchelle caractristique Rappel e e

Approche globale, chelle caractristique moyenne (Luo07) e e Approche locale, chelle caractristique dun objet (Lindeberg98) e e Image originale f , image dforme f1 , dnie par e e e f (x, y ) = f1 (x, y ) ( > 0) Si (x, y , t) tL(x, y , t) admet un maximum local en (x , y , t ) alors tL1 (x, y , t) admet un maximum local en (x , y , 2 t ) et les rponses associes sont identiques e e = : chelle caractristique dun objet prsent dans limage s e e t e localis en (x , y ) e L = f Gt , L1 = f1 Gt

(LJK, Grenoble)

45 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Echelle caractristique par ML e

Pour un point dintrt (x , y , s ), chelle caractristique classique s ee e e Pour une ML dont la rponse admet un maximum local en (x , y , s ) e et dont lextrmit est localise en (x0 , y0 ) e e e S = (x x0 )2 + (y y0 )2

Pour une jonction de plusieurs ML Li S = mdiane{Si } e En pratique, S 2s

(LJK, Grenoble)

46 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Echelle caractristique par ML Illustration e

50

50

50

100

100

100

150

150

150

200

200

200

250 50 100 150 200 250

250 50 100 150 200 250

250 50 100 150 200 250

ML associes e ` une jonction a

Echelles caractristiques e e Si associes aux ML

Echelle caractristique e S associe ` lobjet e a

(LJK, Grenoble)

47 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Echelle caractristique par ML - Robustesse e

Image reprsentant un disque, dirents niveaux de bruit e e Echelle caractristique par ML robuste au bruit e
20
12.5

Nombre de ML pertinentes

18 16 14 12 10 8 6 4 2 25 20 SNR (dB) 16
10 12

Echelle caracteristique

11.5

11

10.5

9.5

26

20

16

14

12

10

SNR (dB)

Nombre de ML

Echelle S

(LJK, Grenoble)

48 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Dtecteur par ML sur des images gomtriques e e e

50 100 150 200 250 300 350 400 450 500 100 200 300 400 500
250 50 100 150 200 250 200 150 100 50

Cas non bruit e

Cas bruit e

(LJK, Grenoble)

49 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Dtecteur par ML sur des images naturelles e

Ncessit de quantier si le dtecteur par ML permet de dtecter e e e e direntes rgions dintrt indpendamment des conditions dobservation e e ee e (et ainsi dextraire des caractristiques invariantes par la suite) e

(LJK, Grenoble)

50 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Performance dun dtecteur Notion de rptabilit e e e e

Deux images I1 et I2 , associes ` n1 et n2 rgions dintrt e a e ee Connaissant la dformation, mesurer les erreurs de recouvrement e Dterminer un certain nombre de correspondances entre rgions e e Score de rptabilit RS = e e e
nbCorrespondances min(n1 ,n2 )

(0 RS 1)

(LJK, Grenoble)

51 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Performance dun dtecteur Tests de rptabilit e e e e


8 squences de 6 images : eet de dformations gomtriques, ... e e e e Mesure pratique : score de rptabilit (exprim en %) e e e e

Image de rfrence ee

Image dforme e e

Courbes de rptabilit e e e

Source : Robotics Research Group, Oxford

(LJK, Grenoble)

52 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Performances du dtecteur ML e
Rsultats corrects, mais infrieurs aux meilleurs dtecteurs actuels e e e Diversit des objets 2D, les ML permettent den mettre en vidence e e une partie (conditions strictes imposes par les ML, objets dlimits e e e par des singularits) e
100 90 80 70 60 50 40 30 20 10 0 100 90 80 70 60 50 40 30 20 10 0 20

1.2

1.4

1.6 1.8 2 2.2 Facteur de changement dechelle

2.4

2.6

2.8

25

30 35 40 45 50 Angle du changement de point de vue

55

60

Changement dchelle e et rotation


(LJK, Grenoble)

Changement de perspective

53 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Estimation de la forme dun objet

Probl`me : dterminer une forme sommaire de lobjet associ ` un e e ea point dintrt ee Approche classique : estimation dune ellipse par un algorithme de Shape Adaptation (Lindeberg) Convergence dans 50% des cas en pratique Approche par ML
0 0 e Origines des ML (xk , yk )kK : singularits Estimation dune ellipse

(LJK, Grenoble)

54 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Estimation la forme dun objet par ML

Point dintrt (x , y , S ) ee

Estimation dune ellipse : F (x, y ) = 0 avec F : R2 R F (x, y ) = 1 x 2 + 2 y 2 + 3 xy + 4 x + 5 y + 6


0 0 Estimation des param`tres ` partir des origines des ML (xk , yk )kK e a Possibilit de xer le centre en (x , y ) e Possibilit de normaliser laire de lellipse ` S 2 e a

(LJK, Grenoble)

55 / 60

Applications ` la dtection de structures remarquables a e

Dtection de blobs par ML e

Estimation la forme dun objet par ML

20

20

40

40

60

60

80

80

100

100

120 20 40 60 80 100 120

120 20 40 60 80 100 120

Point dintrt ee (x , y , S )

Ellipse estime e (centre x, aire normalise) e e

Estimation robuste au bruit pourvu quil y ait susamment de ML Importance du nombre de ML impliques dans une jonction e

(LJK, Grenoble)

56 / 60

Conclusion Apports de lapproche par lignes de maxima

Mcanisme de slection dchelle, utilisant les proprits des ML e e e ee plutt quun seuillage o Grandeurs caractristiques robustes e
Rgularit Lipschitzienne associe ` des points singuliers e e e a Echelle caractristique de lobjet, fonde sur une distance e e

Estimation de la forme de lobjet par ML (ellipse) alternative ` lalgorithme de Shape Adaptation (Lindeberg) a

(LJK, Grenoble)

57 / 60

Perspectives
Jonction de ML et maximum local de la rponse le long de celle-ci e Cadre dexistence de lignes de maxima plus gnrales e e Utilisation de lignes de maxima plus gnrales e e (caract`re complmentaire des ML et des LC) e e Test de rptabilit portant sur la rgularit Lipschitzienne e e e e e Caractrisation des structures 2D, comme par ex. e e ML impliques dans une jonction rgularits Lipschitziennes e e blob, dtecteur ML, e e e chelle caractristique S estimation de la forme par ML
(LJK, Grenoble) 58 / 60

Bibliographie

A. Almansa, T. Lindeberg. Fingerprint enhancement by shape adaptation of scale-space operators with automatic scale-selection. IEEE Transactions on Image Processing, 12(9) :2027-2042, 2000. C. Damerval, S. Meignen. Blob detection with wavelet maxima lines. IEEE Signal Processing Letters, 14(1) :3942, 2007. C. Damerval, S. Meignen. Computation of blob-like structures characteristic scale with wavelet maxima lines. Proceedings of the 6th Conference on Curves and Surfaces, pp. 111120. Nashboro Press, June 29 - July 5, 2006. T. Lindeberg. Feature detection with automatic scale selection. International Journal of Computer Vision, 30(2) :77116, 1998. K. Mikolajczyk, T. Tuytelaars, C. Schmid, A. Zisserman, J. Matas, F. Schaalitzky, T. Kadir, L. V. Gool. A comparison of ane region detectors. International Journal of Computer Vision, 62(1) :4372, 2005. K. Mikolajczyk, C. Schmid. Scale and ane invariant interest point detectors. International Journal of Computer Vision, 60(1), 2004.

(LJK, Grenoble)

59 / 60

Merci de votre attention

(LJK, Grenoble)

60 / 60