Soutenance

Introduction Cadre th eorique Recalage de couples dimages Recalage de s equences dimages Conclusion g en erale
Mod` eles de recalage classiant pour

limagerie m edicale
Mohamed Hachama
Directeurs : Agn` es Desolneux et Fr ed eric Richard
Laboratoire de Math ematiques Appliqu ees ` a Paris 5
Universit e Paris Descartes
Soutenance de th` ese
22 juin 2008
1 / 113
Probl ematique
Probl ` eme trait e :
Comment peut-on comparer et mettre en correspondance
des images qui ne sont pas compl ` etement similaires ?
Situations pratiques
D etection de l esions par recalage
Analyse dimages dynamiques
Solutions propos ees : mod` eles de recalage classiant
Deux classes connues .
Deux classes inconnues .
Plusieurs classes inconnues .
2 / 113
Probl ematique
3 / 113
Probl ematique
4 / 113
Probl ematique
Recalage et d etection de l esions
Image A Image B Abs(A B)
5 / 113
Probl ematique
Recalage et d etection de l esions
Image A Image d eform ee B Abs(AB)
6 / 113
Probl ematique
7 / 113
Probl ematique
8 / 113
Probl ematique
Analyse du rehaussement dynamique
9 / 113
Probl ematique
Image 1 Image 2
10 / 113
Probl ematique
11 / 113
Probl ematique
12 / 113
Plan
Introduction
Cadre th eorique
Recalage de couples dimages
Recalage ` a deux classes
Recalage classiant ` a deux classes
Recalage de s equences dimages
Recalage classiant multiclasses
Applications
Conclusion g en erale
13 / 113
Cadre th eorique
14 / 113
Notations

d
= {0, ..., m1} {0, ..., n 1}, N = m.n
= [0, m1] [0, n 1].
I : image source (prototype), d enie sur ;
J : image cible, observ ee sur
d
;
D eformations : W L
2
(, ).
Image source d eform ee : I
= I .

s
et
r
: vecteurs de param` etres.
15 / 113
Formulation bay esienne
R` egle de Bayes :
(|I, J, ) =
(J|I, ,
s
) (|I,
r
)
(I, J)
Maximum A Posteriori
Trouver dans lespace W le maximum de :
F() = (J|I, ,
s
) (|
r
)
Minimisation d energie
E() = S(J, I, ;
s
) + R(;
r
)
16 / 113
Mesures de similarit e classiques
Mesures statistiques (Roche, Malandin et Ayache 00)
Erreur quadratique moyenne : pr eservation dintensit e.
Coefcient et rapport de corr elation : relation fonctionnelle.
Information mutuelle : relation statistique.
Une seule relation globale est suppos ee entre les images !
17 / 113
Mesures de similarit e classiques
Mesures statistiques (Roche, Malandin et Ayache 00)
Erreur quadratique moyenne : pr eservation dintensit e.
Coefcient et rapport de corr elation : relation fonctionnelle.
Information mutuelle : relation statistique.
Une seule relation globale est suppos ee entre les images !
18 / 113
Recalage robuste
Recalage robuste
Estimateurs robustes (Flot optique : Black et al. 92).
S(J, I, ;
s
) =
N
i =1
(J(x
i
) I
(x
i
);
s
)
M elange de lois (Flot optique : Black et Jepson 93)
(J(x)|I(x), ,
s
) = (1 p)
n
(J(x)|I(x), ,
s
)
+ p
out
(J(x)|I(x), ,
s
)
Absence de possibilit e dincorporation dinformations a
priori sur la localisation et la forme dune l esion.
19 / 113
Recalage robuste
Recalage robuste
S(J, I, ;
s
) =
N
i =1
(J(x
i
) I
(x
i
);
s
)
(J(x)|I(x), ,
s
) = (1 p)
n
(J(x)|I(x), ,
s
)
+ p
out
(J(x)|I(x), ,
s
)
20 / 113
Recalage robuste
Recalage robuste
S(J, I, ;
s
) =
N
i =1
(J(x
i
) I
(x
i
);
s
)
(J(x)|I(x), ,
s
) = (1 p)
n
(J(x)|I(x), ,
s
)
+ p
out
(J(x)|I(x), ,
s
)
21 / 113
22 / 113
Nouvelle approche
Vraisemblance
(J(x)|I(x), ,
s
) = (1 p)
n
(J(x)|I(x), ,
s
)
+ p
out
(J(x)|I(x), ,
s
)
R egularisation : d enir un a priori (L)
Utiliser des mod` eles de m elange pour d ecrire les
variations de niveaux de gris sur chaque classe.
Utiliser des champs de Markov pour mod eliser laspect
spatial des classes : forme et localisation.
23 / 113
Nouvelle approche
Vraisemblance
(J(x)|I(x), ,
s
) = (1 p)
n
(J(x)|I(x), ,
s
)
+ p
l
(J(x)|I(x), ,
s
)
24 / 113
Nouvelle approche
Vraisemblance
(J(x)|I(x), ,
s
) = (1 L(x))
n
(J(x)|I(x), ,
s
)
+ L(x)
l
(J(x)|I(x), ,
s
)
25 / 113
Nouvelle approche
Vraisemblance
(J(x)|I(x), ,
s
) = (1 L(x))
n
(J(x)|I(x), ,
s
)
+ L(x)
l
(J(x)|I(x), ,
s
)
26 / 113
Formulation
Champ d etiquettes sur les pixels :
E(x) =
_
1 si une l esion est au pixel x de limage J,
0 sinon.
Carte de l esion :
x
d
: L(x) = (E(x) = 1).
27 / 113
Maximum A Posteriori :
= ArgMax (|I, J, , L)
= ArgMax (J|I, ,
s
, L) (|
r
).
Vraisemblance :
(J|I, ,
s
, L) =
N
i =1
(J(x
i
)|I
(x
i
),
s
, L(x
i
)).
(J(x
i
)|I
(x
i
), L(x
i
),
s
) =
n
(.) + .
28 / 113
= ArgMax (J|I, ,
s
, L) (|
r
).
Vraisemblance :
(J|I, ,
s
, L) =
N
i =1
(J(x
i
)|I
(x
i
),
s
, L(x
i
)).
(J(x
i
)|I
(x
i
), L(x
i
),
s
) =
n
(.) (1 L(x
i
)) +
l
(.) L(x
i
).
29 / 113
= ArgMax (J|I, ,
s
, L) (|
r
).
Vraisemblance :
(J|I, ,
s
, L) =
N
i =1
(J(x
i
)|I
(x
i
),
s
, L(x
i
)).
(J(x
i
)|I
(x
i
), L(x
i
),
s
) =
n
(.) (1 L(x
i
)) +
l
(.) L(x
i
).
30 / 113
Choix des diff erents termes
Mod` ele des tissus normaux
n
Mod` ele Gaussien : J(x) I((x)) +N(
0
,
2
0
)
Mod` ele de l esion
l
Uniforme :
l
(J(x)|I
(x)) =
1
256
.
Mod` eles Gaussiens :
J(x) N(
1
,
2
1
)
J(x) I
(x) N(
1
,
2
1
)
Terme de r egularit e : = Id + u ;
r
= (, ).
R(;
r
) =
1
2
_
i =1
2
j =1
2
(
u
i
(x)
x
i
)(
u
j
(x)
x
j
) +

4
(
u
i
(x)
x
j
+
u
j
(x)
x
i
)
2
dx.
31 / 113
Exemple synth etique
Source Cible V erit e
32 / 113
EQM Robuste Recal. ` a 2 classes
33 / 113
V erit e EQM Recal. ` a 2 classes
34 / 113
Segmentation par transport de prototype
35 / 113
36 / 113
37 / 113
38 / 113
Th eorie
Calculer le MAP de :
(, L,
s
|I, J,
r
) (J|I, L, ,
s
,
r
) . (, L,
s
|I,
r
)
(J|I, L, ,
s
) (|
r
) (L) (
s
).
(L) : mod` ele de Bernoulli (Ising), mod` ele Gaussien, ...
39 / 113
R esolution num erique
Descente de gradient
Param etrisation des d eformations : approximations par
el ements nis
Recuit simul e
D enition de la priori elastique comme un champ gaussien
sur les grilles des el ements nis

Echantillonnage de la posteriori par MCMC
40 / 113
R esolution num erique
Descente de gradient
Param etrisation des d eformations : approximations par
el ements nis
Recuit simul e
D enition de la priori elastique comme un champ gaussien
sur les grilles des el ements nis

Echantillonnage de la posteriori par MCMC
41 / 113
Application du recalage classiant ` a deux classes
Recalage de paires de mammographies
Source Cible Diff erences
42 / 113
EQM Cible Diff erences
43 / 113
Recal. classif. Cible Diff erences
44 / 113
Donn ees simul ees
Int er et de la simulation.
Images : imagettes de mammographies r eelles.
D eformations : tirage al eatoire selon la priori de
l elasticit e.
L esions : r egions circulaires de contraste diff erent de son
voisinage (distribution gaussienne).
J(x) =
_
I((x)) + N(
0
,
2
0
) si ||x x
0
|| > R,
I((x)) + N(
1
,
2
1
) si ||x x
0
|| R.
Param` etres : taille et contraste de la l esion, d eformation
r eelle (432 cas).
45 / 113
Donn ees simul ees
Exemple de couple dimages simul ees
46 / 113
Donn ees simul ees : r esultats
Comparaison globale entre le recalage classiant et lEQM
47 / 113
Comparaison entre le recalage classiant et lEQM
48 / 113
Comparaison des r esultats de d etection : courbes ROC
49 / 113
Donn ees simul ees : conclusions
Comparaison entre le recalage classiant et EQM
Am elioration du recalage sur les l esions.
R esultats de recalage comparables sur les r egions
normales.
Am elioration de la d etection en r eduisant le taux de faux
positifs.
50 / 113
Recalage multiclasses
de s equences dimages
51 / 113
Images dynamiques de perfusion
Applications : classication des pixels (diff erents tissus),
d etection et diagnostique de tumeurs, ...
52 / 113
Applications : classication des pixels (diff erents tissus),
d etection et diagnostique de tumeurs, ...
53 / 113
Probl ` emes
Bruit : faible rapport SNR (dose de radiation limit ee), erreur
math ematique de reconstruction dans des images
tomographiques, ...
Mouvements du patient et les diff erents mouvements
physiologiques : respiration, battements cardiaques,
p eristaltisme(tube digestif), ...
Solutions : mod` eles math ematiques
Estimation robuste des courbes de rehaussement
Recalage dimage pour corriger le mouvement
54 / 113
Probl ` emes
Bruit : faible rapport SNR (dose de radiation limit ee), erreur
math ematique de reconstruction dans des images
tomographiques, ...
Mouvements du patient et les diff erents mouvements
physiologiques : respiration, battements cardiaques,
p eristaltisme(tube digestif), ...
Solutions : mod` eles math ematiques
Estimation robuste des courbes de rehaussement
Recalage dimage pour corriger le mouvement
55 / 113
Estimation des courbes de rehaussement
Probl ` emes
Les courbes obtenues directement ` a partir des images
contiennent beaucoup de points aberrants
Approches classiques
Courbe moyenne calcul ee sur une r egion dint er et (ROI)
Les ROI peuvent etre h et erog` enes.
Estimation p enalis ee par lutilisation da priori
- Mod` eles pharmacocin etiques : mod elisation physiologique
- Mod` eles heuristiques param etriques : ne reposent sur
aucune hypoth` ese de mod elisation physiologique.
56 / 113
Probl ` emes
57 / 113
Probl ` emes
58 / 113
Recalage
Recalage utilisant une segmentation initiale (N. Rougon
05, ...)
Segmentation de limages source
Un crit ` ere r egionalis e : une relation pour chaque r egion
59 / 113
Recalage
05, ...)
60 / 113
Recalage
05, ...)
61 / 113
Recalage
05, ...)
Dans des images de perfusion, la segmentation se fait en
fonction des courbes estim ees de rehaussement et
d epend donc du recalage.
62 / 113
Recalage
Combinaison du recalage dimages et de lestimation des
courbes de rehaussement (Hayton et al. 1997, ...).
Lestimation des courbes de rehaussement en chaque pixel
est tr ` es sensible au bruit et lourde en temps de calcul.
63 / 113
Recalage
64 / 113
Recalage
65 / 113
Recalage
66 / 113
Recalage
67 / 113
Recalage
68 / 113
Recalage
69 / 113
Recalage
Combinaison du recalage dimages et de lestimation des
courbes de rehaussement (Hayton et al. 1997, ...).
Lestimation des courbes de rehaussement en chaque pixel
est tr ` es sensible au bruit et lourde en temps de calcul.
70 / 113
Apercu de notre m ethode
71 / 113
72 / 113
73 / 113
74 / 113
Notations
Images observ ees :
J
t
:
d
R , t T (T = Ensemble du temps)
Prototype temporel :
I : T R
D eformations : (
t
)
t T
t T : I(
t
(.), t ) J
t
75 / 113
Algorithme de Classication/Estimation
Objets : les pixels (x
i
)
N
i =1
Caract eristiques : courbes ponctuelles de rehaussement
(C
i
)
N
i =1
,
C
i
(t ) = J
t
((
t
)
1
(x
i
)) , t T.
Inconnues : le nombre de classes K, les classes de
classes (
k
)
K
k=1
, et les centres des classes (C
k
)
K
k=1
(Courbes de rehaussement des classes).
76 / 113
A priori sur les centres de classes (Moate et al. 04).
H(t ; P) = P
1
+
P
2
+ P
5
.t
1 + expP
4
.(t P
3
)
; P = (P
i
)
5
i =1
.
0 5 10 15 20 25 30
95
100
105
110
115
120
125
130
Temps
S
i
g
n
a
l
P5
P4
P1
P2
P3
77 / 113
Minimiser l energie
E( K, (
k
)
k
, (P
k
)
k
) =
K
k=1
x
i
k
||C
i
H(.; P
k
)||
2
,
t.q. Min {||C
k
C
l
||, 1 k < l K} > Dmin.
78 / 113
Classication hi erarchique descendante
Classication nale : supprimer les classes ayant un
rehaussement non-plausible.
79 / 113
80 / 113
81 / 113
82 / 113
83 / 113
84 / 113
85 / 113
86 / 113
87 / 113
88 / 113
Scinder une classe en deux : une technique de
K-moyennes param etriques
i) Associer chaque pixel ` a la classe la plus proche en
consid erant les distances entre la courbe du pixel et les
centres des classes.
ii) Mise ` a jour des centres en ajustant des courbes th eoriques
aux moyennes arithm etiques des classes.
89 / 113
90 / 113
91 / 113
Formulation energ etique
Le probl ` eme de recalage classiant multi-classes s ecrit :
Minimiser l energie
E( (
t
)
t T
, K, (
k
)
k
, (P
k
)
k
) =
K
k=1
x
i
k
||C
i
H(.; P
k
)||
2
+
t T
_
R(
t
) +
N
i =1
_
I(
t
(x
i
) J(x
i
)
2
_
t.q. Min {||C
k
C
l
||, 1 k < l K} > Dmin.
92 / 113
Images CT : sections axiales
93 / 113
S equence abdominale
Taille des images : 512x512
53 images
Temps : echantillonnage non
uniforme
Thoracique s equence
Taille des images : 512x512
30 images
Temps : echantillonnage
uniforme
94 / 113
Prototype temporel
S equence abdominale
La s equence observ ee Prototype temporel estim e
95 / 113
Prototype temporel
S equence thoracique
La s equence observ ee Prototype temporel estim e
96 / 113
Classication et estimation
97 / 113
98 / 113
Ligne 1 : avant recalage ; Ligne 2 : apr ` es recalage.
99 / 113
S equence abdominale : classication et courbes de
rehaussement
Ligne 1 : avant recalage ; Ligne 2 : apr ` es recalage.
100 / 113
Courbes ponctuelles de rehaussement :*** Apr ` es recalage
101 / 113
Evaluation du recalage
Nombre moyen des pixels mal class es :
MPMC =
1
2
_
Card(R
t
s
V
t
) + Card(R
s
t
V
s
)
_
Coefcient de Jaccard :
JC
m
=
1
2
_
Card(R
t
s
V
t
)
Card(R
t
s
V
t
)
+
Card(R
s
t
V
s
)
Card(R
s
t
V
s
)
_
102 / 113
MPMC =
1
2
_
Card(R
t
s
V
t
) + Card(R
s
t
V
s
)
_
JC
m
=
1
2
_
Card(R
t
s
V
t
)
Card(R
t
s
V
t
)
+
Card(R
s
t
V
s
)
Card(R
s
t
V
s
)
_
103 / 113
MPMC =
1
2
_
Card(R
t
s
V
t
) + Card(R
s
t
V
s
)
_
JC
m
=
1
2
_
Card(R
t
s
V
t
)
Card(R
t
s
V
t
)
+
Card(R
s
t
V
s
)
Card(R
s
t
V
s
)
_
104 / 113
MPMC =
1
2
_
Card(R
t
s
V
t
) + Card(R
s
t
V
s
)
_
JC
m
=
1
2
_
Card(R
t
s
V
t
)
Card(R
t
s
V
t
)
+
Card(R
s
t
V
s
)
Card(R
s
t
V
s
)
_
105 / 113
MPMC =
1
2
_
Card(R
t
s
V
t
) + Card(R
s
t
V
s
)
_
JC
m
=
1
2
_
Card(R
t
s
V
t
)
Card(R
t
s
V
t
)
+
Card(R
s
t
V
s
)
Card(R
s
t
V
s
)
_
106 / 113
R esultats de recalage
R esultats obtenus ` a partir de segmentations de 6 images pour
chaque r egion anatomique.
MPMC JC
m
R egion Av Ap Av Ap
Aorte 50.7 54.3 0.917 0.911
Estomac 458.4 288.1 0.865 0.912
Foie 973.6 651.6 0.964 0.976
Tumeur 313.4 258.5 0.794 0.825
Rate 739 310.8 0.865 0.940
TAB.: S equence abdominale : r esultats du recalage
Av = Avant recalage
Ap = Apr ` es recalage
107 / 113
R esultats de recalage
R esultats obtenus ` a partir de segmentations de 6 images pour
chaque r egion anatomique.
MPMC JC
m
R egion Av Ap Av Ap
Aorte 50.7 54.3 0.917 0.911
Estomac 458.4 288.1 0.865 0.912
Foie 973.6 651.6 0.964 0.976
Tumeur 313.4 258.5 0.794 0.825
Rate 739 310.8 0.865 0.940
TAB.: S equence abdominale : r esultats du recalage
Av = Avant recalage
Ap = Apr ` es recalage
108 / 113
109 / 113
Probl ` eme trait e : existence de plusieurs classes de pixels.
Mod` ele 1 : recalage ` a deux classes
sapparente ` a un recalage robuste,
sapplique surtout pour la segmentation par transport de
prototype.
Mod` ele 2 : recalage classiant ` a deux classes
Combiner le recalage et la d etection.
Mod` ele 3 : recalage classiant multi-classes
Am eliorer lanalyse de s equences dimages de perfusion.
110 / 113
prototype.
111 / 113
prototype.
112 / 113
Perspectives
Recalage de couples dimages
Applications r eelles : images de rehaussement
D enition da priori sp eciques (en fonction de lapplication)
Algorithmes stochastiques rapides
Recalage de s equences dimages
Cadre th eorique pour le recalage classiant multiclasses
Impl ementation 3D
Collaboration avec lHEGP : tests des algorithmes en cours
113 / 113

Soutenance

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Soutenance

Transféré par

Droits d'auteur :

Formats disponibles

Introduction Cadre th eorique Recalage de couples dimages Recalage de s equences dimages Conclusion g en erale

Mod` eles de recalage classiant pour

Vous aimerez peut-être aussi