Vous êtes sur la page 1sur 186

UNIVERSIT DE NICE-SOPHIA ANTIPOLIS

cole doctorale de STIC

THSE
pour obtenir le titre de

Docteur en Sciences
de l'UNIVERSIT de Nice-Sophia Antipolis
Mention : Automatique, Traitement du Signal et des Images

prsente et soutenue par

Muriel GASTAUD
MODLES DE CONTOURS ACTIFS POUR LA SEGMENTATION D'IMAGES ET DE VIDOS

Thse dirige par Pr. Michel BARLAUD et Pr. Gilles AUBERT

soutenue le 6 dcembre 2005

Jury :
Gilles Aubert Patrick Bouthemy Henri Maitre Fernand Meyer Nikos Paragios Michel Barlaud Professeur des Universits (Nice-Sophia Antipolis) Directeur de recherche INRIA l'IRISA (Rennes) Professeur des Universits l'ENST (Paris) Directeur de recherche l'ENSMP (Paris) Professeur l'ECP (Paris) Professeur des Universits (Nice-Sophia Antipolis) Prsident Rapporteur Rapporteur Rapporteur Examinateur Directeur de thse

ii

Remerciements
En premier lieu, je tiens remercier l'ensemble des membres du jury pour m'avoir fait l'honneur de leur prsence et pour l'intrt qu'ils ont port mes travaux. Je remercie monsieur Gilles Aubert pour avoir accept de prsider ce jury, messieurs Patrick Bouthemy, Henri Maitre et Fernand Meyer, pour leur relecture attentive du manuscrit. Leurs commentaires m'ont t trs prcieux et ont largement contribu l'amlioration de ce document. Je remercie monsieur Nikos Paragios pour avoir accept de faire partie du jury.

Je remercie messieurs Pierre Bernhard et Jean-Marc Fdou, successivement directeurs du laboratoire I3S, pour m'avoir accueillie au sein de l'quipe CReATIVe.

Je remercie monsieur Michel Barlaud, responsable de l'quipe CReATIVe, pour avoir accept de diriger ma thse. Je le remercie pour son enthousiasme et pour l'implication dont il fait preuve l'gard de nos travaux et de notre devenir. Je le remercie pour l'attention qu'il porte chacun de ses thsards. Je remercie monsieur Gilles Aubert pour avoir co-dirig ma thse et pour m'avoir fait bncier de son exprience, de sa rigueur scientique, et pour son apport mathmatique, lment essentiel ce manuscrit.

Je tiens remercier monsieur Daniel Ga, mon tuteur de monitorat, monsieur Michel Barlaud, monsieur Vincent Granet, et madame Cline Theys Ferrari pour avoir guid mes premiers pas dans le monde enseignant. La diversit des domaines et des niveaux d'enseignement qu'ils m'ont permis d'eectuer ont rendu cette exprience trs enrichissante. J'y associe Stphanie, Frdric, Thomas, Sylvain et Stphane pour m'avoir accompagne dans cette aventure, ainsi que l'ensemble de mes lves.

Je souhaite remercier Micheline Hagnr, notre assistante de projet, pour son

iv

ecacit, sa gentillesse et son sourire. J'y associe l'ensemble du personnel administratif pour leur disponibilit et leur bonne humeur. Je remercie Guy Tessier pour sa gentillesse et son franc-parler. Je remercie Eric pour avoir redonn du soue cette seconde partie de thse, pour ses relectures minutieuses et ses corrections, ainsi que la diplomatie avec laquelle il sait rendre un crit rouge (ou vert) de suggestions. J'y associe l'ensemble des personnes qui, par leurs relectures et leurs remarques constructives, ont contribu amliorer ce manuscrit, et plus particulirement Frdric, toujours prsent quand on a besoin de lui, Marie, mon coach ociel

es

perspectives, mon Thomas, traducteur d'expressions

franco-mentonnaises, Ariane, contrainte de lire et de relire la contrainte gomtrique, et Vincent dtecteur d'erreurs dans la dtection de mouvement. Je remercie de tout cur l'ensemble des personnes qui ont contribu l'esprit CReATIVe : Annabelle, Arnaud, Christophe, Frdric et Marie, Frdric et Sabine, Lionel, Manuela et Simo (et Patricia), Marco, Olivier, Stphane, Stphanie, Valery ; ou qui y contribuent encore : Akram, Ariane, Blaise, Eric et Asun, Leonardo, Marie, Marie-Andre, Sylvain, Thomas, Vincent, Yasmine. Merci pour les pauses-caf, les randos, le roller, les journes au ski, ..., les ftes d'anniversaire et toutes les bonnes occasions de faire un repas entre amis, votre coute attentive de mes coups de blues et de mes coups de gueule, et votre indulgence envers mon humour. Vous tes la seule raison pour laquelle je continue de manger au resto U. Votre amiti m'est prcieuse. J'y associe l'ensemble des stagiaires qui ont renforc l'quipe, et les thsards du deuxime tage, qu'ils me pardonnent de ne pas les nommer tous. Petite pense mue pour les deux autres membres de la famille 126 disperse aux quatre coins de l'hexagone. Je remercie Thomas, en ce qui concerne cette thse, pour son aide, sa patience, ses encouragements et son soutien quotidien. Je joins ces remerciements sa famille : l'aection et l'attention qu'ils m'ont accordes, en particulier en priode de soutenance, m'ont beaucoup touche. Enn, je remercie mes parents, ma sur et ma famille, pour leur amour et leur soutien inconditionnels. Je leur ddie cette thse. Merci d'avoir toujours cru en moi. En retour, je promets Junior que sa tata le gtera, et lui souhaite, par avance, la bienvenue...

Table des matires


1 Introduction
1.1 1.2 Introduction la segmentation d'images . . . . . . . . . . . . Structure du manuscrit . . . . . . . . . . . . . . . . . . . . . .

1
1 4

I Introduction aux contours actifs


2 tat de l'art des contours actifs
2.1 2.2 2.3 2.4

9
11
12 13 14 16

Snakes

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Contours actifs gomtriques . . . . . . . . . . . . . . . . . . . Contours actifs godsiques Descripteurs de rgion . . . . . . . . . . . . . . . . . . . . . .

3 Approche variationnelle et gradients de forme


3.1 3.2 Descripteurs de contour et de rgion 3.2.1 3.2.2 3.3 . . . . . . . . . . . . . . Outils de drivation . . . . . . . . . . . . . . . . . . . . . . . . Introduction du schma dynamique dans le critre . . . Dnition d'une drive de domaine et thorme d'quivalence 3.3.1 3.3.2 3.4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19
21 22 22 24 25 25 26 28 28 35

Drivation de termes de contour et de rgion . . . . . . . . . . Drivation d'un terme de contour dpend pas de la rgion 3.4.1 3.4.2 Drivation d'un terme de rgion dont le descripteur ne . . . . . . . . . . . . . . . . .

Drivation d'un terme de rgion double dpendance . . . . . Exemples de drivation d'un terme de rgion double dpendance . . . . . . . . . . . . . . . . . . . . . . . . Cas gnral : thorme . . . . . . . . . . . . . . . . . .

4 Mise en uvre des contours actifs


4.1 Contours actifs paramtriques . . . . . . . . . . . . . . . . . .

37
37

vi

Table des matires


4.2 Mthode des ensembles de niveaux . . . . . . . . . . . . . . . 39

II Segmentation avec a priori gomtrique sans contrainte paramtrique 43


5 Contours actifs et a priori gomtrique
5.1 5.2 Introduction et tat de l'art . . . . . . . . . . . . . . . . . . . Dnition de la contrainte gomtrique non paramtrique . . . 5.2.1 5.2.2 5.3 Distance un contour : dnition et proprits directes Dnition du critre d'a priori gomtrique . . . . . . .

45
45 47 47 48 50 50 51 55 56

Segmentation par contours actifs : une approche variationnelle 5.3.1 5.3.2 5.3.3 5.3.4 Drivation du critre d'a priori gomtrique Dmonstration par le calcul des variations . . . . . . . . . . . . .

Dmonstration par les gradients de forme . . . . . . . . quation d'volution du contour actif . . . . . . . . . .

6 Applications
6.1 Dformation de contour 6.1.1 6.1.2 6.1.3 6.2 . . . . . . . . . . . . . . . . . . . . . Choix de la fonction de pondration de la distance . . . Mise en uvre . . . . . . . . . . . . . . . . . . . . . . . Rsultats exprimentaux . . . . . . . . . . . . . . . . .

59
59 60 61 62 66 66 68 70 72 72 74 75

Segmentation interactive d'images . . . . . . . . . . . . . . . . 6.2.1 6.2.2 6.2.3 Critre de comptition de rgions . . . . . . . . . . . .

Critre combinant a priori gomtrique et descripteur de rgion . . . . . . . . . . . . . . . . . . . . . . . . . . Rsultats exprimentaux . . . . . . . . . . . . . . . . .

6.3

Segmentation de vidos . . . . . . . . . . . . . . . . . . . . . . 6.3.1 6.3.2 6.3.3 Estimation du contour de rfrence . . . . . . . . . . .

Critre de segmentation de vidos et quation d'volution du contour . . . . . . . . . . . . . . . . . . . . . . Rsultats exprimentaux . . . . . . . . . . . . . . . . .

III Segmentation et estimation conjointes du mouvement 79


7 tat de l'art
7.1 7.2 Dtection de mouvement . . . . . . . . . . . . . . . . . . . . . Segmentation et suivi d'objets en mouvement 7.2.1 . . . . . . . . . Segmentation et estimation squentielle du mouvement

81
82 85 85

Table des matires


7.2.2 Segmentation et estimation conjointe du mouvement .

vii

86

8 Segmentation et estimation conjointes entre deux images


8.1 8.2 Dnition du critre conjoint entre deux images Segmentation et suivi d'objets en mouvement 8.2.1 8.2.2 8.3 mouvement . . . . . . . . . . . . . . . . . quation d'volution pour la segmentation d'objets en . . . . . . . . . . . . . . . . . . . . . . . .

89
89 92 96 96 97 99

quation d'volution pour le suivi d'objets en mouvement . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Estimation du mouvement entre deux images . . . . . . . . . . 8.3.1 8.3.2 Modle de translation uniforme . . . . . . . . . . . . .

Modle de translation et d'homothtie centre . . . . . 100

9 Segmentation et estimation conjointes sur un groupe d'images 103


9.1 9.2 Dnition du critre conjoint sur un groupe d'images Segmentation et suivi d'objets en mouvement 9.2.1 9.2.2 9.3 mouvement . . . . . 103 . . . . . . . . . 105 quation d'volution pour la segmentation d'objets en . . . . . . . . . . . . . . . . . . . . . . . . 107 quation d'volution pour le suivi d'objets en mouvement . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 Estimation du mouvement . . . . . . . . . . . . . . . . . . . . 107 9.3.1 9.3.2 Modle de translation uniforme . . . . . . . . . . . . . 108 Modle de translation uniforme et d'homothtie centre 109

10 Rsultats exprimentaux
10.1 Segmentation/estimation conjointes du mouvement

111
. . . . . . 111

10.1.1 Validation de l'estimation du mouvement . . . . . . . . 111 10.1.2 Validation de la segmentation conjointe . . . . . . . . . 115 10.2 Suivi d'objets en mouvement . . . . . . . . . . . . . . . . . . . 116 10.2.1 Directions d'volution du contour actif . . . . . . . . . 116 . . . . . . . 118 10.2.2 Rsultats en suivi d'objets en mouvement

IV Conclusions et perspectives V Annexe : Dtection d'objets en mouvement


A Estimation du fond de la squence : la mosaque
A.1 Estimation du mouvement de la camra A.1.1 Estimation du mouvement par mise en correspondance

121 129
135
137

. . . . . . . . . . . . 136

viii

Table des matires


A.1.2 A.2 A.3 A.4 Estimation robuste du modle de mouvement de la camra . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 Compensation du mouvement de la camra . . . . . . . . . . . 142 Segmentation grossire du fond des images . . . . . . . . . . . 143 Mise jour de la mosaque . . . . . . . . . . . . . . . . . . . . 145

B Segmentation nale : dtection d'objets en mouvement avec fond estim 149


B.1 B.2 Extraction du fond de chaque image partir de la mosaque . 149 Dtection d'objet en mouvement . . . . . . . . . . . . . . . . . 149

C Rsultats exprimentaux

153

Table des gures


1.1 1.2 1.3 Segmentation : image originale. . . . . . . . . . . . . . . . . . 2 2 Extraction des contours d'une image partir de ses gradients. Segmentation en rgions partir des contours morphologiques par 1.4 1.5

watershed

[5, 84]

. . . . . . . . . . . . . . . . . . . . . . .

3 3

Segmentation en rgions de couleur homogne. . . . . . . . . . Segmentation par contours actifs : du contour inital ( gauche) au contour convergence ( droite). . . . . . . . . . . . . . .

2.1

Principe des contours actifs : le contour actif

volue vers l'ob11

jet d'intrt sous l'action d'une force dirige suivant la normale

N
2.2

au contour. . . . . . . . . . . . . . . . . . . . . . . . . . . .

volution du contour actif suivant l'quation = g (|I ()|) NN prs des frontires de l'objet. . . . . Approche variationnelle avec calcul de l'EDP. . . . . . . . . .

16 20

3.1 3.2

tapes de drivation d'un terme de rgion dont le descripteur est une fonction de la moyenne de la rgion. . . . . . . . . . . 29

3.3

tapes de drivation d'un terme de rgion dont le descripteur est une fonction de la variance de la rgion. . . . . . . . . . . . 33

4.1

Mise en uvre paramtrique : construction d'une B-spline cubique. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

4.2

Mthode des ensembles de niveaux : gestion de la topologie. La premire ligne d'images reprsente la carte des distances. Chaque carte est coupe en son niveau 0. Les contours correspondants constituent la deuxime ligne d'images. . . . . . . . 40

5.1

Squelette de

ref

: pour une forme concave, le squelette a une 48

composante intrieure et au moins une composante extrieure

Table des gures


5.2 Illustrations sur une image relle : de gauche droite, un contour de rfrence (en rouge) dtourant un objet, la carte de distance signe associe, et le squelette intrieur de l'objet. 5.3 5.4 6.1 6.2 6.3 Fonction distance signe un contour de rfrence . . . . . . . Normales et tangentes aux contours actifs et de rfrence. . . . Fonction de pondration de la distance. . . . . . . . . . . . . . Dformation d'une ellipse une autre . . . . . . . . . . . . . . Dformation d'un contour d'un visage un autre : dnition des contours initial et de rfrence . . . . . . . . . . . . . . . . 6.4 Dformation d'un contour d'un visage un autre : volution du contour actif . . . . . . . . . . . . . . . . . . . . . . . . . . 6.5 Comparaison entre un algorithme de comptition de rgions et l'algorithme de segmentation interactive incluant l'a priori gomtrique. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.6 6.7 Estimation du contour de rfrence pour le tracking . . . . . . Segmentation de visage utilisant l'a priori gomtrique sur images de la vido 8.1 8.2 9.1 71 73 65 64 48 49 54 61 63

50
77 91 97

Erik.

. . . . . . . . . . . . . . . . . . . . .

Modle de mouvement entre deux images . . . . . . . . . . . . Direntes directions d'volution . . . . . . . . . . . . . . . .

Modle de mouvement sur un groupe d'images.

. . . . . . . . 104

10.1 Estimation du mouvement entre les images quence

80

Foreman

et

79

de la s-

: gauche, l'estimation par l'quation (10.1),

droite, l'estimation par

block-matching.

. . . . . . . . . . . . 112

10.2 Histogrammes de l'erreur de prdiction pour l'image rouge notre mthode, en bleu le

80

: en

block-matching.

. . . . . . . . 113

10.3 A gauche : l'image originale ; A droite : les vecteurs de dplacement obtenus en estimant le mouvement par blocs sur

15 15

images.

. . . . . . . . . . . . . . . . . . . . . . . . . . . 114

10.4 Estimation du mouvement par rgion sur quence

Foreman.

images de la s-

. . . . . . . . . . . . . . . . . . . . . . . . . . 115

10.5 Estimation et segmentation conjointes du mouvement de images successives de la squence de

Coastguard

sur un groupe

images. Sur la premire ligne : le contour initial et la

segmentation de l'image pour l'image

250 ;

Sur la deuxime ligne :

Idem

251.

. . . . . . . . . . . . . . . . . . . . . . . . . 116

10.6 Suivi d'objet en mouvement sur la squence synthtique cre partir de

Foreman.

. . . . . . . . . . . . . . . . . . . . . . . 118

Table des gures


10.7 Suivi d'objets en mouvement sur du mouvement. 8

xi

wer and garden avec l'quation d'volution suivant la direction

15 images de la squence o-

. . . . . . . . . . . . . . . . . . . . . . . . . . 119

tapes-cls de l'algorithme de dtection de mouvement partir d'une mosaque. . . . . . . . . . . . . . . . . . . . . . . . . 133

A.1 A.2 A.3 A.4 A.5 B.1 B.2

Estimation du mouvement dite Compensation images

Backward

. . . . . . . . . . . . 137

L'estimateur de Geman et Mc Clure . . . . . . . . . . . . . . . 140

backward

du mouvement de la camra entre les

In

et

In1

. . . . . . . . . . . . . . . . . . . . . . . . . 142

Contours volontairement sur-segments des images 70, 75, 80 et 85. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 Construction de la mosaque partir des fonds grossiers. . . . 146 . 150

Extraction des fonds de la squence partir de la mosaque. Prsentation du descripteur bas sur la dirence entre l'image et son fond.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

C.1 C.2 C.3

Mosaque estime partir de 20 images de la squence

Stefan

(images 70 89) . . . . . . . . . . . . . . . . . . . . . . . . . . 154 Fonds et objets des images 70,75,77, 80 et 87 . . . . . . . . . . 155 Contours des images 70,72,74, 76, 78, 80, 82, 84, 86 et 88 . . . 156

xii

Table des gures

Notations
Notations principales
 Les vecteurs sont reprsents par des caractres gras : par exemple le point

x M.

 Les matrices sont reprsentes par des majuscules : par exemple la matrice  Les images sont reprsentes par des fonctions continues

I : Rm , avec l'intensit lumineuse associe chaque pixel de l'image, avec un n ensemble de R reprsentant le support de l'image. Pour des images couleur, m = 3, l'intensit est reprsente par une m 1 2 3 T 1 fonction I : R o I = [I , I , I ] . I reprsente la luminance et I 2 et I 3 les chrominance de l'image dans l'espace de couleurs Y U V . Pour des images niveaux de gris, m = 1, on notera alors l'intensit de l'image par I . Pour les squences de N images, chaque image est reprsente par une 3 fonction In : n R avec n [0, N 1]. (p) : [a, b] R2
une famille de courbes fermes paramtres par

 Soit

p. Le contour est orient dans le sens inverse des aiguilles d'une montre.
Une des paramtrisations possible du contour est l'abscisse curviligne, note    

dnie de telle manire que

| (s)| = 1.

Dans ce cas, le contour

(s) est dni sur [0, L] o L est la longueur de la courbe. T est la tangente unitaire au contour . N est le vecteur normal intrieur au contour . est la courbure euclidienne du contour . in et out sont respectivement la rgion intrieure au contour,
l'objet, et la rgion extrieure au contour, soit le fond de l'image.

soit

 La drive classique d'une fonction peut galement tre note

f (r) est note f

f (r) =

df (r) . Elle dr

df .

xiv

Table des gures


La drive au deuxime ordre est note :

f (r)

ou

d2 f .

 La drive partielle d'une fonction plusieurs variables, par exemple )f (a,b) f (a, b), est note f (a, b) = lim 0 f (a+,b . a 2f La drive partielle au deuxime ordre est note . a2 T  = [ , ..., ] est l'oprateur gradient. x1 xn  La drive d'une fonction J (x) dans la direction V est note dJ (x, V) (voir la dnition 3.1 page 24).  La drive de domaine d'une fonction note note

k (x, )

dans la direction dans la direction

V V

est est

d k (x, , V) (x, , V) k

(voir la dnition 3.3 page 25).

 La drive matrielle d'une fonction

k (x, )

(voir la dnition 3.2 page 24).

 Les noms de squences vidos sont crits sans srif : par exemple

man.

Fore-

 Le produit scalaire de deux vecteurs

et

est not

 Les anglicismes sont crits en italique : par exemple

x y, ou x, y . shape warping.

Acronymes et abrviations
 COST211 :

European COST211 Group - Research on Redundancy Reduction Techniques and Content Analysis for Multimedia Services Groupe de recherche europen sur les techniques de rduction des redondances temporelles et l'analyse du contenu pour les services multimdia.

 CReATIVe : Compression, Reconstruction, Adaptes au Traitement d'Images et la Vido.  DFD :

Displaced frame dierence

- Dirence pixel pixel entre deux

images, dont l'une est compense en mouvement.  EDP : quations aux Drives Partielles.  FD :

frame dierence

- Dirence pixel pixel entre deux images.

 ENSMP : cole Nationale Suprieure des Mines de Paris.  ENST : cole Nationale Suprieure des Tlcommunications.  H261, H263, H26L : normes de codage vido adopt par l'ITU-T.  I3S : Informatique Signaux et Systmes de Sophia Antipolis.  INRIA : Institut National de Recherche en Informatique et en Automatique.  IRISA : Institut de Recherche en Informatique et Systmes alatoires.  ITU-T :

International Telecommunication Union, Telecommunication normalization sector - Union internationale des tlcommunications,
organisme de normalisation qui dveloppe des standards dans le do-

Table des gures


maine des tlcommunications.  MPEG :

xv

Moving Picture Expert Group

- Groupe d'experts chargs de

mettre au point des formats de compression vido.  MPEG1, MPEG2, MPEG4, MPEG7 : normes de codage vido adoptes par le groupe MPEG.  OSIAM : Projet du RNRT, Outils pour la Segmentation d'Images Anims pour MPEG4/7.  pixel : contraction de  Pr. : Professeur.  RNRT : Rseau National de la Recherche en Tlcommunications.  SSD :

picture element

- plus petite unit indivisible

d'une image numrise.

Sum of Squared Dierences

- critre de comparaison entre deux

rgions fond sur la somme, sur la rgion, des dirences au carr.  STIC : Sciences et Technologies de l'Information et de la Communication.  UFR : Unit de Formation et de Recherche.

Anglicismes
Certains anglicismes lexicaux apparaissent dans ce document. Nous les traduisons dans le contexte de nos travaux.     

block-matching : mthode de mise en correspondance de bloc. backward : en arrire - dsigne les mthodes qui utilisent l'image
rante et l'image prcdente.

cou-

forward in, out outlier

: en avant - dsigne les mthodes qui utilisent l'image et cou: l'intrieur, l'extrieur - dsigne la rgion intrieure ou : Pour un ensemble de points donns, un

rante et l'image suivante. extrieure au contour.

outlier

est un point

qui se situe loin des autres. Dans un contexte statistique, les donnes sont rparties suivant une fonction de distribution. Un point qui se dmarque de cette rpartition est un    

shape warping : dformation de courbe. snake : (littralement : serpent)dsigne les premiers contours actifs introduits par Kass et al. [52]. tracking : suivi de cibles, la cible peut tre une rgion homogne ou un
objet en mouvement.

outlier.

watershed

: ligne de partage des eaux.

xvi

Table des gures

Chapitre 1

Introduction
1.1 Introduction la segmentation d'images
Une image est constitue d'un ensemble de pixels. Segmenter une image en rgions, c'est rassembler ces pixels en ensembles ayant des proprits communes, comme une couleur ou une texture similaire, ou un mouvement cohrent. Segmenter une image en objets, c'est rassembler des rgions qui ont un sens smantique commun, mme si leurs proprits sont direntes. Il s'agit par exemple de distinguer un personnage du contexte dans lequel il volue, alors que cette personne a des vtements de couleurs direntes ou ne bouge que certaines parties de son corps. L'importance de la segmentation crot avec celle de l'image dans notre socit. En imagerie mdicale, la segmentation peut aider le mdecin dans son diagnostic. En compression vido, elle permet de traiter diremment une zone d'intrt, qui bnciera d'une plus grande prcision, du reste de l'image qui pourra tre plus fortement compress. En indexation, la segmentation sert extraire un objet que l'on souhaiterait retrouver dans d'autres images. En post-production cinmatographique, un personnage segment peut tre replac dans un autre dcor, ce qui est le cas notamment pour les prsentateurs de la mto. En vido-surveillance, la dtection d'objets en mouvement peut rvler la prsence d'intrus, ou valuer la uidit d'un trac routier. Les applications sont nombreuses et la liste des exemples cits est loin d'tre exhaustive. Mais revenons au principe de la segmentation. Pour segmenter une rgion, une mthode consiste dtecter son contour. Le passage d'une rgion une autre se caractrise par une dirence d'intensit lumineuse. Plus la dirence est importante, plus le gradient de l'image sera fort, et plus le

Chapitre 1. Introduction

Fig. 1.1  Segmentation : image originale.

contour sera marqu. Prenons pour exemple l'image de la gure 1.1 et essayons de segmenter la coccinelle. La gure 1.2 nous prsente deux extractions possibles des gradients. Ces gradients dnissent des contours qui n'ont pas tous le mme intrt pour nous. Les contours de la feuille sont bien marqus, alors que le contour de la

Fig. 1.2  Extraction des contours d'une image partir de ses gradients.

coccinelle n'a pas une intensit constante. Si l'on peut dterminer l'intensit laquelle les gradients sont dtects, on ne peut cependant pas dterminer leur nombre, s'assurer de leur connexit, ou leur donner un sens quant leur appartenance l'objet. Autrement dit, tous les gradients dtects n'appartiennent pas au contour de la coccinelle, et l'on ne saurait les faire disparatre sans perdre de la mme manire une partie des contours de la coccinelle. De plus, ces contours ne sont pas

1.1. Introduction la segmentation d'images


forcment ferms et ne dnissent donc pas des rgions spares.

Certains algorithmes permettent de dnir des rgions partir des gradients de l'image. L encore, on peut contrler le nombres de rgions qui dcoupent

Fig. 1.3  Segmentation en rgions partir des contours morphologiques par

watershed

[5, 84]

l'image, mais on ne peut pas savoir si ces rgions appartiennent l'objet d'intrt ou non. Sur la gure 1.3, la coccinelle est bien dtoure, mais certaines rgions de la coccinelle (les rgions blanches) sont considres comme n'appartenant pas la coccinelle. D'autres rgions sont segmentes, mais elles ne nous intressent pas. Une autre approche consiste dnir directement les rgions que l'on souhaite segmenter, partir d'une caractristique commune. Par exemple,

Fig. 1.4  Segmentation en rgions de couleur homogne.

Chapitre 1. Introduction

on peut choisir de segmenter l'image en rgions de mme couleur, ou plus prcisment de couleur homogne (voir gure 1.4). On rencontre le mme problme que prcdemment, savoir que notre coccinelle est constitue de plusieurs rgions de direntes couleurs et qu'on ne l'a toujours pas distingue du reste de l'image. La dernire approche que nous verrons consiste dnir un contour ferm et le faire voluer vers l'objet d'intrt (voir gure 1.5). La tche est dicile

Fig. 1.5  Segmentation par contours actifs : du contour inital ( gauche) au

contour convergence ( droite).

et ncessite d'avoir une ide de l'objet ou de la rgion que l'on souhaite segmenter. Pour dnir cet objet, il faut choisir un critre qui dtermine si un pixel fait partie de l'objet ou non. Ce critre doit contenir la description des proprits de l'objet. Le contour actif peut par exemple voluer vers des zones de fort gradient, tout en essayant d'entourer une rgion la plus homogne possible au niveau de la couleur. De nombreuses proprits peuvent tre prises en compte dans le critre, et le contour actif volue en eectuant un compromis entre elles. En cas d'objets multiples, il peut galement se sparer ; au contraire, deux contours peuvent fusionner.

1.2 Structure du manuscrit


Nous prsenterons les principes gnraux des contours actifs, de la dnition de leur critre leur implmentation, en passant par le calcul de l'quation d'volution.

1.2. Structure du manuscrit

Nous tudierons, dans ce cadre de travail, deux critres particuliers. Le premier critre dnira un terme d'a priori gomtrique minimisant la distance un contour de rfrence. Seul ou coupl un terme statistique, ce terme servira dans le cadre d'algorithmes de dformation de contours

shape warping, de segmentation, et tracking. Le deuxime exemple dnira


ou et au suivi d'objets en mouvement.

de suivi de rgions homognes ou un terme de segmentation joint

l'estimation d'un modle de mouvement, et sera appliqu la segmentation

Ce manuscrit est organis en trois parties : la premire partie est consacre l'tude thorique des contours actifs, et les deux autres l'tude des critres particuliers. La premire partie est thorique et propose une

contours actifs. Elle est compose des chapitres suivants : Chapitre 2 : tat de l'art des contours actifs.
soit variationnelle ou non. Nous prsentons les de Kass

introduction aux

Ce chapitre prsente travaux pionniers

des mthodes classiques de contours actifs, que leur approche du problme

et al.,

snakes,

puis les contours actifs gomtriques, et les contours actifs

godsiques. Si ces approches mettent en oeuvre des caractristiques globales du contour, comme sa longueur ou sa rigidit, elles n'utilisent que des proprits locales de l'image, comme son intensit ou son gradient en un point. Les dernires mthodes de contours actifs prsentes dans ce chapitre s'attachent caractriser les rgions dlimites par le contour, et utilisent des proprits globales ces rgions, comme leur moyenne, leur variance, leur entropie, leur histogramme ou leur mouvement.

Chapitre 3 : Approche variationnelle : drivation par les gradients de forme. Ce chapitre prsente le cadre de travail de notre approche
et les principaux outils mis en oeuvre. Notre approche est variationnelle, c'est--dire que le problme de segmentation est formul comme la minimisation d'un critre. La drivation du critre permet de dduire l'quation d'volution du contour actif. Dans ce chapitre, nous dnirons deux types de termes pouvant constituer un critre de segmentation : des termes de contour et des termes de rgion, parmi lesquels des termes de rgions dits

double dpendance.

Puis, nous prsenterons les outils de drivation mis

en oeuvre pour le calcul de l'quation d'volution : les gradients de forme, outils issus de l'optimisation de domaine. Enn, nous driverons chacun des termes prsents, en portant une attention particulire la drivation des termes de rgion double dpendance.

Chapitre 1. Introduction

Chapitre 4 : Implmentation.

Ce chapitre traite de l'implmentation

de l'quation d'volution du contour actif. Deux approches sont brivement prsentes : une approche paramtrique avec l'implmentation par B-Spline, et une approche implicite avec la mthode des ensembles de niveaux. La deuxime partie du document est consacre la dnition et l'tude d'un critre de

segmentation avec a priori gomtrique sans contrainte paramtrique. Plusieurs applications de ce critre sont proposes. La
deuxime partie est compose des chapitres suivants :

Chapitre 5 : Contours actifs et a priori gomtrique non paramtrique. Dans ce chapitre, nous dnissons un critre d'a priori gomtrique
minimisant la distance euclidienne du contour actif un contour de rfrence. Nous ne faisons pas l'hypothse d'une transformation paramtrique entre le contour actif et le contour de rfrence, et notre critre ne dpend pas d'une paramtrisation particulire du contour. En ce sens, notre critre n'impose aucune contrainte paramtrique au contour actif. Nous proposons deux drivations possibles du critre d'a priori : par le calcul des variations, et par les gradients de forme.

Chapitre 6 : Applications.

L'objectif de ce chapitre est de proposer

direntes applications du critre d'a priori gomtrique. Utilis seul, ce critre est appliqu la dformation de contours ou

shape warping.

Associ

des descripteurs statistiques de rgions et des termes de rgularisation, ce critre est appliqu la segmentation et au suivi de rgions homognes. La troisime partie est consacre la dnition et l'tude d'un critre de

segmentation et estimation conjointes du mouvement.


des chapitres suivants :

Plusieurs

applications de ce critre sont prsentes. La troisime partie est compose

Chapitre 7 : Introduction. Ce chapitre introduit notre approche travers


l'tude de l'tat de l'art en dtection et en segmentation du mouvement. Nous situons les principes et hypothses de notre approche au vu des articles cits.

Chapitre 8 : Segmentation et estimation conjointes du mouvement partir de deux images successives. Dans ce chapitre, nous dnissons
un critre de segmentation en mouvement conjointement l'estimation du mouvement de la rgion segmente. Nous drivons le critre et proposons

1.2. Structure du manuscrit

deux quations d'volution : une dirige suivant la normale au contour, pour la segmentation d'objets en mouvement, et une dirige suivant le mouvement de l'objet pour le suivi d'objets en mouvement. Nous proposons une mthode d'estimation du mouvement d'une rgion caractris par un modle de mouvement.

Chapitre 9 : Segmentation et estimation conjointes du mouvement sur un groupe d'images. Ce chapitre tend la mthode de segmentation
et d'estimation conjointes du mouvement du chapitre prcdent. Le support temporel de la mthode s'tend de deux images un groupe d'images. Nous dveloppons les quations d'volution du contour actif pour des applications de segmentation et de suivi d'objets en mouvement.

Chapitre 10 : Rsultats exprimentaux.

Ce chapitre prsente les dif-

frents rsultats obtenus avec le critre de segmentation et d'estimation conjointes du mouvement. Nous proposons d'valuer la qualit de l'estimation du mouvement pour une rgion donne en la comparant des mthodes classiques d'estimation du ot optique, ou des mthodes de mise en correspondance. Puis, nous appliquons le critre conjoint la segmentation d'images relles. Enn, nous prsentons les rsultats obtenus en suivi d'objets en mouvement en comparant les deux directions d'volution du contour actif : suivant la normale au contour et suivant le mouvement.

Chapitre 1. Introduction

Premire partie Introduction aux contours actifs

Chapitre 2

tat de l'art des contours actifs


Un contour actif est une courbe qui volue d'une forme initiale vers les frontires d'un objet d'intrt, sous l'action d'une force (voir gure 2.1).

Fig. 2.1  Principe des contours actifs : le contour actif

d'intrt sous l'action d'une force dirige suivant la

volue vers l'objet normale N au contour.

Le contour actif et de

peut tre dni comme une courbe paramtre par p [a, b] paramtre d'volution [0, T ] telle que : : [a, b] [0, T ] (p, )
2

(p, ) = x(p, ) =

x(p, ) y (p, )

L'volution du contour est rgie par une quation de forme gnrale :

(p, ) = F(p, ) (p, 0) = 0 (p)


11

(2.1)

12

Chapitre 2. tat de l'art des contours actifs


0 (p)
est le contour initial.

Le contour se dforme suivant une force quelconque.

dont la direction est

a priori

Dcomposons cette force dans un repre de Frenet li au contour, dont la base est constitue du vecteur unitaire normal intrieur unitaire tangent

N,

et du vecteur

F = FN N + FT T
La composante normale de la force, sation du contour [28]. tandis que la composante tangentielle,

(2.2)

FN N, modie la gomtrie du contour, FT T n'inue que sur la paramtri-

Par souci de simplicit, seule la composante normale est prise en compte, et l'quation d'volution d'un contour actif s'crit gnralement :

(p, ) = FN (p, ) N(p, ) (p, 0) = 0 (p)

(2.3)

Nous allons prsenter quelques mthodes classiques de contours actifs : les snakes (en section 2.1), les contours actifs gomtriques (en section 2.2), et les contours actifs godsiques (en section 2.3). Si ces mthodes mettent en oeuvre des caractristiques globales du contour, comme sa longueur ou sa rigidit, elles n'utilisent que des proprits locales de l'image, comme son intensit ou son gradient en un point. Plus rcemment, les mthodes de contours actifs s'attachent caractriser les rgions dlimites par le contour. Nous prsenterons brivement en section 2.4 quelques-unes de ces mthodes.

2.1 Snakes
Le premier modle de contours actifs, appel Kass

et al.

snakes,

a t introduit par

[52] en

1988.

L'approche est variationnelle, c'est--dire que

l'quation d'volution du contour actif se dduit de la minimisation d'une nergie modlisant l'objet d'intrt. Le critre, ou l'nergie - nous emploierons indiremment un des deux termes - est dni par Kass

et al.

comme :

J () =
a

| (p)|2 dp +
a

| (p)|2 dp
a

|I ((p))|2 dp

(2.4)

2.2. Contours actifs gomtriques


o

13

paramtrise le contour

: [a, b]

, et

et

sont des constantes

positives.

Les deux premiers termes dnissent une contrainte interne au contour. Ce sont des termes de rgularisation du contour qui dterminent son lasticit et sa rigidit. Le dernier terme est un terme d'attache aux donnes. Il attire le contour vers les zones de forts gradients de l'image.

Cette approche est toutefois limite par plusieurs inconvnients. Le critre n'est pas intrinsque, c'est--dire qu'il dpend de la paramtrisation du contour. De plus, le contour initial doit tre proche de l'objet pour que l'algorithme de minimisation converge. La contrainte de rgularit est forte et ne permet pas de dtecter les zones concaves du contour. Elle interdit galement les changements de topologie : un seul objet peut tre segment. Une telle rgularit pousse le contour rtrcir, voire disparatre s'il ne rencontre pas de zones de gradient susamment fort. Ce sera le cas, par exemple, si le contour initial est l'intrieur de l'objet segmenter, et trop loign des frontires de l'objet. Enn, la composante de rigidit ncessite le calcul d'une drive l'ordre quatre, ce qui entrane des problmes de discrtisation et d'instabilit numriques.

2.2 Contours actifs gomtriques


Les approches gomtriques, introduites par Osher

et al.

[9] et Malladi

et al.

et al.

[67], puis Caselles

[58] dnissent une quation d'volution qui ne

provient plus de la minimisation d'un critre.

Ces approches utilisent une formulation par ensembles de niveaux [67]. Cette formulation permet la segmentation de plusieurs objets de mme proprit partir d'un seul contour initial.

Caselles

et al. [9] proposent d'tendre l'quation de mouvement de la courbure

moyenne :

u = div t

u |u|

|u|

(2.5)

14

Chapitre 2. tat de l'art des contours actifs


c,
et introduisent la fonction de

Les auteurs ajoutent une constante relle dtection

u = g (I ) t
La fonction

c + div

u |u|

|u|

(2.6)

est la fonction

est convolu avec un ltre

1 g (I ) = 1+(G 2 , o le I ) gaussien G de variance .

gradient de l'image

C'est une attache aux donnes attirant le contour vers les frontires de l'objet et s'annulant aux frontires. La constante

induit une force semblable la force ballon introduite par

Cohen [17]. Le paramtre lorsque

dtermine le sens d'volution du contour en

fonction de son signe. Le contour, en l'absence de forts gradients, va rtrcir

est positif, et va pouvoir s'accrotre, comme un ballon que l'on

gone, lorsque

est ngatif.

Les contraintes d'initialisation du contour actif sont, de ce fait, moins fortes. De plus, le contour peut segmenter des zones convexes. L'quation d'volution du contour actif s'crit sous la forme :

= g (I )(c + ) N
o est de

(2.7)

la courbure de ( = div niveaux ).

u |u|

avec la formulation par ensembles

2.3 Contours actifs godsiques


Les contours actifs godsiques reprennent l'approche variationnelle des snakes [52]. La fonctionnelle d'nergie est donne par :

J () =
a

| (p)|2 dp +
a

g 2 (|I ((p))|) dp
et al.

(2.8)

Par rapport l'nergie dnie par Kass

[52] (quation (2.4) page

12), on remarque l'abandon du terme de rigidit (

= 0),

jug par trop

contraignant et provoquant des instabilits numriques.

2.3. Contours actifs godsiques

15

On remarque de mme l'introduction d'une fonction de dtection g . La + fonction g : [0, +] est une fonction strictement dcroissante, telle que La

limr+ g (r) = 0. 1 fonction g (r ) = ,m = 1 1+r m


et al.

ou

est frquemment choisie.

Dans [10], Caselles

proposent de minimiser l'nergie suivante :

L()

J () =
0
avec

g (|I ((p))| ) ds

(2.9)

ds = | (p)| dp.

Sur la notion d'quivalence entre les deux problmes de minimisation voir [10] et [3]. Le problme s'interprte alors gomtriquement comme la minimisation de la longueur du contour dans une mtrique prenant en compte les caractristiques de l'image. La nouvelle fonctionnelle est intrinsque, c'est--dire qu'elle ne dpend pas de la paramtrisation. L'quation d'volution dduite du critre (2.9) est :

= (g (|I ()|) g (|I ()|) N) N


o

(2.10)

est la courbure du contour actif et

le vecteur unitaire normal

intrieur au contour. Sur les zones homognes, o le gradient de l'image est faible, le premier terme de l'quation d'volution est prpondrant et le contour volue suivant :

= N
Comme du contour, le contour actif aura donc tendance rtrcir.

(2.11)

est une constante positive, et le vecteur N est dirig vers l'intrieur

Sur les contours, o le gradient de l'image est de forte amplitude, le deuxime terme de l'quation d'volution est prpondrant et le contour volue suivant :

= g (|I ()|) N N
Le contour actif s'approche de la frontire de l'objet, qu'il soit l'intrieur ou l'extrieur de l'objet (voir la gure 2.2).

16

Chapitre 2. tat de l'art des contours actifs

Fig.

2.2

volution

du

contour

actif

suivant

l'quation

= g (|I ()|) NN

prs des frontires de l'objet.

2.4 Descripteurs de rgion


Toutes ces approches s'attachent dcrire le contour partir de donnes locales lies l'image, en particulier son gradient, et se traduisent par des intgrales sur le contour. Les seuls termes globaux sont ceux lis au contour, comme ceux qui minimisent sa longueur.

2.4. Descripteurs de rgion

17

An de pouvoir prendre en compte des proprits intrinsques l'objet, comme sa moyenne, sa texture ou son mouvement, l'nergie doit contenir des intgrales de rgion :

J () =

La fonction

k (x, ) dx.

(2.12)

k (x, )

est appele descripteur de rgion.

Les premiers contours actifs utilisant des descripteurs de rgion ont t introduits par Cohen Cohen

et al.

[17] et Ronfard [74].

et al.

[17] utilisent une approche variationnelle de contours actifs

pour la reconstruction de surfaces. Ils dnissent une nergie caractrisant deux surfaces reconstruire, avec des proprits direntes, et le contour, frontire de ces surfaces. Ronfard [74] propose de segmenter l'image en deux rgions homognes in out l'aide de descripteurs statistiques k et k . Le contour volue dans la direction de la normale suivant une force proportionnelle la dirence des in out descripteurs : k k . Dans le cadre d'une segmentation de l'image en deux rgions, Zhu et Yuille [93] proposent un algorithme de "comptition de rgions" combinant les proprits gomtriques des contours actifs aux techniques statistiques de croissance de rgion. Chan et Vese [12] s'inspirent des travaux de Mumford et Shah [63] pour proposer un algorithme de segmentation en deux rgions, s'appuyant sur leur moyenne, qu'ils formulent selon la mthode des ensembles de niveaux. Paragios

et al.

[70] tendent l'approche des contours godsiques en incluant

des termes de rgion. Galland

et al.

[31] proposent un algorithme de segmentation en zones

homognes d'images fortement bruites, l'aide d'une grille active polygonale, et base sur la minimisation de la complexit stochastique de l'image. Debreuve

et al.

[23, 24] proposent un critre spatio-temporel pour la

segmentation de squences cardiaques. Ils dveloppent paralllement une mthode gomtrique de recalage, non rigide et non paramtrique, utilisant

18

Chapitre 2. tat de l'art des contours actifs

les proprits de la mthode des ensembles de niveaux. Jehan

et al.

[48, 51] direntient le critre l'aide d'outils inspirs de l'opti-

misation de domaines. Les auteurs montrent que, lorsque le descripteur de la rgion dpend lui-mme de la rgion, il induit des termes supplmentaires dans l'quation d'volution. Precioso

et al.

[71, 72] proposent une mise en uvre paramtrique des

contours actifs, en tendant le modle classique des Splines d'interpolation un modle de Splines d'approximation, les

smoothing splines.

Ces splines

ont des proprits intrinsques de rgularisation favorisant la robustesse au bruit et leur utilisation permet de rduire considrablement le temps de calcul par rapport aux ensembles de niveaux. Herbulot

et al.

[37] dnissent des critres statistiques appliqus des

donnes multimodales en imagerie mdicale. L'approche variationnelle mise en oeuvre utilise les gradients de forme.

Chapitre 3

Approche variationnelle : drivation par les gradients de forme


Notre approche est une approche variationnelle c'est--dire que le problme de segmentation est formul comme la minimisation d'un critre. Il s'agit de trouver le domaine qui minimise le critre dnissant l'objet d'intrt. L'introduction d'un schma dynamique permet de driver le critre par rapport un paramtre d'volution du domaine. La drivation du critre peut alors s'eectuer en utilisant des outils de drivation classique, comme le calcul des variations, ou en utilisant des outils issus de l'optimisation de domaine : les gradients de forme. L'quation d'volution du contour actif est dduite de la drive du critre. La gure 3.1 page 20 rsume les principales tapes de l'approche variationnelle avec calcul de l'quation d'volution pour un terme de rgion. Dans ce chapitre, nous dnirons les types de termes pouvant constituer un critre, savoir : termes de contour et termes de rgion (section 3.1 page 21). Jehan

et al.

[48, 49, 51] mettent l'accent sur le fait que certains descripteurs

de rgion, comme la moyenne, la variance ou les histogrammes apportent des informations globales sur les proprits des rgions. Les termes de rgion du critre dpendent alors doublement de la rgion : comme intgrale sur la rgion d'un descripteur dpendant lui-mme de la rgion. On dira ces termes

double dpendance.
Nous prsenterons ensuite les outils de drivation de domaine mis en uvre par Jehan

et al.

dans [48] (section 3.2 page 22).

L'originalit principale de leur travail rside dans l'utilisation d'outils de

19

20

Chapitre 3. Approche variationnelle et gradients de forme

drivation issus de l'optimisation de domaine, et dans la prise en compte de cette double dpendance de certains termes de rgion. Les auteurs montrent galement l'importance des termes additifs qui en dcoulent.

Enn, nous driverons chacun des termes de contour et de rgion (section 3.3 page 25). Le cas des termes de rgion double dpendance sera introduit l'aide d'exemples concrets an de mieux apprhender le cadre gnral prsent en section 3.4.2 page 35 .

Dnition du critre

En fonction de l'application Termes de contour ou de rgion

Exemple d'un terme de rgion : J () =

k (x, ) dx

Introduction d'un schma dynamique


J (( )) =
( )

Famille de transformations

k (x, ( )) dx

Drivation du critre

Outils de drivation classiques Mthode des gradients de forme

dJ (, V) =

F (s, )V N ds

quation d'volution

Direction : suivant la normale Assurer une drive ngative

(p, )

= F (p, ) N

(p, 0) = 0 (p)

Fig. 3.1  Approche variationnelle avec calcul de l'EDP.

3.1. Descripteurs de contour et de rgion

21

3.1 Descripteurs de contour et de rgion


Une des premires dicults d'une approche variationnelle est de formuler le problme rsoudre comme la minimisation d'un critre. Ce critre peut tre compos de termes traduisant des informations sur le contour de la rgion, comme par exemple le gradient de l'image aux points du contour, et/ou de termes caractrisant les proprits intrinsques de la rgion, comme sa moyenne, sa variance, son histogramme ou sa vitesse. De manire gnrale, un terme de contour s'crit :

J () =

k (s) ds ,

(3.1)

k (s)

est un descripteur du contour

contour paramtr par son abscisse

curviligne

s.

Par exemple, nous dvelopperons, dans le chapitre II, le cas d'un descripteur contour, fonction de la distance du contour actif un contour de rfrence. Un terme de rgion, quant lui, s'crit de manire gnrale :

J () =

k (x, ) dx

(3.2)

k (x, )

est un descripteur de rgion.

Les descripteurs de rgion peuvent dpendre ou non de la rgion qu'ils caractrisent. Par exemple, le descripteur de rgion

k = , o est une constante positive,

est un descripteur indpendant de la rgion d'intgration. Le terme de rgion associ est un terme de rgularisation qui tend rduire l'aire de la rgion (l'objet en l'occurrence). Autre exemple, le descripteur de rgion entre l'intensit du fond de l'image de l'image prcdente

comp k = |In In 1 |

calcule la dirence

In

et du fond, compens en mouvement,

In1 .

Un tel critre sert pour des applications de

dtection d'objets en mouvement. Utilis seul il tend sur-segmenter l'objet, c'est--dire que des pixels du fond de l'image sont considrs comme appartenant l'objet (Annexe V page 131). Cependant la plupart des descripteurs, notamment les descripteurs statistiques, dpendent de la rgion qu'ils caractrisent.

22

Chapitre 3. Approche variationnelle et gradients de forme


et al.
[12] et Debreuve

Par exemple, Chan l'intensit de l'image Jehan

descripteur de rgion homogne

et al. [24] utilisent comme k = (I )2 , o est la moyenne de

sur la rgion tudie.

et al.

[48] utilisent comme descripteurs, pour segmenter des images

couleurs en rgions homognes, des fonctions de la variance comme le dterminant de la matrice de covariance, mais aussi des histogrammes. Tous ces descripteurs dpendent de la rgion et induisent une double dpendance du terme de rgion par rapport la rgion.

3.2 Outils de drivation


Dans cette section, nous prsenterons les outils de drivation mis en oeuvre pour le calcul de l'quation d'volution correspondant chaque type de terme de contour ou de rgion. Tout d'abord, nous introduirons un schma dynamique, an de pouvoir driver le critre par rapport au paramtre d'volution du contour. Puis, nous noncerons des dnitions de drives, dont la drive de domaine, et le thorme d'quivalence entre drive eulrienne et drive de domaine. Ensuite, nous tudierons la drivation de critres introduits dans un ordre de complexit croissant : nous commencerons par un terme de contour, puis un terme de rgion tous deux indpendants du domaine d'intgration ; ensuite, nous introduirons, par quelques exemples concrets, la drivation des termes de rgion double dpendance, an d'illustrer la mthode des gradients de forme. Enn, nous tendrons cette mthode un cadre gnral par l'nonc d'un thorme donnant la drive d'un terme de rgion double dpendance.

3.2.1 Introduction du schma dynamique dans le critre


Un critre rgion s'crit gnralement comme l'intgrale, sur la rgion considre, d'un descripteur de cette rgion, soit :

J () =

k (x, ) dx

(3.3)

De mme, un critre contour s'crit gnralement comme l'intgrale sur le contour d'un descripteur de contour, soit :

J () =

k (s) ds

(3.4)

3.2. Outils de drivation


L'ensemble des domaines de

23

Rn

n'a pas une structure d'espace vectoriel. On

ne peut donc pas driver le critre par rapport au domaine

(respectivement

).
Les techniques de drivation de domaines [26, 38] introduisent une famille de transformations

T ,

appartenant un espace vectoriel, qui permettent de

faire voluer le domaine

(respectivement ) en fonction de T : ( ) T : ( )
et et

de sorte que :

(respectivement

T0 () = T0 () = )

(3.5)

Dans [26], Sokolowsky et Zolsio dnissent la famille de transformations partir de la vitesse de dformation des domaines. Nous reprenons ici leur raisonnement en l'adaptant notre notation. Si l'on considre que le domaine qui reprsente par exemple le temps

se dforme suivant un paramtre [0, [, temps, tout point x de est transform, au V(, x(, x)) =

suivant

x(, x).

x(, x). Cette vitesse est considre comme la direction de dformation et permet de reconstruire
La vitesse eulrienne de ce point est : la dformation. Soit

V (, x(, x)) C 0 ([0, ], C 1 (Rn , Rn ).

On associe ce champ l'quation dif-

frentielle :

x(, x) = V (, x(, x)) x(0, x) = x


Si le champ de vitesse pour

(3.6)

V
2

est born sur

Rn ,

la solution

[0, [

et

xR

, et on dnit l'application soit :

x(, x) est T : x x(, x).

dnie

Le domaine dform n

( ) est ( ) = T () ( ) = {x R /x = x(, x), x }

Nous introduisons ainsi un schma dynamique dans le critre :

J (( )) =
( )
et pour un critre contour :

k (x, ( )) dx

(3.7)

J (( )) =
( )

k (s) ds

(3.8)

24

Chapitre 3. Approche variationnelle et gradients de forme

3.2.2 Dnition d'une drive de domaine et thorme d'quivalence


Nous allons tout d'abord rappeler les dnitions de la drive eulrienne et de la drive de domaine. Puis nous prsenterons un thorme, maintes fois utilis par la suite, donnant l'expression de la drive eulrienne en fonction de la drive de domaine. Lors des calculs des drives, nous supposons des petites dformations des domaines, le dveloppement limit au premier ordre de la transformation s'crit :

T () = T0 () +
Comme

T0 ()

(3.9)

T0 () =

( quation (3.5)) et

V(, ( )) =

T (( )) = () T0 notation () = V V(0, (0)) =

(3.10)

On crit alors :

T () = ( ) = + V
Rappelons pour commencer la dnition de la drive eulrienne :

(3.11)

Dnition 3.1. La drive eulrienne de la fonctionnelle de domaine J () =


k (x, ) dx dans la direction du champ de vecteur V est dnie comme la limite :

dJ (, V) = lim

J ( + V) J () 0

Dnition 3.2.

La drive matrielle de k (x, ) dans la direction V, note k (x, , V) est dnie par :

(x, , V) = lim k (x + V, + V) k (x, ) k 0

3.3. Drivation de termes de contour et de rgion


La drive de domaine est dnie comme suit :

25

Dnition 3.3. La drive de domaine de k(x, ) dans la direction V, note


d k (x, , V) est dnie par : d k (x, , V) = lim k (x, + V) k (x, ) 0

Le thorme suivant tablit une relation entre la drive eulrienne et la drive de domaine pour une intgrale de rgion

J ()

Thorme 3.1.
J () =

La drive eulrienne dJ (, V) de la fonctionnelle k ( x , ) d x dans la direction V est la suivante :

dJ (, V) =

d k (x, , V)dx

k (s, ) V N ds

o N est la normale unitaire intrieure et s son abscisse curviligne.


Une dmonstration de ce thorme peut tre trouve dans [26, 80]. Ce thorme, utilis plusieurs fois si ncessaire, nous permettra, dans des cas favorables, de convertir les intgrales de rgion en une expression quivalente base sur une intgrale de contour (voir section 3.4.2 page 35). L'quation d'volution du contour actif se dduit aisment d'une telle expression de la drive du critre.

3.3 Drivation de termes de contour et de rgion


Nous allons tout d'abord tudier la drivation d'un terme de contour indpendant du domaine d'intgration. Ensuite nous verrons le cas d'un terme de rgion dont le descripteur est indpendant de la rgion.

3.3.1 Drivation d'un terme de contour


Un terme de contour a pour forme gnrale :

J () =

k (s)ds

(3.12)

26

Chapitre 3. Approche variationnelle et gradients de forme


et al
[10] :

Sa drive est bien connue et calcule entre autres par Caselles

Thorme 3.2.
la forme J () =

La drive eulrienne dJ (, V) d'un terme de contour de k (s)ds dans la direction V est :

dJ (, V) =

(k (s) N k (s) )V N ds

o N est la normale unitaire intrieure de , la courbure moyenne et s l'abscisse curviligne de . L'quation d'volution qui en dcoule est donne par :

(p, ) = (k (s) k (s) N)N (p, 0) = 0 (p)

(3.13)

o 0 (p) est le contour initial, s = (p, ) et p paramtrise le contour.


L'quation d'volution se dduit de la drive eulrienne : on assure la minimisation du critre en faisant voluer le contour actif dans la direction

N, et en choisissant une vitesse V telle que la drive du critre soit ngative.


La vitesse du contour actif est :

V = (k (s) k (s) N) N,

avec

s = (p, )

(3.14)

et l'quation d'volution qui en rsulte est :

(p, ) = (k (s) k (s) N)N (p, 0) = 0 (p)


o

(3.15)

0 (p)

est un contour initial dni par l'utilisateur,

s = (p, )

et

paramtrise le contour.

3.3.2 Drivation d'un terme de rgion dont le descripteur ne dpend pas de la rgion
Un terme de rgion dont le descripteur ne dpend pas de la rgion s'crit de manire gnrale :

J () =

k (x) dx

(3.16)

3.3. Drivation de termes de contour et de rgion

27

La drive eulrienne dJ (, V) d'un terme de rgion de la forme J () = k (x)dx dans la direction V est :

Corollaire 3.1.

dJ (, V) =

k (s) V N ds

(3.17)

o N est la normale unitaire intrieure de et s l'abscisse curviligne. L'quation d'volution qui en dcoule est donne par : (p, ) = k (s)N (p, 0) = 0 (p)

(3.18)

o 0 (p) est un contour initial dni par l'utilisateur, s = (p, ) et p paramtrise le contour.

Dmonstration :
La drivation d'un terme de rgion dont le descripteur ne dpend pas de la rgion est simple car elle utilise directement le thorme 3.1. En eet, comme le descripteur ne dpend pas de la rgion

k (x, ( )) = k (x, ) = k (x)


et la drive de domaine est nulle :

d k (x, , V) = 0
Ainsi la drive eulrienne de

(3.19)

se rduit l'expression suivante :

dJ (, V) =

k (s) V N ds V

(3.20)

L'quation d'volution se dduit de la drive eulrienne en faisant voluer le contour actif dans la direction

N,

et en choisissant une vitesse

telle que

la drive du critre soit ngative. L'quation d'volution du contour actif qui en dcoule est :

(p, ) = k (s)N (p, 0) = 0 (p)


o

(3.21)

0 (p)

est un contour initial dni par l'utilisateur,

s = (p, )

et

para-

mtrise le contour.

28

Chapitre 3. Approche variationnelle et gradients de forme

3.4 Drivation d'un terme de rgion double dpendance


Avant de prsenter le thorme gnral qui permet de calculer la drive d'un terme de rgion lorsque son descripteur dpend de la rgion, nous allons introduire, par quelques exemples concrets, la mthodologie qui sert de fondement l'laboration de ce thorme.

3.4.1 Exemples de drivation d'un terme de rgion double dpendance


Nous allons tudier deux descripteurs de rgions dpendants de la rgion qu'ils dcrivent. L'un est fonction de la moyenne de la rgion, l'autre est fonction de la variance de la rgion. Ces deux cas particuliers induisent une double dpendance du terme rgion par rapport la rgion. Ces exemples devraient permettre de mieux apprhender la mthodologie sous-jacente l'laboration du thorme 3.3 page 36.

Descripteur fonction de la moyenne


Un terme de rgion dont le descripteur est fonction de la moyenne l'intensit

()

de

I (x)

d'une image sur la rgion

peut s'crire : (3.22)

J () =

(I (x) ()) dx

est une fonction drivable, en gnral paire et croissante, mais seule la

drivabilit de la fonction est ncessaire au calcul de l'quation d'volution. Un tel critre sert segmenter les rgions homognes, car on cherche la rgion dont les pixels ont une intensit proche de la moyenne de la rgion. On calcule la drive eulrienne du critre ainsi dni en utilisant le thorme 3.1. Ce thorme, appliqu rcursivement, va nous permettre d'obtenir nalement une expression du critre base sur une intgrale de contour.

dJ (, V) =

d ((I (x) ()))(x, , V) dx

(I (s) ())V N ds
(3.23) de la fonction compose

o la drive de domaine dans la direction

(I (x) ())

a pour expression :

d ((I (x) ()))(x, , V) = d (x, , V) (I (x) ()) = d(, V) (I (x) ()) (3.24)

3.4. Drivation d'un terme de rgion double dpendance


o

29

(r) =

d(r ) . dr

Calculons donc la drive eulrienne de La fonction

()

dans la direction

V.
:

()

peut s'crire comme fonction compose de fonctions de

() =
avec

1 || G2 =

I (x) dx = f (G1 (), G2 ())


(3.25)

G1 =

I (x) dx

et

dx

notation

||.

J () =

(I ) dx

= G1 =

1 | |

I (x) dx = f (G1 , G2 )
et

I (x) dx

G2 =

dx

notation

||

Thorme :

dJ (, V) =

d (I ) dx
A A A U A

(I )V N ds

Drive d'une fonction compose :

d = (dG1

f G1

+ dG2

f ) G2

(I )

Thorme :

dG1 =

I (s)V N ds

dG2 =

V N ds

Fig. 3.2  tapes de drivation d'un terme de rgion dont le descripteur est

une fonction de la moyenne de la rgion. La drive eulrienne de

dans la direction

se dcompose suivant : (3.26)

df (, V) = dG1 (, V)

f f (G1 , G2 ) + dG2 (, V) (G1 , G2 ) G1 G2

30

Chapitre 3. Approche variationnelle et gradients de forme


f
par rapport

Le calcul des drives partielles de donne :

G1

et

G2

est direct et

1 1 f = = G1 G2 || f G1 () = 2 = G2 G2 ||

(3.27)

(3.28)

Il reste donc calculer les deux drives eulriennes de direction

G1

et

G2

dans la

en utilisant nouveau le thorme 3.1 :

G1 =

et sa drive eulrienne vaut :

I (x) dx

dG1 (, V) =

car, comme

d I (x, , V) dx

I (s)V N ds =

I (s)V N ds
(3.29)

I (x)

est constante par rapport

, d I (x, , V) = 0.

La drive de

G2 =

dx

est donne par :

dG2 (, V) =

d 1(x, , V) dx

V N ds =

V N ds

(3.30)

reprsente la fonction constante gale 1.

Des quations (3.27), (3.28), (3.29) et (3.30) l'on dduit l'expression de la drive eulrienne de

dans la direction

d(, V) =

Enn, en remplaant dans (3.23)

I (s) () V N ds || d

(3.31)

par son expression dans (3.24), et

d(, V)

dans (3.24) par son expression dans (3.31), on obtient :

dJ (, V) =

(I (x) ())

I (s) () V N ds dx ||
(3.32)

(I (s) ())V N ds

soit encore, en permutant les intgrales :

dJ (, V) =

(I (s) ())

I (s) () ||

(I (x) ()) dx V N ds

(3.33)

3.4. Drivation d'un terme de rgion double dpendance


L'quation d'volution associe est :

31

(p, )

(I (s) (( ))

I (s) (( )) |( )|

(I (x) (( ))) dx N
( )

(3.34)

(p, 0) = 0 (p)

avec s = (p, ).
Intressons nous plus prcisement au cas particulier de la fonction : (r) = r2 . Nous utiliserons ces rsultats au paragraphe suivant pour le calcul de la drive d'un descripteur fonction de la variance. Si

la fonction de pondration est la fonction carre, le critre s'crit :


J () =

(I (x) ())2 dx
l'quation de la drive de

(3.35)

En adaptant la fonction gnral (3.33) on obtient :

(r) = r2

pour le cas

dJ (, V) =

or

(I (s) ())2

I (s) () ||

2(I (x) ()) dx V N ds

(3.36)

I (x) () = 0

ce qui simplie l'expression de la drive du critre :

dJ (, V) =

(I (s) ())2 V N ds

(3.37)

L'quation d'volution associe est :

(p, ) = [I (s) (( ))]2 N (p, 0) = 0 (p)


avec

(3.38)

s = (p, ).

Descripteur fonction de la variance


L'exemple d'un descripteur de rgion fonction de la variance est un peu plus complexe que l'exemple prcdent, car il ncessite une dcomposition supplmentaire du descripteur en fonctions de la rgion. La gure 3.3 illustre les

32

Chapitre 3. Approche variationnelle et gradients de forme

direntes tapes ncessaires la drivation de ce terme de rgion.

J () =

( 2 ()) dx .

(3.39)

2 ()

reprsente la variance de la rgion

Appliquons le thorme 3.1 pour exprimer la drive eulrienne du critre comme la somme de l'intgrale sur la rgion de sa drive de domaine et d'une intgrale de contour.

dJ (, V) =

d (( 2 ))(x, , V)dx

( 2 ()) V N ds

(3.40)

Considrons la drive de domaine fonctions composes :

d (( 2 ))(x, , V) comme une drive de

d ( 2 )(x, , V) = d 2 (, V) ( 2 ())
o

(3.41)

(r) =

d(r) . dr

La variance peut s'crire comme une fonction compose de deux fonctions de

2 () =
avec

1 ||

(I (x) ())2 dx = f (G1 , G2 )

et

(3.42)

G1 () =

(I (x) ())2 dx

G2 () = V

dx.

Sa drive eulrienne dans la direction

a pour expression :

d 2 (, V) = dG1 (, V)
Les calculs de

f f (G1 , G2 ) + dG2 (, V) (G1 , G2 ) G1 G2

(3.43)

f f et sont directs : G1 G2

f 1 (G1 , G2 ) = G1 ||
et

(3.44)

f G1 2 (G1 , G2 ) = 2 = G2 G2 || dG1 (, V) nous utilisons 2 pour le cas (r ) = r .

(3.45)

Pour calculer prcdent,

le rsultat dmontr au paragraphe

3.4. Drivation d'un terme de rgion double dpendance

33

J () =

( 2 ()) dx

avec

2 () =

1 | |

(I (x) ())2 dx = f (G1 , G2 )


et

G1 =

(I (x) ())2 dx () =
1 | |

G2 =

dx

notation

||

avec

I (x) dx = g (G3 , G4 )
et

G3 =

I (x) dx

G4 = G2 = ||

Thorme :

dJ (, V) =

d ( 2 ) dx
A A A U A

( 2 )V N ds

Drive d'une fonction compose :

d = (dG1

f G1

+ dG2

f ) G2

( 2 )

Thorme :

dG1 =

d (I (x) )2 dx
H HH H HH H

(I (s) )2 V N ds

A A A U A

dG2 =

V N ds

(ou cas particulier d'un descripteur

HH fonction H HH j H

de la moyenne avec

(r) = r2 )
g G3

Drive d'une fonction compose :

d (I )2 = 2(I ) dG3
   9    

+ dG4

g G4

Thorme :

dG3 =

I (s)V N ds

dG4 =

V N ds

Fig. 3.3  tapes de drivation d'un terme de rgion dont le descripteur est

une fonction de la variance de la rgion.

34

Chapitre 3. Approche variationnelle et gradients de forme

Nous pourrions galement utiliser le thorme 3.1 comme prsent dans la gure 3.3.

G1 () =

(I (x) ())2 dx

(3.46)

D'aprs les rsultats de l'quation (3.37)

dG1 (, V) =

(I (s) ())2 V N ds

(3.47)

Pour calculer la drive eulrienne de

G2 () =

dx

(3.48)

nous utilisons une fois de plus le thorme 3.1 :

dG2 (, V) =

V N ds

(3.49)

En remplaant, dans l'quation (3.43), chacune des drives partielles de eulriennes de on obtient

par leur expression dans les quations (3.44) et (3.45), et chacune des drives

G1 et G2 par leur expression dans les quations (3.47) et (3.49), 2 l'expression de la drive eulrienne de dans la direction V :

d 2 (, V) = =

(I (s) ())2 2 () V N ds + V N ds || || (I (s) ())2 2 () V N ds (3.50) ||

Finalement, on dduit des quations (3.40), (3.41) et (3.50) l'expression de la drive du critre :

dJ (, V) =

( 2 ())
2

(I (s) ())2 2 () V N ds dx ||
(3.51)

soit :

( ())V N ds

dJ (, V) =

( 2 ()) + ( 2 ()) [(I (s) ())2 2 ()] V N ds (3.52)

L'quation d'volution associe est :

(p, ) = ( 2 ()) + ( 2 ()) [(I (s) (( )))2 2 ()] N (p, 0) = 0 (p) (3.53)
avec

s = (p, ).

3.4. Drivation d'un terme de rgion double dpendance

35

3.4.2 Cas gnral : thorme


Cette section rsume les direntes tapes du calcul de l'quation d'volution issue d'un terme de rgion, et ce dans le cadre le plus gnral possible, c'est--dire lorsque le terme correspondant dpend doublement de la rgion. Le descripteur rgion est alors modlis comme une combinaison de termes dpendants de la rgion. Nous prsentons le thorme donnant l'expression de la drive du critre puis l'quation d'volution du contour dans le cas gnral. Nous vous invitons consulter la thse de Stphanie Jehan-Besson [48] dans laquelle vous trouverez les dmonstrations des thormes noncs. Tout d'abord, le descripteur rgion

est modlis comme une combinaison

linaire de fonctionnelles dpendant elles-mmes de la rgion :

J () =

k (x, ) dx =

k (x, G1 (), G2 (), ..., Gm ()) dx

(3.54)

m est un entier suprieur ou gal 1 et o les fonctionnelles Gi

dpendent

aussi de la rgion :

Gi () =

Les fonctions

hi (x, ) dx

pour

i = 1..m

(3.55)

hi

peuvent dpendre de la rgion et tre exprimes comme une

combinaison linaire de

pi

fonctions : (3.56)

hi (x, ) = hi (x, Ki1 (), Ki2 (), ..., Kipi ())


avec

Kij () =

lij (x) dx

pour

i = 1..m, j = 1..pi

(3.57)

Le procd peut tre ritr, mais les descripteurs que nous utiliserons dans ce document ne ncessitent que deux niveaux de dcomposition (ex : moyenne, variance). Le thorme suivant donne l'expression de la drive du critre par rapport au paramtre d'volution

. Vous trouverez la dmonstration de ce thorme

dans la thse de Stphanie Jehan-Besson ( [48] p. 44).

36

Chapitre 3. Approche variationnelle et gradients de forme


Soit J le terme de rgion dni par

Thorme 3.3.
J () =

k (x, ) dx =

k (x, G1 (), G2 (), ..., Gm ()) dx

(3.58)

Sa drive eulrienne dans la direction V est :


m

dJ (, V) =

k (s, ) +
i=1 m

(Ai hi (s, ))
pi

+
i=1

Ai
j =1

(Bij lij (s)) (V N) ds(3.59)

avec pour i = 1..m :

Ai =

k (x, G1 (), .., Gm ())dx Gi

(3.60)

et pour i = 1..m, j = 1..pi :

Bij =

hi (x, Ki1 (), .., Kipi ())dx Kij

(3.61)

et l'quation d'volution du contour actif est :

(p, ) =

pi

k (s, ) +
i=1

(Ai hi (s, )) +
i=1

Ai
j =1

(Bij lij (s)) N


(3.62)

(p, 0) = 0 (p)
avec s = (p, ). Le contour initial 0 (p) est dni par l'utilisateur.
La vitesse d'volution du contour actif minimum du critre.

est choisie telle que la drive

du critre soit ngative, ceci an de s'assurer que le contour volue vers le

Chapitre 4

Mise en uvre des contours actifs


La mise en uvre d'une EDP grant l'volution d'un contour actif doit tre stable et prcise. Une simple approximation lagrangienne ncessite un pas de discrtisation trs petit pour tre stable. De plus, l'algorithme doit tre capable de grer les changements de topologie du contour : un contour doit pouvoir se sparer en deux objets, ou deux contours fusionner en un seul. Les direntes mises en uvre peuvent se distinguer en deux approches : explicites ou implicites. Les approches explicites dnissent explicitement le contour partir de paramtres. L'approche implicite des ensembles de niveau considre le contour comme le niveau zro d'une fonction de dimension suprieure. Ces deux approches seront succinctement dcrites avec leurs avantages et leurs inconvnients.

4.1 Contours actifs paramtriques


Les approches paramtriques dcrivent explicitement le contour partir d'un certain nombre de paramtres.

Les

snakes

sont considrs comme le premier exemple de structure de

contours actifs dont les proprits intrinsques sont prises en compte dans la minimisation de l'nergie. Les contours utiliss par Kass dnis comme des courbes polygonales. Les fonctions

et al.

[52] sont

B-splines

ont suscit un intrt croissant pour leurs proprits

intrinsques de rgularit [17, 72].

Nous allons brivement expliquer le principe d'une approche paramtrique avec l'exemple des

B-splines

(voir [71] pour de plus amples dtails).

37

38

Chapitre 4. Mise en uvre des contours actifs

Commenons par dnir la paramtrisation du contour. La courbe

n points Pk . Si (s), paramtre par s entre les points Pi et Pi+1 , est reprsente par une B-spline. La B-spline est choisie cubique car le calcul de la courbure ncessite de la
Le contour actif est chantillonn par driver deux fois. Une

B-spline

est dnie par dcomposition sur une base de fonctions

dtermine par l'ordre de la

spline

BS j
i

(ici cubique, donc

j = 4)

Si (s) =

xi (s) yi (s) = Qi1 (s) BSi43 (s) + Qi (s) BSi42 (s) + Qi+1 (s) BSi41 (s) + Qi+2 (s) BSi4 (s)
spline.

(4.1)

o les coecients

Qi

sont appels les points de contrle de la

Les points de contrle sont estims partir des points d'interpolation de la

spline,

qui sont les points d'chantillonnage du contour.

Qi

Qi+1

u u c A Qi1 Qi+2 cc A u u A c aa A a c A aa A c A aa c A aa A c A aa A c a A c A aa A aa c A aa c A A c a aa A A c Au a Au

Si (s)

Pi = Si (0)

Pi+1 = Si (1)

Fig. 4.1  Mise en uvre paramtrique : construction d'une B-spline cubique.

4.2. Mthode des ensembles de niveaux


Si l'volution du contour actif est donne par :

39

(p, ) = F (p, ) N(p, )


alors la force

(4.2)

sera applique chaque point d'interpolation

Pi ( ),

dans la

direction de la normale. L'expression analytique de la la courbure par exemple :

spline

(4.2) permet de calculer facilement cer-

taines proprits de la courbe ncessaires l'valuation de la force

F , comme

=
Une nouvelle

x y x y (x 2 + y 2 ) 2
3

(4.3)

spline

est dnie partir des nouveaux points d'interpolation

Pi ( + )

et ceci jusqu' convergence.

Les approches paramtriques ont pour principal avantage de rduire le nombre de points sur lesquels la force est calcule, et donc d'tre rapides. Cependant, les changements de topologie doivent tre grs explicitement.

4.2 Mthode des ensembles de niveaux


La mthode des ensembles de niveaux [10, 58, 67] dnit une paramtrisation implicite du contour. On suppose que le contour actif est le niveau zro d'une fonction de dimension + suprieure u : 2 , c'est--dire que

x (p, ) u(x, ) = 0
La fonction au contour

(4.4)

u est classiquement choisie comme la fonction distance signe ( ), positive l'extrieur du contour, et ngative l'intrieur.
volue suivant l'quation :

Si le contour

(p, ) = F (p, ) N(p, )


le niveau zro de la fonction

(4.5)

volue suivant l'quation :

u((, p), ) = F (p, ) |u((, p), )|

(4.6)

40

Chapitre 4. Mise en uvre des contours actifs

Fig. 4.2  Mthode des ensembles de niveaux : gestion de la topologie. La

premire ligne d'images reprsente la carte des distances. Chaque carte est coupe en son niveau 0. Les contours correspondants constituent la deuxime ligne d'images.

L'quation (4.6) n'est valide que sur le niveau son expression l'image si

de

u,

mais on peut tendre

y est dnie :

u(x, ) = F (x, ) |u(x, )|


gradient peut tendre vers l'inni.

(4.7)

Cependant cette extension ne conserve pas la fonction de distance, et son

Une solution ce problme consiste rinitialiser la fonction distance avec une EDP telle que

|u| = 1

au cours de l'volution :

u(x, ) = sign(u(x, )) (1 |u(x, )|


o

(4.8)

sign(u(x, ))

reprsente le signe de

u(x, ).

La drive partielle de

est discrtise par le schma numrique suivant :

u(x, ) u(x, + ) u(x, ) =


o

(4.9)

reprsente le pas de discrtisation temporel.

4.2. Mthode des ensembles de niveaux

41

A partir des quations (4.7) et (4.9) on dduit le schma numrique de l'quation d'volution :

u(x, + ) = u(x, ) + F (x, ) |u(x, )|

(4.10)

L'avantage principal de la mthode des ensembles de niveaux rside dans la gestion implicite des changements de topologie (voir gure 4.2). La reprsentation est Eulrienne, et la grille discrte dnie lors de la discrtisation de l'quation d'volution est xe. Les schmas numriques sont stables et les rsultats prcis. Les proprits gomtriques du contour actif telles que la courbure ou le vecteur normal peuvent tre calcules partir de la fonction

N=

u |u|

et la courbure

= div

u |u|

(4.11)

La formulation peut tre facilement tendue des dimensions plus leves. L'inconvnient principal de la mthode des ensembles de niveaux est son cot calculatoire. Pour acclrer l'algorithme, on peut n'eectuer les calculs que sur une bande troite [1, 58] entourant le niveau

de

u.

42

Chapitre 4. Mise en uvre des contours actifs

Deuxime partie Segmentation avec a priori gomtrique sans contrainte paramtrique

43

Chapitre 5

Contours actifs et a priori gomtrique


5.1 Introduction et tat de l'art
Dans de nombreux domaines d'applications des contours actifs, on dispose d'une information a priori sur la forme de l'objet segmenter. Cette information peut se traduire par un certain nombre de segmentations de l'objet d'intrt, constituant un ensemble d'apprentissage. En segmentation mdicale, l'objet d'intrt concerne des structures anatomiques semblables d'un individu l'autre, et l'on souhaite dnir une forme reprsentative de ces structures, un modle. Les approches les plus courantes sont statistiques [8, 11, 14, 15, 16, 55, 83, 87]. Plus prcisment, les mthodes prsentes dans [8, 55, 83, 87] dnissent un modle paramtrique de forme par une analyse en composantes principales de l'ensemble des courbes. Suivant les travaux de Leventon

et al.

[55], dans [8, 83], l'analyse

en composantes principales est eectue sur un ensemble de reprsentations par cartes de distances des courbes d'apprentissage. Rousson

et al. et al.

[75] dnissent aussi une reprsentation d'un ensemble de

formes par leur carte de distance, dans le cadre de la segmentation d'images non mdicales. Charpiat [14] utilisent les fonctions distance pour reprsenter un ensemble de formes dans un contexte statistique. En segmentation de vidos [35, 69], on considre que l'objet suivi se dforme peu d'une image l'autre. L'information a priori est donne par la segmentation de l'image prcdente, recale dans l'image courante. L'information a priori peut simplement provenir d'un atlas anatomique,

45

46

Chapitre 5. Contours actifs et a priori gomtrique

d'une forme connue ou dnie par un utilisateur. En segmentation [19, 30] ou pour des applications de dformation de contours ou shape warping [14, 35], elle se prsente sous la forme d'un contour connu ou dni interactivement. En reconstruction de surface [91], il s'agira d'un ensemble de points ou d'un maillage. La prise en compte de l'information a priori se formule comme la minimisation d'un critre traduisant une dissemblance entre le contour actif et le modle de rfrence. Dans certaines approches [30, 81, 83] le critre est paramtr par le choix de la reprsentation d'une courbe. Les travaux pionniers de Staib

et al.

[81] dcomposent le contour dans une

base de Fourier. La minimisation du critre s'eectue par une descente de gradient sur l'espace des paramtres. Plus rcemment, Cremers

et al.

[22] reprsentent le contour actif par des

B-Splines. Le descripteur de forme contient les coordonnes des points de contrle de la spline. Leur critre minimise la distance de Mahalanobis entre les points de contrle du contour actif et ceux de la forme de rfrence. Foulonneau

et al.

[30] proposent une reprsentation paramtrique de la

forme en projetant la fonction caractristique de la forme sur la base des polynmes de Legendre. Leur critre minimise la distance quadratique entre les coecients des contours actifs et de rfrence dans cet espace. D'autres approches [15, 16, 55, 69, 75] utilisent une reprsentation implicite du contour actif. Ils dnissent une contrainte paramtrique sur le contour actif par l'introduction d'une transformation entre le contour de rfrence et le contour actif. L'estimation des paramtres de la transformation est couple au problme de segmentation. Nous proposons un critre d'a priori de forme minimisant la distance Euclidienne entre le contour actif et un contour de rfrence. Notre contrainte ne fait pas l'hypothse d'une transformation paramtrique entre le contour actif et le contour de rfrence. Le critre ne dpend pas d'une paramtrisation particulire du contour. L'quation d'volution peut tre implmente implicitement ou paramtriquement. Nous avons choisi la mthode des ensembles de niveaux. Dans ce chapitre, nous commencerons par dnir les distances utilises dans le critre, puis nous prsenterons le critre d'a priori. Enn, nous dcrirons l'algorithme de contours actifs mis en oeuvre.

5.2. Dnition de la contrainte gomtrique non paramtrique

47

Cette contrainte gomtrique sera tudie seule pour des applications de dformation de contours, ou associe des termes de rgion statistiques pour la segmentation et le suivi d'objets.

5.2 Dnition de la contrainte gomtrique non paramtrique


5.2.1 Distance un contour : dnition et proprits directes
Soit une rgion

de l'image

I,

dlimite par son contour

et

ref

un

contour, qui sera dit de rfrence. On dnit la suit :

fonction distance d d'un point x au contour ref


ref d(x, )

comme

= =

yref yref

min

d(x, y)

(5.1)

min |x y|

ref La fonction d(x, ) est Lipschitz continue de constante 1. En eet :

|d(x, ref ) d(y, ref )| |x y|

pour tous

x, y I

(5.2)

ce qui implique suivant le thorme de Rademacher qu'elle est dierentiable presque partout, sauf sur un ensemble ngligeable. Soit

ref (x)

l'ensemble des projections de

sur

ref

par : (5.3) pas unique

ref (x) = {z ref : |z x| = d(x, ref )}.


L'ensemble des points

de

est appel le squelette de

I pour lesquels cette projection n'est ref [26] (voir les gures 5.1 et 5.2).

Remarque 5.1.
squelette de ref

La fonction d(x, ref ) n'est pas dierentiable sur le ni sur ref lui-mme.

Enn nous dnissons la

distance signe un contour ref comme tant :


ref d(x, ), ref d(x, ),

d(x, ref ) =

x / ref x ref

(5.4)

48

Chapitre 5. Contours actifs et a priori gomtrique

Fig. 5.1  Squelette de

ref

: pour une forme concave, le squelette a une

composante intrieure et au moins une composante extrieure

Si le point

ref ref est l'intrieur de , la rgion dlimite par le contour , ref alors sa distance au contour est dnie ngative. S'il est l'extrieur de ref , sa distance au contour ref est positive (voir la gure 5.2).

Fig. 5.2  Illustrations sur une image relle : de gauche droite, un contour de

rfrence (en rouge) dtourant un objet, la carte de distance signe associe, et le squelette intrieur de l'objet.

5.2.2 Dnition du critre d'a priori gomtrique


L'information a priori se prsente sous la forme d'un contour de rfrence, ref not . Dans le cadre d'applications de type recalage, le contour de ref rfrence peut tre extrait d'un atlas. Mais il peut galement tre dni interactivement par un utilisateur pour une application de segmentation, ou se dduire de la segmentation de l'image prcdente pour des applications

5.2. Dnition de la contrainte gomtrique non paramtrique


de segmentation de vidos (tracking ).

49

Nous souhaitons contraindre le contour actif en minimisant la distance qui le spare du contour de rfrence. Pour cela, nous dnissons un critre nous dduirons l'quation d'volution du contour.

dont

Fig. 5.3  Fonction distance signe un contour de rfrence

Le critre distance ref :

s'crit comme l'intgrale sur le contour

d'une fonction de la

entre un point

x = (s)

du contour

et un contour de rfrence

J () =

(d(x, ref )) ds

(5.5)

reprsente l'abscisse curviligne du contour.

La fonction

d(x, ref )

est dnie par :

d(x, ref ) =
o

minyref (|x y|) = |x y(x)|, minyref (|x y|) = |x y(x)|, ref

x / ref x ref

(5.6)

ref

est la rgion intrieure dlimite par

(voir la gure Fig. 5.3).

Classiquement, nous choisissons une fonction

50

Chapitre 5. Contours actifs et a priori gomtrique


 drivable, car l'quation d'volution du contour actif se dduit de la drive du critre,  paire, an de pondrer de faon identique les points l'intrieur et ceux l'extrieur du contour, +  et croissante sur pour pnaliser plus fortement les points loigns du contour.

Ainsi, en cherchant minimiser le critre distances entre le contour

nous pnalisons les grandes ref et le contour de rfrence . Le contour

J,

tend donc se rapprocher du contour de rfrence. Cependant nous n'imposons contour

aucune contrainte paramtrique

sur le

Certains travaux [16] utilisant des contraintes gomtriques font

l'hypothse que le contour

se dduit du contour de rfrence partir d'une

transformation paramtrique. Nous ne faisons pas ce type d'hypothse, et en ce sens, notre contrainte est plus libre.

5.3 Segmentation par contours actifs : une approche variationnelle


L'approche variationnelle consiste dduire l'quation d'volution du contour actif partir de la drive du critre de segmentation. Nous allons donc driver le critre d'a priori gomtrique. Deux mthodes de drivation vous seront prsentes en sections 5.3.2 et 5.3.3, pour aboutir l'quation d'volution en section 5.3.4.

5.3.1 Drivation du critre d'a priori gomtrique


Dnissons dans un premier temps un espace de transformations

T : ( )
tel que

T0 () = 0
o

est le contour actif initial.

Nous introduisons ainsi un schma dynamique qui permet d'crire le critre comme une fonction de

J (( )) =
( )

(d(x( ), ref )) ds

(5.7)

5.3. Segmentation par contours actifs : une approche variationnelle


avec

51

x( ) = (s, ).

Nous pouvons prsent driver le critre par rapport au paramtre d'volution

du contour actif.

Thorme 5.1.

La drive eulrienne dans la direction V d'un terme J () = (d(x, ref )) ds, o x = (s), est donne par l'expression :

dJ (, V ) =

Nref N (d) (d) V N ds

(5.8)

o Nref et N reprsentent respectivement les vecteurs normaliss intrieurs du contour de rfrence et du contour actif, p paramtrise le contour actif, est la courbure du contour actif, et d = d(x, ref ) avec x = (s). L'quation d'volution associe est donne par :

(p, ) = [Nref N (d) + (d)] N


o d = d(x, ref ) avec x = (p, )

(5.9)

Nous proposons deux dmonstrations direntes de ce thorme : la premire utilise le calcul des variations, la seconde les outils de drivation de domaine, c'est--dire le gradient de forme.

5.3.2 Dmonstration par le calcul des variations


Soit

J (( ))

dni par :

J (( )) =
( )

(d(x( ), ref )) ds

(5.10)

d(x( ), ref ) est la contour actif ( ) et le


o

contour de rfrence

distance signe entre un point ref .

x( ) = (s, )

du

d(x( ), ref ) =
Si le contour actif

yref ref

min (|x( ) yref |) = |x( ) y(x( ))|, x( ) ( )


(5.11) est paramtr par

( )
1

compris entre

et

1,

le critre

J (( ))

s'crit alors en fonction de

x(p, )

et de

y(p, )

J (( )) =
0

( |x(p, ) y(p, )| )

x (p, ) dp p

(5.12)

52

Chapitre 5. Contours actifs et a priori gomtrique

Pour simplier les critures des quations, nous remplacerons par la suite x(p, ) par x et y(p, ) par y, ainsi que d(x( ), ref ) par d. Drivons l'quation prcdente (5.12) par rapport

Nous obtenons :

dJ ( ) = +
o

x y x y x , (d) dp d p 0 1 x dp (d) p 0

(5.13)

reprsente le produit scalaire.

Posons :

A=
0

(d)

x p

dp ,
on obtient :

(5.14)

En dveloppant la drive partielle par rapport

A=
0

(d)

x p x p

p p,

dp

(5.15)

En intgrant par parties par rapport

on obtient :

(d) p
x p x p

A=
0

x p x p

, x dp
(5.16)

Dveloppons la drive

(d)
x p x p

| |

s'crit alors :

+ (d) p

A=
0

((d)) p

x p x p

, x dp
(5.17)

Soit encore, en dtaillant le terme

((d)) : p x p x p

A=
0

x y x y , (d) p p d
la normale

+ (d) p

x p x p

, x dp (5.18)

Notons

intrieure et T la tangente de ( ) (cf. g. 5.4 page

5.3. Segmentation par contours actifs : une approche variationnelle


54). D'aprs les formules de Frenet, leurs expressions sont :

53

T=

x p x p

et

N =

1 T x p
p

(5.19)

reprsente la courbure de

( ).

Introduisons

et

N
y p x p

dans l'quation (5.18) :

A=
0

xy x (d)T + (d)N , d

x dp p

(5.20)

Reprenons l'expression entire de la drive du critre :

dJ ( ) =
0

x y x y x , (d) dp + A d p A

(5.21)

En remplaant, dans l'quation prcdente, tenons :

par l'quation (5.20) nous ob-

dJ ( ) =
0 1

x y x y x , (d) dp d p T
y p x p

0 1

xy x (d)T , d x dp p

x dp p
(5.22)

(d)N ,

Lemme 5.1.

Les produits scalaires

, x y et

y p

, x y sont nuls.

Dmonstration :
Pour tout Comme

x ,

par dnition,

appartient

ref .
y y et sont ncessairement p
la normale

ref

est x, les drives partielles

colinaires

Tref . x y = Nref , o est une constante et Nref

Or, par dnition,

54

Chapitre 5. Contours actifs et a priori gomtrique


y p

unitaire intrieure au contour de rfrence. y On en dduit que les produits scalaires nuls.

, xy

et

, xy

sont

Reprenons l'quation (5.22) et simplions-la l'aide du lemme prcdent 5.1 :

dJ ( ) =
0 1

0 1

x x y x , (d) dp d p xy x x T, (d)T , dp d p x x (d)N , dp p

(5.23)

Notons

Nref

la normale unitaire

intrieure

du contour de rfrence

ref

(cf. g. 5.4).

Fig. 5.4  Normales et tangentes aux contours actifs et de rfrence.

5.3. Segmentation par contours actifs : une approche variationnelle


Dans le cas o le point

55

est extrieur la rgion

ref :

Nref =
Dans le cas o le point

xy |x y| ref ,
la normale

est intrieur la rgion

intrieure au contour de rfrence vaut :

Nref =

xy |x y|

On peut donc exprimer la normale intrieure au contour de rfrence pour tout

par :

Nref =

xy d Nref
:

(5.24)

Factorisons l'quation (5.23) puis introduisons

dJ ( ) =
0
Le vecteur

x ,

(d)Nref + T, Nref (d)T (d)N

x p

dp

(5.25)

Nref

est alors dcompos sur la base (N,T) :

Nref = Nref N N + Nref T T

(5.26)

ce qui nous permet de remplacer, dans l'quation de la drive du critre, le ref produit (d)N par l'expression

(d) Nref N N + (d) Nref T T


Dans l'quation (5.25) la composante en s'crit :

(5.27)

s'annule et la drive du critre

dJ ( ) =
0
soit nalement :

x , ( (d) Nref N (d) ) N

x dp p

(5.28)

dJ ( ) =
( )

Nref N (d) (d) V N ds

(5.29)

56

Chapitre 5. Contours actifs et a priori gomtrique

5.3.3 Dmonstration par les gradients de forme


Soit un terme de contour de forme gnrale :

J () =

k (s) ds ,

(5.30)

k (s)

est un descripteur du contour

contour paramtr par son abscisse

curviligne. La drive eulrienne du critre (5.30) dans la direction par [10, 51, 38], vaut :

V, telle que prsente

dJ (, V) =

(dk (s, N) k (s) ) V N ds

(5.31) la courbure du

est la normale unitaire intrieure au contour, et

contour. La drive directionnelle gradient de

et de la normale

dk (s, N) peut s'crire N, soit : dk (s, N) = k N

comme le produit scalaire du

(5.32)

Dans notre cas, le descripteur du contour est une fonction de la distance au contour de rfrence :

k (s) = (d(x, ref ))


avec

(5.33)

x = (s).

La drive directionnelle du descripteur, vu comme une fonction compose, vaut alors :

dk (s, N) = dd(x, N) (d) = d N (d)


or

(5.34) (5.35)

d =

xy d

= Nref

(cf eq. (5.24)), on en dduit donc :

dk (s, N) = Nref N (d)


(5.36) :

(5.36)

Finalement, la drive du critre (5.30) se dduit des quations (5.31) et

dJ (, V ) =

Nref N (d) (d) V N ds

(5.37)

5.3. Segmentation par contours actifs : une approche variationnelle

57

5.3.4 quation d'volution du contour actif


L'quation d'volution du contour actif se dduit partir de la drive du critre. On cherche faire voluer le contour de sorte qu'il minimise le critre. En choisissant l'quation d'volution suivante :

(p, ) = [Nref N (d) + (d) ] N (0, ) = 0 ( )


avec

(5.38)

d = d(x, ref )

et

x = (p, ), J (( ))
est ngative, et donc que l'vofera dcrotre la valeur du critre

on s'assure que la drive du critre lution du contour

( )

J (( )).

Remarque 5.2.

La vitesse du contour actif doit s'annuler sur le contour de rfrence, c'est--dire pour d = 0. Ceci implique que la fonction doit satisfaire les contraintes suivantes :

(0) = 0 (0) = 0

(5.39)

Remarque 5.3.

L'utilisation de la fonction permet d'viter le calcul du gradient de la distance d(x, ref ), avec x = (s), distance qui, rappelons-le, n'est pas dierentiable sur le squelette de ref .

Remarque 5.4.

L'quation (5.38) s'crit comme la somme de deux termes : un terme hyperbolique Nref N (d)N et un terme parabolique (d)N. An d'assurer la stabilit du schma numrique, la discrtisation du terme hyperbolique doit satisfaire la condition de Courant-Friedrich-Lewy (CFL) [18] |Nref N (d)N| 1 (5.40) x Une condition susante pour assurer la stabilit consiste choisir de sorte que sa drive soit borne et , le pas de discrtisation, tel que :

x max( )

(5.41)

58

Chapitre 5. Contours actifs et a priori gomtrique

Chapitre 6

Applications
L'objectif de ce chapitre est de prsenter direntes utilisations du critre de contrainte gomtrique. Tout d'abord, le critre sera tudi seul pour des applications de type dformation de contour ou

shape warping.

Ensuite, nous montrerons comment

l'ajout d'une contrainte gomtrique peut amliorer les rsultats obtenus, en segmentation d'images et de vidos, par rapport des mthodes utilisant uniquement des descripteurs statistiques.

6.1 Dformation de contour


Les premires applications ne prennent en compte que les informations ref de distance un contour de rfrence , dni arbitrairement par un utilisateur, ou provenant de segmentations pralables.

Cette distance est dnie comme suit (voir section 5.2) :

d(x, ref ) =
o

minyref (|x y|) = |x y(x)|, minyref (|x y|) = |x y(x)|, ref .

x / ref x ref

(6.1)

ref

est la rgion intrieure dlimite par

Le critre s'crit de manire gnrale :

J () =

(d(x, ref )) ds .

(6.2)

x = (s),

et

est l'abscisse curviligne de

59

60

Chapitre 6. Applications

L'quation d'volution du contour actif reprend donc directement celle calcule la section 5.3.4 :

(p, ) = [Nref N (d) + (d)] N (0, ) = 0 ( )


o

(6.3)

d = d(x, ref ), x = (p, ), Nref

et

sont les normales unitaires

intrieures respectivement du contour de rfrence et du contour actif, et o

est la courbure du contour actif.

La dformation de contour, ou contour partir d'une forme

shape warping,

consiste faire voluer un

vers une autre forme

de faon continue.

Dans notre cas, les deux formes en question sont soit dnies manuellement, soit issues d'une segmentation pralable. Le contour dform est un contour actif, initialis la premire forme et voluant suivant l'quation (6.3) vers la forme contour de rfrence.

A,

B,

considre comme le

Nous allons d'abord nous pencher sur le choix de la fonction 5.2 et 5.4.

de sorte qu'elle

satisfasse les conditions nonces dans la section 5.2.2 et dans les remarques Ensuite nous prsenterons le processus de dformation d'une ellipse verticale vers une ellipse horizontale et celles de la dformation d'un visage vers un autre.

6.1.1 Choix de la fonction de pondration de la distance


Rappelons les hypothses contraignant le choix de la fonction de pondration

.
La fonction

doit tre :

 drivable, car l'quation d'volution du contour actif se dduit de la drive du critre,  paire, an de pondrer l'identique les points l'intrieur et ceux l'extrieur du contour, +  croissante sur pour pnaliser plus fortement les points loigns du contour,  nulle et de drive nulle en zro, c'est--dire pour tout point appartenant au contour de rfrence (voir Remarque 5.2),  de drive borne, condition susante pour assurer la stabilit du schma numrique (voir Remarque 5.4).

6.1. Dformation de contour


La fonction

61

choisie est :

(d) =

1 + d2 1

[13].

Fig. 6.1  Fonction de pondration de la distance.

Le critre (6.2) s'crit :

J () =

1 + d2 (s, ref ) 1 ds

(6.4)

et l'quation d'volution correspondante est :

(p, ) d = [Nref N + ( 1 + d2 1) ]N 1 + d2 (0, ) = 0 ( )


Comme

(6.5)

d , le contour s'largit ou se rtrcit suivant s'il est 1+d2 respectivement l'intrieur (d < 0) ou l'extrieur (d > 0) du contour de

(d) =

rfrence. De plus,

(d)

est major par

1,

condition CFL si

est tel que :

ce qui est susant pour satisfaire la x max . La stabilit du schma ( )

numrique est donc bien assure.

6.1.2 Mise en uvre


L'algorithme mis en oeuvre pour cette application est le suivant :  Initialisation des donnes :

62

Chapitre 6. Applications


Contour de rfrence

Le contour de rfrence segmentation pralable.  

ref

peut tre initialis interactivement par

un utilisateur mais peut galement tre extrait d'un atlas ou d'une

Contour actif

: :

Le contour actif initial est dni par l'utilisateur.

Carte des distances

La carte des distances au contour de rfrence

ref

est calcule en

utilisant un algorithme rapide prsent dans [86] (On aurait pu aussi utiliser l'quation (6.9)). La carte des distances est dnie ngative ref pour les pixels appartenant l'objet , et positive ailleurs.  volution du contour actif : Pour chaque itration et ce jusqu' convergence nous calculons : 

La vitesse F

: suivant l'quation

(p, ) = [Nref N (d) + (d)] N = F (p, )N




(6.6)

Mise jour de la fonction u

: suivant l'quation

u(x, ) = F (x, )|u(x, )|


qui devient, aprs discrtisation :

(6.7)

u(x, + ) = u(x, ) + F (x, ) |u(x, )|


Reinitialisation de u

(6.8)

: u est rgulirement rinitialise an de rester une

carte des distances, suivant l'quation (voir [82]) :

u(x, ) = sign(u(x, ))(1 |u(x, )|)

(6.9)

La gestion d'ventuels changements de topologie est intrinsque la mthode des ensembles de niveaux. Vous trouverez plus de dtails sur la mthode des ensembles de niveaux en section 4.2 page 39.

6.1.3 Rsultats exprimentaux


Nous nous intressons tout d'abord un exemple simple de dformation. Pour cela nous initialisons un contour actif par une ellipse (rose sur la gure 6.2) et prenons comme contour de rfrence la limite, elliptique, entre un objet (en blanc) et le fond de l'image (en noir). La gure 6.2 prsente direntes itrations de l'algorithme de convergence

6.1. Dformation de contour


du contour actif vers le contour de rfrence. L'algorithme converge en itrations environ pour une image de taille discrtisation

63

350

150 150

pixels et un pas de

= 0.05.

On peut voir que le contour actif se dforme continment du contour initial au contour nal.

(a) 1re iteration : contour initial

(b) Iteration 31

(c) Iteration 81

(d) Iteration 151

(e) Iteration 191

(f) Iteration 353 : contour nal

Fig. 6.2  Dformations d'un contour actif voluant d'une ellipse (en rose)

vers une autre (dnie par la limite entre l'objet blanc et le fond noir).

Ensuite nous avons test le squences

Foreman

et

Erik.

shape warping

entre deux images relles des

Le contour actif est initialis autour du visage de le visage de

Foreman,

comme prsent

dans la gure 6.3.a. Puis le contour de rfrence est dni comme dlimitant

Erik

tel que dans la gure 6.3.b.

La gure 6.4 prsente l'volution du contour actif du contour initial vers le contour de rfrence. L'algorithme converge en

700

itrations environ, pour

64

Chapitre 6. Applications

(a) Contour initial autour du visage de Foreman

(b) Contour de rfrence autour du visage de Erik

Fig. 6.3  Dformation d'un contour d'un visage un autre : dnition des

contours initial et de rfrence

un pas de discrtisation

= 0.07,

et une image de taille

288 352

pixels.

Ces rsultats illustrent le fait qu'il n'y a aucune contrainte paramtrique de forme sur le contour actif. Le contour se rapproche du contour de rfrence en se dformant librement, c'est--dire qu'on n'impose pas la contrainte d'une transformation gomtrique (ane par exemple) permettant de passer du contour actif au contour de rfrence.

6.1. Dformation de contour

65

(a) 1re itration

(b) Itration 100

(c) Itration 200

(d) Itration 300

(e) Itration 400

(f) Itration nale 720

Fig. 6.4  Dformation d'un contour d'un visage un autre : volution du

contour actif

66

Chapitre 6. Applications

6.2 Segmentation interactive d'images


Pour des applications de segmentation d'objets, nous combinerons le terme de distance un contour de rfrence, traduisant une connaissance a priori du contour, avec des termes rgions statistiques et un terme de rgularisation classique. Nous comparerons notre mthode une comptition de rgions utilisant le mme critre statistique an de montrer l'intrt du terme d'a priori. Dans cette section nous prsenterons d'abord le critre de comptition de rgions, puis nous dnirons notre critre conjuguant terme a priori et terme statistique, enn nous montrerons des rsultats comparatifs des deux mthodes.

6.2.1 Critre de comptition de rgions


I une image compose d'une rgion d'intrt in , appele objet, et d'un out fond constituant une partition de l'image. Le contour est la frontire in out commune et .
Soit La mthode de comptition de rgions consiste dnir un critre qui pondre les informations extraites de chacune des deux rgions objet et fond, les eets de chaque terme de rgion devant s'quilibrer. Un terme de contour peut s'ajouter pour complter le critre. Un tel critre s'crit gnralement :

J () =
in

k in (x, in ) dx k out (x, out ) dx


(6.10)

+
out

k b (s) ds k b (s)

k in (x, in ), k out (x, out )

et

sont respectivement le descripteur de

l'objet, du fond et du contour. Les constantes de chacun des termes du critre.

et

pondrent l'inuence

Pour une application de segmentation de rgions homognes, nous avons choisi des descripteurs statistiques de rgion. Les descripteurs contour et rgion sont :

out = (S (out )) k in k = (S (in )) b k = 1

(6.11)

6.2. Segmentation interactive d'images


o   

67

2 2 2 S () = 1 () + 2 () + 3 () est la somme des variances de chaque composante couleur de I sur la rgion , 2 i () est la variance de I pour la composante couleur i sur la rgion = in ou out , et est une fonction de pondration direntiable. 2r 2 Nous avons choisi = log (1 + r ) ( = ). 1+r2

Notons :  

Ii (x) la luminance (i = 1) ou l'une des deux chrominances (i = 2, 3) de I au pixel x, et i () la valeur moyenne de I pour la composante couleur i sur la in out rgion = ou .
l'image

Le terme de contour minimise la longueur du contour, c'est donc un terme de rgularisation. Le terme de rgion dcrivant l'objet minimise l'intgrale sur la rgion

in

d'une fonction de la variance. Un tel terme utilis seul tendrait minimiser in la rgion d'intgration et ainsi sous-segmenter la rgion d'intrt, voire in faire rtrcir jusqu' disparatre. De mme, si le terme de rgion dcrivant le fond de l'image n'tait associ out aucun autre, la rgion aurait tendance rtrcir. L'objet serait cette fois sur-segment. C'est pourquoi ces deux termes sont mis en comptition, an d'avoir le meilleur compromis entre leurs eets contradictoires mais complmentaires. L'quation d'volution se dduit des thormes gnraux de la section 3.4.2 ou des rsultats obtenus la section 3.4.1 pour la drivation d'un terme de rgion de descripteur une fonction de la variance. Dans cette dernire, nous montrions que la drive d'un terme de rgion tel que :

J () =

( 2 ()) dx ,
a pour expression :

(6.12)

2 ()

reprsente la variance de la rgion

dJ (, V) =

( 2 ()) + ( 2 ())[(I (s) ())2 2 ()] V N ds (6.13)

Dans notre exemple, on a :

( 2 ()) =
i=1

2 i ()

(6.14)

68

Chapitre 6. Applications

La drive d'un des termes de rgion vaut donc :

dJ (, V) =

pour

(S ()) + (S ())
i=1
ou

[(Ii (s) i ())2 S ()]V N ds

(6.15)

= in

out . J () =

La drive d'un terme de contour

k (s) ds

est, rappelons-le :

dJ (, V) =

Dans notre cas

(k (s) N k (s) ) V N ds

(6.16)

k (s) = 1,

la drive du terme de contour s'crit donc :

dJ (, V) =

V N ds

(6.17)

Finalement, le contour actif vriant le critre (6.10) suit l'quation d'volution suivante :

(p, ) = (S (in ( ))) (S (out ( )))


3

+ (S ( ( )))
i=1

in

[(Ii (x) i (in ( )))2 S (in ( ))]


3

(S ( +
avec

out

( ))
i=1

[(Ii (x) i (out ( )))2 S (out ( ))]


(6.18)

]N

x = (p, ).

Dans le cadre d'une segmentation faisant l'hypothse d'un objet homogne, le critre ne peut pas contenir qu'un seul terme de rgion, car alors la rgion en question diminuerait jusqu' disparatre. On doit mettre en comptition les informations extraites des deux rgions que sont l'objet et le fond de l'image, pour trouver un quilibre entre les deux.

6.2.2 Critre combinant a priori gomtrique et descripteur de rgion


L'introduction d'un a priori, sous la forme d'un terme de contour fond sur la distance un contour de rfrence, nous dispense d'utiliser un terme de

6.2. Segmentation interactive d'images

69

rgion dcrivant le fond de l'image. En eet, cet a priori entre en comptition avec les informations statistiques de l'objet, et les informations statistiques du fond de l'image ne sont plus ncessaires. Le critre se formule comme suit :

J () =

k p (s) ds k in (x, in ) dx
(6.19)

+
in

Les descripteurs k p est tel que :

k b (s) ds

k in

et

kb

sont les mmes que prcdemment et le descripteur

p = (d(x, ref )) k k in = (S (in )) b k = 1


o

(6.20)

ref est le contour de rfrence, d(x, ref ) la distance signe x = (s) au contour de rfrence, et une fonction direntiable.

du point

La drive du terme d'a priori

(d(x, ref )) ds

dans la direction

est :

dJ (, V) =

Nous

(Nref N (d) (d) ) V N ds


de pondration de l'a

(6.21)

avons choisi comme fonction 1 + d2 1. Cette fonction vrie

priori

toutes les conditions mises tout au

long du chapitre 5 et rappeles la section 6.1. L'quation d'volution du contour actif est donc :

(p, ) d + ( 1 + d2 1) = [Nref N 1 + d2 in + (S ( ( )))


3

+ (S ( ( )))
i=1

in

[(Ii (x) i (in ( )))2 S (in ( ))]


(6.22)

+
avec

]N

x = (p, ).

L'algorithme a t mis en uvre par la mthode des ensembles de niveaux.

70

Chapitre 6. Applications

6.2.3 Rsultats exprimentaux


La gure 6.5 compare les rsultats obtenus en utilisant le critre de comptition de rgions et ceux obtenus avec l'utilisation du terme d'a priori. Dans cette image, l'objet d'intrt est le visage de la personne au tlphone. En utilisant la mthode de comptition de rgions, et donc des informations lies la variance des rgions, la main de la personne est considre comme faisant partie de l'objet car elle a, au sens de l'homognit, les mmes caractristiques que le visage (gure 6.5.a). L'introduction du terme d'a priori permet l'utilisateur d'intervenir pour dlimiter grossirement le centre d'intrt, en dnissant le contour de rfrence comme sur la gure 6.5.b. Cette interaction permet d'induire une comptition entre les informations d'homognit de la rgion intrieure au contour actif, et la distance entre ce mme contour et le contour de rfrence dni par l'utilisateur. Ainsi, le contour rsultant de ce compromis dnira une rgion la plus homogne possible proche du centre d'intrt dni par le contour de rfrence. Avec le terme d'a priori, l'objet nal n'inclut plus la main, mais dlimite le visage comme souhait (gure 6.5.c).

6.2. Segmentation interactive d'images

71

(a) Contour initial.

(b) Contour de rfrence dni par un utilisateur.

(c) Rsultat de l'algorithme de comptition de rgions : le contour drive vers la main de la personne au tlphone.

(d) Segmentation avec le terme d'a priori de distance au contour de rfrence : seul le visage est segment, comme souhait.

Fig. 6.5  Comparaison entre un algorithme de comptition de rgions et

l'algorithme de segmentation interactive incluant l'a priori gomtrique.

72

Chapitre 6. Applications

6.3 Segmentation de vidos


Dans le cadre d'une segmentation d'objets vidos ou

tracking,

le terme d'a

priori permet d'introduire une cohrence temporelle. Cette cohrence est lie au fait que le contour de rfrence, dni une seule fois par l'utilisateur sur la premire image, se dduit ensuite du contour nal de l'image prcdente, pour les autres images de la squence. Nous allons d'abord prsenter les tapes spciques la segmentation vido, c'est--dire principalement l'estimation du contour de rfrence. L'quation d'volution du contour actif se dduira ensuite facilement des quations calcules la section prcdente. Enn, nous montrerons les rsultats obtenus sur une squence de

50

images.

6.3.1 Estimation du contour de rfrence


Le contour de rfrence de la premire image de la vido, not tialis par un atlas ou interactivement par un oprateur. Une fois ce premier contour de rfrence initialis, tous les autres contours de ref rfrence n pour l'image In sont estims partir du contour n1 , rsultat de la segmentation nale de l'image prcdente In1 . ref Le contour de rfrence n se dduit du contour nal n1 en tenant compte des dirents mouvements entre les deux images ment de la camra et/ou celui de l'objet. Pour cela, nous faisons l'hypothse que le mouvement global du contour entre

ref 0

est ini-

In1

et

In ,

dus au mouve-

In1

et

In

peut tre modlis par un modle ane

paramtres,

Mn1n ,
(6.23)

ce qui donne :

ref n = Mn1n n1

Le modle de mouvement paramtrique ane 6 paramtres constitue un bon compromis entre la qualit de l'estimation et sa complexit calculatoire. Une tape pralable l'volution du contour actif est donc ncessaire pour dnir le contour de rfrence. Cette dnition du contour de rfrence relie la segmentation de l'image courante au rsultat de segmentation de l'image prcdente. Elle permet de considrer l'objet d'intrt comme un objet

2D + t,

et non pas comme une suite de segmentations de

images indpen-

dantes. Cette dmarche permet de rectier les dicults de segmentation propres une image particulire en s'appuyant sur les rsultats obtenus sur les images prcdentes. Pour estimer le contour de rfrence nal

ref n

de l'image

In

partir du contour

n1

on procde comme suit :

6.3. Segmentation de vidos

73

Fig. 6.6  Estimation du contour de rfrence pour le tracking

 chaque pixel dant

xn1

du contour

n1 ,

nous associons son correspon-

xn

dans l'image

In

l'aide d'une mthode robuste de mise en

correspondance par blocs ou

block-matching.

 Ensuite, nous cherchons le modle

Mn1n

de mouvement ane re-

prsentant au mieux le dplacement global du contour partir du dplacement de chacun de ses pixels.

n1

vers

In ,

Les paramtres du modle doivent pour cela minimiser la somme des dirences pondres entre les pixels dle de mouvement mthode de

Mn1n , block-matching :
xn1 n1

et leur correspondant

xn1 , auxquels on applique le moxn , estims par la


(6.24)

( xn Mn1n xn1 )
La fonction

est la fonction de pnalisation de Geman and Mc

Clure [36], elle permet d'amliorer la robustesse de l'estimation en li-

74

Chapitre 6. Applications
mitant le poids des mises en correspondance aberrantes. La minimisation de ce critre (6.24) met en oeuvre le thorme semiquadratique de Charbonnier

et al. [13], c'est--dire que le problme est


2

quivalent minimiser le critre :

bmin xn Mn1n xn1


xn1 n1
avec

+ (bmin )

(6.25)

bmin =

( xn Mn1n xn1 ) 2 xn Mn1n xn1 Mn1n

(6.26)

La minimisation du critre (6.24) se fait en calculant alternativement le modle de mouvement partir de l'quation (6.25) pour

bmin
pour

x, et en calculant la carte des

bmin

partir de l'quation (6.26) modle de mouvement

Mn1n

x. robuste des paramtres d'un

L'estimation page 138.

suivant cette mthode est prsent plus en dtails en Annexe A.1.2

 Enn le contour

n1

est projet dans l'image

In

suivant le modle

de mouvement Mn1n et dnit le contour de rfrence de l'image ref soit : n = Mn1n n1 .

In

6.3.2 Critre de segmentation de vidos et quation d'volution du contour


Le critre de segmentation de vidos

de l'image

In

de la vido com-

prend, comme pour le critre de segmentation d'image, un terme d'a priori au contour de rfrence, un terme d'attache aux proprits de l'objet et un terme de rgularisation du contour.

J (n ) =
n

p kn (s, ref n ) ds in kn (x, in n ) dx

+
in n

+
n

k b (s) ds

(6.27)

p Le descripteur kn reprsente la distance pondre au contour de rfrence ref n , estim partir du contour nal de l'image prcdente, comme dcrit la section (6.3.1).

6.3. Segmentation de vidos


Le descripteur de l'objet gnes. Le terme de rgularisation du contour minimise sa longueur. Enn chacun des termes sur le critre.

75

in kn

est un descripteur statistique de rgions homo-

et

sont des constantes de pondration utilises pour faire varier l'inuence de

p kn = (d(x, ref n )) in in k = (S (n )) n kb = 1
o

(6.28)

ref ref est le contour de rfrence, d(x, n ) la distance signe d'un point n x = n (s) du contour actif n au contour de rfrence, et une fonction
direntiable. La description du terme de rgion ncessite l'introduction de quelques notations :     

I i (x) reprsente la luminance (i = 1) ou l'une des deux chrominances (i = 2, 3) de l'image I au pixel x, i () est la valeur moyenne de I pour la composante couleur i sur la in out rgion = ou , 2 i () est la variance de I pour la composante couleur i sur la rgion = in ou out , 2 2 2 S () = 1 () + 2 () + 3 () est la somme des variances de chaque composante couleur de I sur la rgion . et est une fonction de pondration direntiable. 2r 2 ). Nous avons choisi = log (1 + r ) ( = 1+r2

L'quation d'volution se dduit des rsultats prsents la section 6.2.2 :

n (p, )

= [Nref N

d + ( 1 + d2 1) 1 + d2 + (S (in n ( )))
3

+ (S (in n ( )))
i=1

2 in [(I i (x) i (in n ( ))) S (n ( ))]

] N

(6.29)

o x = n (p, ).

6.3.3 Rsultats exprimentaux


Les rsultats prsents dans la gure 6.7 illustrent le suivi d'un visage le long d'une squence de 50 images.

76

Chapitre 6. Applications

Le premier contour de rfrence est dni interactivement comme sur la gure 6.7(a). Le pas d'volution du contour actif est : du contour valent :

= 5.104 ,

et les constantes de

pondration entre l'a priori, le terme d'attache la rgion et la rgularisation

= 0.6

et

= 115.

6.3. Segmentation de vidos

77

(a) Image 0

(b) Image 9

(c) Image 19

(d) Image 29

(e) Image 39

(f) Image 49

Fig. 6.7  Segmentation de visage utilisant l'a priori gomtrique sur

50

images de la vido

Erik.

78

Chapitre 6. Applications

Troisime partie Segmentation et estimation conjointes du mouvement

79

Chapitre 7

tat de l'art
La segmentation d'objets en mouvement joue un rle de plus en plus important dans les applications multimdia, notamment depuis l'apparition des normes de compression vido MPEG-4 [40], MPEG-7 [41] et H264, dites de seconde gnration. De plus, la segmentation d'objets en mouvement s'tend souvent au suivi de ces objets ou

tracking

le long d'une squence vido. Les domaines

d'applications dans ce cas touchent aussi bien le domaine mdical [56] que la tl-surveillance [90], la rotoscopie [32], la mtorologie [68] ou l'indexation [59]. En compression vido, les normes MPEG-1 [42] et MPEG-2 [43], H261 [45] et H263 [46] exploitent les redondances temporelles pour rduire le nombre de donnes transmettre. En eet, si l'on nglige les ventuels changements d'intensit lumineuse et le bruit d'acquisition, la majeure partie des pixels ne varie pas d'une image l'autre, pour une vido camra xe. Dans le cas d'une squence camra mobile, il est possible d'estimer et de compenser le mouvement de la camra pour se rapprocher d'un cas de camra xe. La rduction de la quantit d'information transmettre s'obtient donc en transmettant l'image dirence entre l'image courante et l'image suivante compense en mouvement, connue sous le nom de DFD (displaced

dierence ),

frame

ainsi que les vecteurs de mouvement correspondants.

Une des tapes-cls de ces normes rside dans l'estimation du mouvement, estimation ncessaire pour la compensation du mouvement de la camra notamment. La mthode d'estimation du mouvement la plus rpandue dans ce cadre est le Cependant,

block-matching [53, 92]. l'utilisation du block-matching

induit un dcoupage arbitraire

de l'image en blocs, arbitraire dans le sens o le dcoupage ne prend pas en compte le contenu smantique de la vido. Un bloc peut contenir la fois des pixels du fond de l'image et des pixels d'un objet, et donc inclure

81

82

Chapitre 7. tat de l'art

des rgions ayant des mouvements dirents. Sur ces blocs l'estimation est mauvaise, ce qui retentit sur la qualit de la compensation et celle de la DFD.

Les codeurs de seconde gnration MPEG-4 [40] MPEG-7 [41] et H264 ont opt pour une approche smantique de la vido. Le dcoupage de la vido ne se fait plus en blocs mais en objets vido, ou VOP (Video

Object Plan ). Cette

nouvelle reprsentation de la squence autorise de nouvelles fonctionnalits, comme interagir avec les objets de l'image ou coder diremment les objets et le fond de la squence, ou indexer les objets d'une vido et rechercher leur prsence dans d'autres.

Dans le cadre de ces nouvelles applications multimdia, la segmentation des objets est donc une tape-cl. Pour segmenter des objets, il convient tout d'abord de dnir les notions d'objets, et donc par complmentarit, de fond de l'image. En l'absence de mouvement de camra, les seules dirences entre deux images d'une squence sont dues aux objets en mouvement. Partant de ce constat simple, une segmentation courante de l'image consiste dnir le fond de l'image comme la partie statique et les objets comme la partie mobile de l'image, ce qui revient dtecter le mouvement. En pratique, il faudra prendre en compte dans notre dnition un ventuel mouvement de la camra entre les images considres. La dtection du mouvement ne ncessite pas l'estimation du mouvement des objets. Cependant la dtection des objets en mouvement ne permet pas, sans autre hypothse, ni de direncier les objets en mouvement s'il y en a plusieurs, ni de connatre leur mouvement. Or seule la connaissance du mouvement de l'objet permet son suivi (ou

tracking )

le long de la squence

vido, suivi ncessaire la dnition du VOP.

Nous allons introduire quelques travaux prsentant des mthodes de dtection de mouvement, puis de segmentation et suivi d'objets en mouvement avant de situer notre approche dans ce contexte.

7.1 Dtection de mouvement


La dtection de mouvement permet de sparer l'image en deux rgions :  une rgion

 une rgion en

statique : le fond de l'image, mouvement : le ou les objets.

En pratique, il faut distinguer les squences camra xe et les squences camra mobile, pour lesquelles le mouvement de la camra doit tre com-

7.1. Dtection de mouvement

83

pens. De plus, certaines mthodes de dtection n'utilisent que deux images successives, alors que d'autres mthodes tendent leur support temporel plusieurs images, en estimant une image reprsentant le fond statique de la scne. Nous allons voquer quelques mthodes relatives ces dirents cas. Une des mthodes les plus simples de dtection de mouvement FD (frame

images camra xe se fonde sur la dirence entre ces deux images, la
dierence ).

entre deux

La dirence entre les images s'opre pixel pixel

et l'image rsultat est seuille. Si la dirence dpasse le seuil x, le pixel est considr comme appartenant un objet en mouvement, sinon il est considr comme appartenant au fond de l'image. Cette mthode a pour avantage de ne pas ncessiter l'estimation du mouvement des objets. Elle est cependant sensible aux variations d'intensit lumineuse et au bruit. De plus, les zones dcouvertes par l'objet d'une image l'autre sont tiquetes comme faisant partie de l'objet. La FD peut galement servir de base une approche statistique du problme de dtection [70]. La densit de probabilit de la FD est considre comme une mlange d'une composante statique et d'une composante mobile. Dans le cas de squences

camra mobile, on ne peut plus dnir l'objet

comme l'ensemble des pixels en mouvement car le mouvement de la camra induit un mouvement dominant dans la squence sur tous les pixels de l'image. Cependant les pixels de l'objet ont un mouvement local propre qui s'ajoute ce mouvement global. L'objet va donc tre dni comme l'ensemble des pixels ne suivant pas le mouvement dominant de l'image. Une mthode simple consiste compenser le mouvement de la camra, c'est--dire recaler l'une des images sur l'autre, pour se replacer dans un cadre de camra xe. La dirence entre les deux images, dont l'une est compense en mouvement, est appele la DFD (Displaced

frame dierence ).

Il est donc ncessaire d'estimer le mouvement de la camra entre les deux images pour pouvoir le compenser et discriminer les pixels ne suivant pas ce mouvement. Le mouvement de la camra est souvent reprsent par un modle de mouvement, dont l'estimation tend tre la plus robuste possible [13, 66]. Wu et Kittler [89] reprsentent le mouvement de la camra par un modle ane. L'estimation des paramtres du modle est formule comme la minimisation de la valeur absolue de la TFD (Transformed

Frame Dierence ),

84

Chapitre 7. tat de l'art

image dirence entre l'image courante et l'image suivante transforme par les paramtres de mouvement. Enn les objets sont dtects par seuillage de la valeur absolue de la TFD. Dans [77] Salembier

et al.

proposent de reprsenter l'image sous forme

d'arbre. Pour une segmentation d'objets en mouvement, la DFD est calcule sur l'image entire, considre comme la racine de l'arbre, et dnit deux rgions (deux enfants) pour lesquels le processus de dtection est itr. En choisissant un niveau de description de l'arbre, on dtermine le nombre de rgions qui segmentent l'image. Precioso par des

et al. [72] utilisent un algorithme de contours actifs mis en uvre smoothing B-Splines. Le contour actif volue de sorte minimiser

la dirence sur le fond de l'image entre l'image courante et la prcdente compense en mouvement. An d'viter la sur-segmentation de l'objet le critre de segmentation inclut un terme visant minimiser l'aire de l'objet et un terme de rgularisation portant sur la longueur du contour. Fablet

et al. [29] proposent une mthode intgrant des informations spatiales

sous la forme d'une segmentation base sur la couleur. Un modle de mouvement ane est estim an de modliser au mieux le mouvement dominant de l'image. Enn chaque rgion dtermine par la segmentation spatiale est tiquete comme appartenant au fond ou l'objet respectivement si elle suit ou non le mouvement dominant. Dans [85] la dtection de mouvement repose sur le principe de groupement perceptuel qui stipule que les vnements perceptibles sont ceux qui dirent d'un modle alatoire gnral. Il s'agit donc de modliser la partie statique de la scne vide d'objets en mouvement an de dtecter Toujours dans l'optique de sparer le fond de

a contrario ces objets.


des objets en

l'image

mouvement, certaines mthodes se sont penches sur l'estimation d'une image reprsentant la partie statique de la squence que nous appelerons fond de la squence. Le fond de la squence tant connu, la dtection des n objets en mouvement est directe. Ces mthodes utilisent cette

plusieurs images

successives de la squence. L encore il est nces-

saire de distinguer les squences camra xe des squences camra mobile. Pour des squences

camra xe,
n

Jehan-Besson

et al.

[50] proposent

d'estimer le fond d'une squence de

images comme une moyenne de ces

images. An d'liminer les valeurs correspondant aux objets en mouvement,

7.2. Segmentation et suivi d'objets en mouvement

85

les auteurs introduisent dans leur critre un M-estimateur et minimisent la dirence pondre entre le fond et chacune des images par un algorithme de minimisations alternes. Dans [54] les auteurs couplent l'estimation du fond de la squence sa restauration. Pour des squences prsentes dans [44]. L'annexe A dveloppe une mthode variationnelle de contours actifs pour la dtection de mouvement prsente dans [33]. Le critre de segmentation est fond sur la connaissance du fond de la squence sous forme de mosaque. La construction de la mosaque ncessite une pr-segmentation grossire des objets. En utilisant plusieurs images de la squence, la dtection gagne en robustesse par rapport au bruit et aux changements d'intensit lumineuse.

camra mobile

le fond de la squence est appel

mosaque. De nombreuses mthodes de construction de mosaques sont

7.2 Segmentation et suivi d'objets en mouvement


Si la dtection d'objets en mouvement permet de segmenter l'image entre rgions en mouvement et rgion statique, elle ne donne aucune information quant au mouvement de ces rgions, or cette information est ncessaire pour des applications de type

tracking.

Parmi les mthodes de segmentation et de

tracking

d'objets en mouvement

nous prsenterons deux grandes familles : celles dites squentielles, qui segmentent l'image partir de donnes calcules au pralable, et celles, couples ou conjointes, qui lient la segmentation et l'estimation du mouvement dans un procd itratif. Enn nous introduirons nos travaux et les situerons parmi les mthodes d'estimation et de segmentation conjointes du mouvement.

7.2.1 Segmentation et estimation squentielle du mouvement


Certaines mthodes estiment le ot optique sur l'ensemble de l'image considre, et partitionnent ensuite l'image partir de ce champ dense. Par exemple, les mthodes [37, 68, 73, 76] mettent en uvre un algorithme de segmentation par contours actifs utilisant l'estimation pralable d'un champ de mouvement dense.

86

Chapitre 7. tat de l'art


[73] les auteurs dnissent un critre qui mle entre autres un terme

Dans

fond sur la norme des vecteurs de mouvement et un terme d'attraction vers les discontinuits d'intensit lumineuse. Dans le cadre d'applications mtorologiques, Papin de vecteurs de mouvement dense. Herbulot

et al.

[68] proposent

d'associer des donnes photomtriques une estimation robuste d'un champ

et al.

[37] dnissent un critre de segmentation de donnes

vectorielles exploitant l'entropie conjointe des vecteurs de mouvement. Dans [76] les auteurs segmentent un champ de vecteurs pouvant tre dcrit par un nombre ni de paramtres reprsentant la trajectoire des pixels de l'objet. Ces mthodes ont en commun l'estimation d'un champ dense de vecteurs de mouvement pralable l'algorithme de segmentation. Parmi les approches de segmentation ncessitant un pr-traitement certaines n'utilisent pas une estimation du ot optique proprement parler L'algorithme de temporelle

tracking
par

prsent dans les frontires

[61] dtecte la surface spatiodues au mouvement. Le terme

gnre

dnissant la frontire due au mouvement s'appuie sur l'quation du ot optique et l'hypothse que le mouvement est localement constant partout sauf ses frontires. Le critre de segmentation inclut galement un terme statistique dnissant les densits de probabilits des objets en mouvement et du fond de l'image en fonction de la composante normale du ot optique, sans toutefois calculer explicitement celui-ci.

7.2.2 Segmentation et estimation conjointe du mouvement


La performance des mthodes de segmentation bases sur l'estimation pralable du ot optique dpend fortement de la qualit d'estimation du ot optique. Puisque l'on cherche une rgion ayant un mouvement cohrent, il est intressant d'utiliser les informations propres la rgion ainsi dtermine pour calculer son mouvement. L'estimation du mouvement sera d'autant plus juste que la rgion segmente sera proche de l'objet d'intrt et rciproquement la segmentation sera d'autant plus prcise que l'estimation du mouvement sera proche du mouvement apparent rel. Le problme se pose ainsi en un procd itratif. Les mthodes d'estimation et de segmentation conjointes du mouvement dnissent un critre dpendant la fois de la rgion et du mouvement estimer. La minimisation de ce critre conjoint a pu tre trait comme une minimisation hirarchique non linaire [62], comme un problme aux

7.2. Segmentation et suivi d'objets en mouvement

87

valeurs propres [21] ou par l'volution d'un contour actif [7, 25, 34, 56, 70, 79]. Les contours actifs sont particulirement bien adapts pour la segmentation et le suivi d'objets en mouvement [7, 25, 34, 56, 70, 79] parce que les objets bougent et se dforment peu entre deux images. De ce fait il est frquent d'initialiser la segmentation d'une image par le contour nal de l'image prcdente, et l'algorithme converge d'autant plus vite que le contour initial est proche de l'objet d'intrt. Dans [89] les auteurs formulent l'hypothse d'un modle de mouvement global pour toute la rgion d'intrt. Les auteurs utilisent la valeur absolue de l'image dirence. Dans [20, 89] les auteurs proposent un critre d'estimation et de segmentation en mouvement, et minimisent successivement l'nergie par rapport une des deux inconnues : la rgion d'intrt ou les paramtres du mouvement, en xant l'autre inconnue. Dans ce cas l'estimation du mouvement et la segmentation sont couples.

88

Chapitre 7. tat de l'art

Chapitre 8

Segmentation et estimation conjointes du mouvement entre deux images successives


Dans ce chapitre, nous dnissons un critre de segmentation d'un mouvement, conjointement l'estimation du mouvement de la rgion segmente, partir de deux images successives. Nous drivons le critre avec la mthode des gradients de forme, et proposons deux quations d'volution : une dirige suivant la normale au contour, pour la segmentation d'un objet en mouvement, et une dirige suivant le mouvement de l'objet pour le suivi d'objets en mouvement. Nous tudions la mthode d'estimation du mouvement ainsi dnie pour un modle de mouvement polynmial, en nous attachant plus particulirement aux modles de translation et d'homothtie.

8.1 Dnition du critre conjoint entre deux images


Nous proposons une mthode de segmentation et d'estimation d'un mouvement utilisant les contours actifs. Dans cette section nous dnirons notre critre de segmentation et les hypothses sous-jacentes, tout en situant nos travaux par rapport l'existant. Notons

une squence d'images entier positif.

tre vue comme une fonction de born et tous

N un x et n.

In en niveaux de gris. La squence I peut S D [0, N ] dans R+ , o D est un ouvert Nous noterons In (x) le rel positif I (x, n) pour

Une image est une projection dans le plan

2D d'une scne relle. L'estimation

du mouvement partir d'une squence ne peut dterminer le mouvement

89

90

Chapitre 8. Segmentation et estimation conjointes entre deux images


3D qui composent la scne, mais seulement leur mouvement

"rel" des objets

apparent. On admet communment l'hypothse que l'intensit lumineuse d'un pixel ne varie pas le long de sa trajectoire [39, 2, 88]. Le mouvement apparent est donc calcul partir des constances de l'intensit lumineuse d'une image l'autre. Soit

le ot optique entre les images

In

et

In1 ,

c'est--dire le champ de

vecteurs reprsentant le mouvement apparent entre ces deux images. L'hypothse de constance de l'intensit s'crit :

In (x) In1 (x + v(x)) = 0


et

(8.1)

Ainsi pos le problme d'estimation du ot optique est sous-dtermin

v(x)

n'est pas unique, car de nombreux pixels ont la mme intensit

lumineuse. An de contraindre l'quation un voisinage (8.1), nous posons l'hypothse d'un mouve-

ment constant par rgion, en tendant le domaine d'application de l'quation

du point considr :

(In (x) In1 (x + v(x)))2 = 0


n

(8.2)

Cette hypothse se retrouve, entre autres, dans les travaux de [89] et dans la mthode de

block-matching

[42, 43] pour le cas particulier o la rgion de

support est un carr. Nous restreignons galement le mouvement en le reprsentant par un modle de mouvement paramtrique [20, 66]. Le mouvement de la rgion dlis par un vecteur sur la rgion par rgion :

est mo-

p(n ) de m paramtres. Le vecteur p(n ) est constant n , ceci pour respecter l'hypothse de constance du mouvement v(x) = M (x, n) p(n ), x n
(8.3)

est une matrice

2m

dpendant du modle de mouvement choisi. Par des

exemple, si le modle de mouvement choisi est la translation uniforme de vecteur

a,

la matrice

paramtres du

M (x, n) est la matrice identit et le vecteur mouvement p(n ) est le vecteur de translation a.

A partir des hypothses dcrites dans les quations (8.2) et (8.3), nous dnissons l'nergie suivante (voir gure 8.1) :

E (n ) =
n

(In (x) In1 (x + M (x, n) p(n )))2 dx

(8.4)

8.1. Dnition du critre conjoint entre deux images


o

91

p(n ) reprsente le vecteur des paramtres de mouvement de la rgion n . p(n )


tels que :

Nous avons choisi les paramtres de mouvement

p(n ) = min
p n

(In (x) In1 (x + M (x, n) p))2 dx

(8.5)

Fig. 8.1  Modle de mouvement entre deux images

Minimiser l'nergie (8.4) par rapport

revient dlimiter une rgion

sur laquelle le mouvement est homogne et caractris par un modle de mouvement, de fait constant sur la rgion, et dni par l'quation (8.5). Dans [89] les auteurs tudient la valeur absolue de la dirence entre deux images successives. Cependant la valeur absolue n'est pas diffrentiable en zro et pose problme lors de la direntiation du critre, direntiation ncessaire au calcul de l'quation d'volution du contour actif. Contrairement l'approche couple, dveloppe par [20, 89], notre approche de l'estimation du mouvement et de la segmentation est jointe, car nous prenons explicitement en compte, lors de la minimisation de l'nergie, le fait que les paramtres

p(n )

du modle de mouvement dpendent de la

92

Chapitre 8. Segmentation et estimation conjointes entre deux images


n
(voir section 8.1).

rgion

La segmentation de l'objet en mouvement s'eectue par contours actifs. Le minimum de l'nergie (8.4) est atteint lorsque la rgion

recouvre

l'objet en mouvement. Ainsi, partant d'un contour initial, le contour actif doit voluer de sorte faire dcrotre le critre (8.4). Nous dduisons donc l'quation d'volution du contour actif partir de la drive de ce critre. L'estimation du mouvement de l'objet passe par l'estimation des paramtres du mouvement, dnis dans l'quation (8.5) comme argument minimum de la fonctionnelle prsente. Nous verrons par la suite que le choix de la fonctionnelle minimiser pour l'estimation des paramtres du mouvement inue sur l'quation d'volution du contour actif, et donc sur le rsultat de la segmentation (Dmonstration 8.2 page 93).

8.2 Segmentation et suivi d'objets en mouvement


La minimisation du critre (8.4) requiert le calcul de sa drive par rapport

n ,

calcul eectu en utilisant les outils de drivation de domaines.

On utilise un schma dynamique dans lequel la rgion variable d'volution

dpend d'une

La drive du critre dans la direction

est calcule

suivant la technique des gradients de forme [26, 51].

Thorme 8.1.

La drive eulrienne dans la direcion V du critre

E (n ) =
n

(In (x) In1 (x + M (x, n) p(n )))2 dx

(8.6)

o les paramtres du modle de mouvement p(n ) vrient :

p(n ) = min
p n

(In (x) In1 (x + M (x, n) p(n )))2 dx

(8.7)

a pour expression :

dE (n , V) =
n

(In (s) In1 (s + M p(n )))2 V N ds

(8.8)

Dans cette expression, n reprsente le contour orient de la rgion n et s son abscisse curviligne. Nous noterons s + M p(n ) l'abscisse du point xn1

8.2. Segmentation et suivi d'objets en mouvement

93

de n1 tel que xn1 = x + M (x, n) p(n ), o x = n (s). La dformation locale du contour (sa vitesse) est note V et le vecteur N reprsente la normale unitaire intrieure au contour n .
Dans le cadre d'une segmentation, une quation d'volution possible est (voir section 8.2.1) :

n (p, ) = (In (x) In1 (x + M p(n ( ))))2 N


avec

(8.9)

x = n (p, ).

Nous prsentons la section 8.2.2 une autre quation d'volution spcique aux applications de suivi d'objets en mouvement.

Dmonstration :
Le thorme 3.1 page 25 nous permet d'exprimer la drive eulrienne dans la direction

du critre en fonction de sa drive de domaine :

dE (n , V) =
n

d ((In (x) In1 (x + M p(n )))2 )(x, n , V) dx (In (s) In1 (s + M p(n )))2 V N ds
n
(8.10)

Le terme rgion de cette quation est not

A,

soit :

A=
n

d ((In (x) In1 (x + M p(n )))2 )(x, n , V) dx

(8.11)

Dveloppons la drive partielle contenue dans le terme rgion drive de fonctions composes.

A comme une

A=
n

d p(x, n , V)

(In (x) In1 (x + M p(n )))2 dx p p(n )

(8.12)

Avec, par hypothse, un modle de mouvement rgion

unique pour toute la

n ,

on en dduit donc les galits suivantes :

A = d p(x, n , V)
n

(In (x) In1 (x + M p(n )))2 dx p (In (x) In1 (x + M p(n )))2 dx
n

(8.13)

= d p(x, n , V)

(8.14)

94

Chapitre 8. Segmentation et estimation conjointes entre deux images

Ce qui donne :

A = d p(x, n , V)
avec

G(p(n ), n ) p

(8.15)

G(p(n ), n ) =
n

(In (x) In1 (x + M p(n )))2 dx

(8.16)

Sans autre hypothse sur les paramtres de mouvement, la drive eulrienne du critre de segmentation est :

dE (n , V) = d p(x, n , V)
n

G(p(n ), n ) p
(8.17)

(In (s) In1 (s + M p(n )))2 V N ds

Cette drive ne nous permet pas d'en dduire directement une quation d'volution pour le contour actif, car elle ne se prsente pas sous la forme d'une seule intgrale de contour.

Lemme 8.1.

Si les paramtres p(n ) sont dnis par

p(n ) = min
p n

(In (x) In1 (x + M p))2 dx

(8.18)

alors le terme rgion A est nul :

A=
n

d ((In (x) In1 (x + M p(n )))2 )(x, n , V) dx = 0

(8.19)

Dmonstration :
Les paramtres de mouvement ont t choisis tels que :

p(n ) = min
p p n

(In (x) In1 (x + M p))2 dx


(8.20)

= min G(p, n )

8.2. Segmentation et suivi d'objets en mouvement


Sans contrainte sur vrient le

95

p (p Rm ), comme les paramtres de mouvement p(n ) minimum de G, la drive par rapport p de G value au point G(p(n ), n ) = 0 p
(8.21)

p(n )

est nulle :

Dans le cas o les paramtres de mouvement sont contraints (par exemple, p Rm1 R+ ), nous faisons l'hypothse que ces contraintes peuvent s'exprimer par

(p) = 0.
tel que

Il existe alors un multiplicateur de Lagrange

G(p(n ), n ) = (p(n )) p
Le terme rgion

(8.22)

s'crit :

A = d p(x, n , V) (p(n )) = dp(n , V) (p(n )) = d((p(n )))(n , V)


Comme l'expression de la contrainte sur varie pas en fonction de

(8.23) (8.24) (8.25)

n ,

et

p s'exprime par (p) = 0 p, ne l'expression d((p(n ))(n , V)) est nulle.

Dans tous les cas, l'intgrale sur la rgion de la drive de domaine s'annule :

A =
n

d ((In (x) In1 (x + M p(n )))2 )(x, n , V) dx G(p(n )) p


(8.26)

= d p(x, n , V) = 0

et la drive du critre ne contient qu'un terme contour :

dE (n , V) =
n

(In (s) In1 (s + M p(n )))2 V N ds

(8.27)

96

Chapitre 8. Segmentation et estimation conjointes entre deux images

8.2.1 quation d'volution pour la segmentation d'objets en mouvement


Un contour initial est itrativement dform suivant une vitesse

telle que

la drive (8.8) du critre soit ngative ou nulle. Ainsi, nous nous assurons que le contour volue vers un minimum local ou le minimum global du critre, s'il existe. Ce minimum est atteint lorsque la drive est nulle, et le contour correspondant est alors la segmentation nale de l'image. L'quation d'volution du contour, dduite de la drive du critre, est :

n (p, ) = (In (x) In1 (x + M p(n ( ))))2 N


La constante positive Notons que Caselles

(8.28)

est un pas d'volution et normale de

x = n (p, ).

V est dirige suivant la et al. [9] ont dmontr que

n .

la composante tangentielle de la vitesse

n'inuait pas sur la propagation du contour actif, mais uniquement sur sa paramtrisation. Remarquons, de plus, que la dformation du contour ncessite le calcul des paramtres du mouvement chaque itration (cf. section 8.3).

8.2.2 quation d'volution pour le suivi d'objets en mouvement


En gnral, les algorithmes de suivi d'objets en mouvement choisissent comme contour initial [34, 56, 70, 79]

n ( = 0) pour l'image courante le contour

nal de la segmentation de l'image prcdente. L'quation d'volution du contour actif est alors la mme que pour une segmentation classique (par exemple Eq. (8.28)) sans aucune autre particularit caractrisant l'objet en mouvement. Cependant, il peut tre intressant d'utiliser le fait que le contour initial dtoure l'objet d'intrt dans l'image l'objet dans l'image suivante

In1 ,

et que le contour nal doit tre

In .

C'est pourquoi nous avons dni une nouvelle quation d'volution qui prendrait en compte le mouvement estim de l'objet, images :

M p(n )

entre ces deux

n (p, ) = (In (x) In1 (x + M p(n ( ))))2 M p(n ( ))

(8.29)

8.3. Estimation du mouvement entre deux images

97

Fig. 8.2  Direntes directions d'volution :

N reprsente la normale de n

et

Mp

la direction du mouvement.

x = n (p, ).

La particularit de cette quation d'volution rside dans la direction d'volution du contour actif. Pour la segmentation d'images, le contour actif voluait dans la direction de la normale. Pour le suivi d'objets en mouvement, nous avons choisi de faire voluer le contour dans la direction du mouvement estim de l'objet.

8.3 Estimation du mouvement entre deux images


Une mthode classique d'estimation du mouvement entre deux images conscutives consiste rsoudre l'quation du ot optique. [2, 6, 39, 64, 78, 88]. Cependant, cette quation est sous-dtermine et ncessite des hypothses supplmentaires quant au mouvement recherch. Mme si des proprits plus globales peuvent tre prises en compte, travers des termes de rgularisation par exemple, cette approche est locale. En eet elle associe un vecteur chaque pixel, alors que le mouvement dans une image est li aux dirents objets qui la compose, auquel s'ajoute ventuellement un mouvement de camra global. Enn, l'quation du ot optique dcoule de l'approximation linaire de

98

Chapitre 8. Segmentation et estimation conjointes entre deux images

l'hypothse d'intensit constante le long du dplacement, ce qui contraint l'estimation de petits dplacements. La mthode d'estimation de mouvement la plus rpandue dans les normes de codage vido est la mthode de mise en correspondance de blocs ou

block-matching.

Cette mthode fait l'hypothse d'un vecteur de mouvement

par bloc. Elle permet d'avoir des vecteurs de mouvement plus cohrents avec les donnes, car un vecteur prend en compte l'information contenue dans tout le bloc qu'il reprsente. La limite de cette mthode vient du fait que la dcomposition en blocs ne suit pas celle de l'image en objets. Le modle de mouvement reprsentant un bloc est en gnral la translation. La mthode de recherche peut tre exhaustive, pour assurer une meilleure estimation du mouvement, mais sera alors trs coteuse en temps de calcul. Certains algorithmes sous-optimaux [57, 92] permettent un gain de temps eectif, surtout pour une recherche sous-pixellique, mais au dtriment de la qualit de l'estimation. Quelle que soit la mthode de recherche, l'amplitude du mouvement est limite par une fentre de recherche, dnie gnralement plus ou moins 15 pixels de dplacement, horizontalement et verticalement. Notre mthode d'estimation de mouvement repose sur la minimisation d'une nergie respectant l'hypothse d'intensit constante d'une rgion le long de son dplacement. Cependant, nous ne faisons pas d'approximation linaire comme pour le ot optique, mais utilisons un algorithme de descente de gradient. De plus, nous supposons que le mouvement est reprsent par un modle paramtrique, constant sur une rgion, ce qui dcoule naturellement du contexte de segmentation de rgions en mouvement dans lequel nous nous situons.

n sous la forme M (x, n) p, o le vecteur p contient les paramtres du modle de mouvement. Les modles de mouvement qui peuvent s'crire sous la forme M (x, n) p sont
Nous crivons le modle de mouvement de la rgion les modles polynmiaux

ai,j xi y j
(i,j )/i+j m
o

reprsente le degr du polynme. En pratique les modles les plus

utiliss sont les modles anes (m

= 1),

ou quadratiques (m

= 2),

car plus

le degr du polynme est lev, plus le modle est sensible au bruit. Nous dduisons le modle de mouvement de la minimisation par rapport

8.3. Estimation du mouvement entre deux images


p,
et pour

99

constant, de l'nergie suivante :

E (p) =
n

(In (x) In1 (x + M (x, n) p))2 dx M (x, n) p

(8.30)

En thorie, le modle de mouvement

peut reprsenter n'importe

quel mouvement polynmial. En pratique, nous tudierons plus particulirement les mouvements anes de type translation uniforme et homothtie.

8.3.1 Modle de translation uniforme


Le calcul suivant s'applique dans le cas o la matrice du point

M (x, n) ne dpend pas

x,

c'est--dire

M (x, n) = M (n).

L'exemple le plus simple est celui de la translation uniforme :

M (n) =
o

1 0 0 1

and

p=a

(8.31)

est le vecteur de translation.

La minimisation du critre (8.30) passe par le calcul de sa drive par rapport

dE (p) = 2
n

(In (x) In1 (x + M (n)p)) M T (n) In1 (x + M (n)p) dx

(8.32)

MT

est la matrice transpose de la matrice

M.

Dans le cas de la translation, la drive du critre devient :

dE (p) = 2
n

(In (x) In1 (x + a)) In1 (x + a) dx p(n )

(8.33)

Les paramtres de mouvement

sont dnis comme minima de l'ner-

gie (8.30). Or cette nergie n'est pas forcment globalement convexe. De ce fait, nous ne pouvons utiliser un algorithme de descente de gradient, qui consiste minimiser le critre linairement dans les directions successives du gradient (ou du gradient conjugu). Nous pouvons toutefois considrer ce critre localement convexe autour de

p(n ).

Sous cette hypothse, nous

avons implment un algorithme de descente de gradient pas variable.

100

Chapitre 8. Segmentation et estimation conjointes entre deux images

8.3.2 Modle de translation et d'homothtie centre


Penchons-nous sur le cas o le modle de mouvement comprend une homothtie et une translation. L'homothtie se dnit partir d'un centre

(un point de

D)

et d'un facteur d'chelle

k.

Il y a plusieurs faons de formuler la transformation comprenant une homothtie et une translation. Toutes sont en thorie quivalentes, mais ne donnent pas numriquement les mmes rsultats. Soit

le transform du point

aprs une homothtie puis une translation.

Aprs l'homothtie on a :

q g = k (x g) q = x + (k 1) x (k 1) g .
Puis

(8.34) (8.35)

est translat d'un vecteur

a
(8.36)

q = x + (k 1) x (k 1) g + a
ce qui peut s'crire :

(k 1) g 1 0 x(x) 1 0 k1 q=x+ 0 1 y (x) 0 1 a


M (x,n) p
son ordonne.

(8.37)

x(x)

est l'abscisse du point

x,

et

y (x)

Remarquons que cela n'est pas quivalent eectuer d'abord la translation puis l'homothtie. En eet, dans ce cas, le vecteur de translation serait multipli par le facteur d'chelle

: (8.38)

q = x + (k 1) x (k 1) g + k a
Cependant, rsoudre le problme en estimant rsoudre le problme en estimant Posons

g, k

et

est quivalent

g, k ,

et

k a.

b = a (k 1) g.

L'quation (8.36) s'crit :

q = x + (k 1) x + b
de centre l'origine, suivi d'une translation de vecteur

(8.39)

ce qui peut s'interprter comme une homothtie de facteur dchelle

et

b.

De fait, on en

8.3. Estimation du mouvement entre deux images

101

dduit que considrer l'origine de l'image comme centre de l'homothtie conserve toute la gnralit du problme, et permet de n'avoir estimer que

paramtres pour

inconnues

(k, b)

, au lieu de

paramtres pour

inconnues

(g, k, a)

en utilisant les quations (8.36) et (8.38).

Nous allons choisir l'origine des coordonnes au barycentre Le modle de mouvement s'crit alors :

gn

de la rgion

tudie, plutt qu' l'origine de l'image, car ce choix induit moins d'erreurs.

M (x, n) =
et

x(x) x(gn ) 1 0 y (x) y (gn ) 0 1 k1 b

(8.40)

p=
o

(8.41)

gn

est le barycentre de

n .

L'expression de la drive est maintenant directe puisqu'il sut de remplacer

M (x, n)

et

par leur expression (8.40) et (8.41) dans l'quation suivante :

dE (p) = 2
n

(In (xg ) In1 (k xg + b)) (xg Id2 )T In1 (k xg + b) dx

(8.42)

o le vecteur identit

xg = x gn

est le vecteur des coordonnes de

x dans le repre

d'origine le centre de gravit

gn

de la rgion

et

Id2

reprsente la matrice

2 2.

102

Chapitre 8. Segmentation et estimation conjointes entre deux images

Chapitre 9

Segmentation et estimation conjointes du mouvement sur un groupe d'images


Le mouvement d'un objet peut dicilement tre dni de faon prcise et complexe partir de deux images. Un critre de segmentation et de suivi d'objets en mouvement a donc t dni sur un groupe d'images. Le critre se dduit directement du critre (8.4) sur deux images, en choisissant la dernire image de la squence comme image de rfrence pour tout le groupe.

9.1 Dnition du critre conjoint sur un groupe d'images


Le contour de l'objet d'intrt volue d'une image l'autre en fonction de son mouvement. Or le mouvement d'un objet peut tre complexe, et dicilement dnissable partir de deux images. Par exemple, on ne peut pas faire la dirence entre une translation et une acclration si l'on ne prend en compte que les informations contenues dans deux images. Lors de la dnition de notre critre sur deux images (8.4) page 90, nous avons pris en compte un voisinage spatial an d'accrotre les informations disponibles et ainsi amliorer l'estimation du mouvement. De mme, il semble judicieux, dans cette optique, d'utiliser les images voisines an d'aner notre estimation. Le critre se dnit donc temporellement sur un groupe d'images, et non plus sur deux images successives. Une extension directe du critre sur deux images consiste propager le modle de mouvement de proche en proche, en

103

104

Chapitre 9. Segmentation et estimation conjointes sur un groupe d'images

sommant, pour chaque image du groupe considr, le critre (8.4) entre cette image et sa prcdente. Le critre serait alors le suivant :

E (n ) =
n=1
Le vecteur

(In (x) In1 (x + M (x, n)p(n )))2 dx


n

(9.1)

In

M (x, n)p(n ) reprsente le dplacement du point x entre l'image In1 . Le vecteur p(n ) contient les paramtres du modle de mouvement dni sur la rgion n .
et l'image Cependant, nous avons prfr dnir une

image de rfrence

pour le

groupe, et calculer le mouvement par rapport cette image de rfrence. En dnissant cette image de rfrence, nous augmentons la robustesse de la segmentation, car nous vitons l'accumulation des erreurs que produit le critre qui prend en compte les images deux deux successivement. En choisissant la dernire image du groupe comme image de rfrence, nous estimons le mouvement de l'image en cours partir de la connaissance des images antrieures.

Fig. 9.1  Modle de mouvement sur un groupe d'images.

Nous proposons donc l'nergie suivante :

ref N

E (ref ) =
n=ref 1 ref

(Iref (x) In (xn (ref )))2 dx

(9.2)

9.2. Segmentation et suivi d'objets en mouvement


La rgion

105

ref

reprsente l'objet dans l'image de rfrence et

l'image du point

par la transformation de paramtres

xn (ref ) est p(ref ) rpte

ref n

fois (voir gure 9.1). Par exemple, si le modle de mouvement choisi

est la translation :

xn (ref ) = x + (ref n) p(ref ).

L'estimation du modle de mouvement est dtaille la section 9.3. An d'allger les expressions des direntes quations, la rgion de rfrence

ref

sera note plus simplement

comme sur la gure 9.1.

Le vecteur des paramtres de mouvement

p()

vrie :

ref N

p() = argminp
n=ref 1

(Iref (x) In (xn ()))2 dx .

(9.3)

9.2 Segmentation et suivi d'objets en mouvement


Pour segmenter l'image par rapport la rgion

Iref en mouvement, nous minimisons l'nergie (9.2) . Nous calculons donc sa drive par rapport .

Une famille de transformations est dnie de faon rendre le domaine dpendant d'un schma dynamique

Corollaire 9.1.

La drive Eulrienne dans la direction V du critre :


ref N

E () =
n=ref 1

(Iref (x) In (xn ()))2 dx

(9.4)

o les paramtres du modle de mouvement p()


ref N

p() = min
p n=ref 1

(Iref (x) In (xn ()))2 dx .

(9.5)

a pour expression
ref N

dE (, V) =
n=ref 1

(Iref (s) In (sn ()))2 V N ds

(9.6)

106

Chapitre 9. Segmentation et estimation conjointes sur un groupe d'images

o reprsente le contour orient de , s est l'abscisse curviligne du point x = (s), sn () est l'abscisse curviligne du point xn = n (sn ()) image de x par le modle de mouvement p() compos ref n fois, V est le vecteur de dformation (ou vecteur de vitesse), inconnu, de , et N la normale unitaire intrieure de .

Dmonstration :
La drive est calcule dans la direction forme [26, 51] :

V,

par la mthode des gradients de

ref N

dE (, V) =
n=ref 1 ref N

d ((Iref (x) In (xn ()))2 )(x, , V) dx (Iref (s) In (sn ()))2 V N ds


n=ref 1

(9.7)

Dans la dmonstration du thorme 8.8 page 92, nous avons vu que

d ((In (x) In1 (x + M p()))2 )(x, , V) dx = 0


n
En suivant le mme raisonnement, on conclut :

(9.8)

d ((Iref (x) In (xn ()))2 )(x, , V) dx = 0,

n, ref N n ref 1
(9.9)

Finalement, la drive du critre sur un groupe d'images est :

ref N

dE (, V) =
n=ref 1

(Iref (s) In (sn ()))2 VN ds

(9.10)

Le principe des contours actifs consiste faire voluer un contour initial vers l'objet suivant une force, dont la direction est donne, en gnral par le vecteur normal au contour,

N.

Cette force est calcule de faon minimiser

le critre d'nergie dcrivant l'objet. On s'assure que le contour se dirige vers le minimum du critre en choisissant la force d'volution du contour telle que la drive du critre soit ngative.

9.3. Estimation du mouvement

107

9.2.1 quation d'volution pour la segmentation d'objets en mouvement


Dans le cadre d'une application de type segmentation, la direction d'volution du contour choisie est celle de la normale au contour,

N.

L'quation d'volution dduite de la drive du critre (9.10) est :

(p, ) = (Iref (x) In (xn (( ))))2 N n=ref 1


o

ref N

(9.11)

est une constante positive qui peut tre considre comme un pas

d'volution, par analogie avec le pas de descente d'un algorithme de descente de gradient. On note mouvement

x = (p, ) et xn (( )) p(( )) compos ref n fois.

l'image de

par le modle de

Remarquons, de plus, que l'volution du contour ncessite l'valuation des paramtres de mouvement chaque itration (voir section 9.3).

9.2.2 quation d'volution pour le suivi d'objets en mouvement


Dans le cadre du suivi d'objets en mouvement, et pour les raisons voques la section 8.2.2 page 96, la direction d'volution du contour actif suit celle du mouvement de l'objet. L'quation d'volution du contour actif se prsente comme suit :

(p, ) = (Iref (x) In (xn (Omega( ))))2 M p(( )) n=ref 1

ref N

(9.12)

L'utilisation des paramtres de mouvement permet, lors de l'volution du contour actif, de prendre en compte des proprits globales l'objet, et non plus seulement locales comme pour la segmentation.

9.3 Estimation du mouvement


Le vecteur des paramtres de mouvement

p()

vrie :

ref N

p() = argminp
n=ref 1

(Iref (x) In (xn ()))2 dx .

(9.13)

108

Chapitre 9. Segmentation et estimation conjointes sur un groupe d'images

p() reste constant sur la rgion qu'il dcrit tout au long de la squence de N + 1 images. En d'autres termes, on peut estimer le point xn1 de l'image In1 correspondant au point xn de l'image In partir de l'quation :
Le vecteur des paramtres de mouvement

xn1 = xn + M (xn , n)p() ,

tel que

ref 1 n ref N x

(9.14)

Cependant, le critre est dni entre un point et son correspondant

de l'image de rfrence

xn

dans l'image

In ,

pour

compris entre

Iref ref 1 et

ref N . On doit donc valuer l'expression du point xn de rfrence x. De proche en proche on obtient :

par rapport au point

xref 1 = x + M (x, nref ) p() xref 2 = xref 1 + M (xref 1 , nref 1 ) p() = x + [M (x, nref ) + M (xref 1 , nref 1 )] p() xref 3 = x + [M (x, nref ) + M (xref 1 , nref 1 ) + M (xref 2 , nref 2 )] p()
Soit pour un point

xn

de l'image

In

: (9.15)

xn = x + [M (x, nref ) + + M (xref n+1 , nref n+1 )] p()


ref n termes
L'expression de xn dans l'quation (9.15) fait intervenir les M (xn+1 , nref n+1 ), ce qui ncessite sous cette forme

matrices de nom-

M (x, nref )

breux calculs numriques. Cependant, pour des modles de mouvement de type translation uniforme et homothtie, l'expression de s'avre beaucoup plus simple.

xn

en fonction de

9.3.1 Modle de translation uniforme


Dans le cas o la matrice

M (x, n) = M , l'expression dans l'image Iref , est simple

M (x, n) est indpendante de x et de n, soit de xn en fonction de x, point de la rgion


: tel que

xn () = x + (ref n) M p() n

ref 1 n ref N M (x, n) = Id,


o

(9.16) est la

Par exemple, pour une translation uniforme, matrice identit :

Id

xn () = x + (ref n) p() n

tel que

ref 1 n ref N

(9.17)

9.3. Estimation du mouvement

109

La drive de l'nergie (9.13) par rapport aux paramtres de mouvement vaut :

ref N

dE (p) = 2
n=ref 1

(Iref (x) In (x + (ref n) M p)) (ref n) M T In (x + (ref n) M p) dx .


(9.18)

est la matrice identit dans le cas d'une translation uniforme.

9.3.2 Modle de translation uniforme et d'homothtie centre


Pour un modle de mouvement de type homothtie centre suivi d'une translation, si l'on garde la notation

xn1 = xn + M (xn , n) p() ,


on a :

tel que

ref 1 n ref N k1 a

(9.19)

M (x, n) =
o

x(x) x(g ) 1 0 y (x) y (g ) 0 1 . L'expression de xn

et

p=

(9.20)

est le barycentre de

n'est alors gure plus simple

que celle de l'quation (9.15). An d'viter l'estimation successive des matrices M (x, nref ) M (xn+1 , nref n+1 ) (voir quation (9.15)), nous avons prfr exprimer xn1 comme l'image de xn par l'homothtie de centre g , barycentre de la rgion , et de facteur d'chelle k puis la translation de vecteur b, c'est--dire comme suit :

xn g = k (xn1 g ) + b
Notons

(9.21)

xn,g = xn g

les coordonnes de

xn

dans le repre d'origine

g ,

l'quation prcdente s'crit alors :

xn,g = k xn1,g + b
L'expression du point

(9.22)

xn

s'crit alors simplement :

ref n1

xn,g = k
o

ref n

xg + b
j =0

kj
dans le repre d'origine

(9.23)

xg

reprsente les coordonnes du point

g .

110

Chapitre 9. Segmentation et estimation conjointes sur un groupe d'images


p

La drive du critre d'nergie (9.13) par rapport aux paramtres de mouvement vaut :

ref N

dE (p) = 2
n=ref 1

(Iref (x) In (xn ())) (ref n)k ref n1 x + b


j =0 ref n1 ref n1

(9.24)
T k j In (xn ) dx
j =0

jk j 1

Chapitre 10

Rsultats exprimentaux
Dans ce chapitre nous allons appliquer le cadre de travail prcdent la segmentation et au suivi d'objets en mouvement.

10.1 Segmentation/estimation conjointes du mouvement


Nous valuerons tout d'abord l'estimation du mouvement en la comparant l'estimation par relles.

block-matching

puis par des mthodes classiques d'esti-

mation du ot optique. Ensuite nous validerons la segmentation d'images

10.1.1 Validation de l'estimation du mouvement


An d'valuer la qualit de l'estimation du mouvement, nous allons dnir une rgion sur laquelle nous estimerons le mouvement suivant l'quation (voir section 9.3) :

ref N

p() = argminp
n=ref 1

(Iref (x) In (xn ()))2 dx .

(10.1)

Nous comparerons notre estimation deux types de mthodes : le

matching

block-

et des mthodes classiques d'estimation du ot optique.

Comparaison avec une estimation de type block-matching


Pour cette premire comparaison, la rgion d'intgration

est un bloc.

Pour se placer dans des conditions quivalentes celles de l'estimation par

block-matching,

le modle de mouvement reprsente une translation entre

111

112

Chapitre 10. Rsultats exprimentaux

deux images (voir section 8.3.1 page 99). Les paramtres de l'estimation par de comparaison du

block-matching sont classiques : le critre block-matching est la somme des dirences au carr

(SSD), la mthode de recherche est exhaustive, la fentre de recherche va de

15

pixels

+15

pixels horizontalement et verticalement, et la prcision est

au demi-pixel. Contrairement au

block-matching,

notre mthode n'impose aucune limite

d'amplitude ou de prcision. Les rsultats obtenus pour la squence

Foreman sont prsents en gure 10.1.

Fig. 10.1  Estimation du mouvement entre les images

Foreman : gauche, par block-matching.


que pour le

80 et 79 de la squence

l'estimation par l'quation (10.1), droite, l'estimation

Les critres de comparaison entre deux blocs, aussi bien pour notre mthode

block-matching,

perdent leur sens sur des rgions homognes.

Dans les deux cas, tout bloc dont la variance est infrieure un certain seuil est considr comme homogne et se voit assigner un vecteur de mouvement nul (on retrouve de tels blocs sur le casque de

Foreman).

Pour valuer quantitativement les rsultats, nous estimons l'image une prdiction

80

par

backward

pour chaque estimation des vecteurs de mouve-

ment. La prdiction d'une image en

backward

suit le mme principe que la relle et celle prdite, nous

compensation du mouvement de la camra prsente en Annexe A.2 page 142. De l'image des erreurs entre l'image

80

dduisons le rapport signal bruit (PSNR : peak signal to noise) de chacune des mthodes. La mthode propose amliore le PSNR de prs de PSNR est de

1dB,

son

33.87dB

contre

32.88

pour le

block-matching.

10.1. Segmentation/estimation conjointes du mouvement

113

Les histogrammes de l'erreur de prdiction pour chaque mthode conrment ces rsultats (voir gure 10.2).

Fig. 10.2  Histogrammes de l'erreur de prdiction pour l'image

80 : en rouge

notre mthode, en bleu le

block-matching.

Si l'estimation par la rsolution de l'quation (10.1) donne, dans ce cas, de meilleurs rsultats que le que le

block-matching, elle a toutefois l'inconvnient de d-

pendre de son initialisation. Le risque est de trouver un minimum local, alors

block-matching

assure, pour une prcision et une fentre de recherche

xes, de trouver le minimum global. Une solution qui allie les avantages des deux mthodes consiste initialiser l'estimation de l'quation (10.1) par un

block-matching

exhaustif au pixel, par exemple. Cette mthode sera mise en

oeuvre pour la segmentation et le suivi d'objets en mouvement, prsents aux sections suivantes, mais ne sera pas utilise pour la comparaison avec les mthodes classiques de ot optique.

Comparaison avec des mthodes classiques de ot optique


L'valuation de nos rsultats par rapport des mthodes de ot optique s'appuie sur les travaux de Barron

et al.

[4]. Nous comparons nos

rsultats, obtenus sur une de leurs squences de test,

translating tree,
et al..

dont le mouvement rel est connu, avec ceux obtenus par des mthodes d'estimation du ot optique, suivant des critres dnis par Barron Le mouvement, connu, de la squence, est un mouvement de translation

114

Chapitre 10. Rsultats exprimentaux

horizontale, dont l'amplitude va croissante de la gauche la droite de l'image.

Fig. 10.3  A gauche : l'image originale ; A droite : les vecteurs de dplace-

ment obtenus en estimant le mouvement par blocs

15 15

sur

images.

Notre mthode s'appuie sur l'estimation du mouvement sur une rgion. Nous dcoupons l'image en blocs 15*15 (l'image a une taille de

150 150

pixels)

et estimons le mouvement sur chacun de ces blocs. Nous assignons chaque pixel du bloc le mouvement du bloc, an de comparer notre mthode des mthodes estimant des champs denses. Cette mthode nous dsavantage lgrement car le mouvement rel est dirent pour chaque pixel. L'estimation du mouvement est eectue entre de mouvement de translation (voir gure 10.3).

images, et pour un modle

Tab. 10.1  Comparaison de l'estimation de mouvement avec les rsultats de

Barron

et al.

[4].

Technique Horn et Schunck (original) Uras

(sans seuil) 38.72 0.62 0.23

100% 100% 49.7%

et al.

Mthode propose

Fleet et Jepson (

= 1.25)

0.33

27.67 0.52 0.19

0.21

81%

Le tableau 10.1 prsente des rsultats extraits de [4], plus prcisment ceux de la meilleure mthode dont la densit est suprieure

75%,

ceux

de la meilleure mthode toutes densits confondues, et les rsultats de la

10.1. Segmentation/estimation conjointes du mouvement

115

mthode classique de Horn et Schunck. La ligne en gras prsente nos rsultats. Notations : reur, et est l'erreur angulaire moyenne,

la dviation standard de l'eret

est la densit des pixels pris en compte dans le calcul de

Estimation du mouvement sur une rgion


La gure 10.4 prsente un rsultat obtenu sur la squence l'nergie calcule sur Cette fois la rgion et les paules de

Foreman

avec

3 images et un modle de mouvement de translation. a t segmente manuellement et dtoure le visage Foreman. Une estimation par block-matching exhaustif, au

Fig. 10.4  Estimation du mouvement par rgion sur

Foreman.

3 images de la squence

pixel et sur des blocs

16 16, sert d'initialisation l'algorithme de descente de

gradient. Pour une meilleure visualisation des vecteurs de mouvement, nous reprsentons un vecteur de mouvement par bloc au lieu d'un seul vecteur pour toute la rgion.

10.1.2 Validation de la segmentation conjointe


Nous appliquons l'algorithme d'estimation et de segmentation conjointes du mouvement sur translation. Les rsultats sont prsents la gure 10.5. Remarquez que l'antenne l'avant du bateau (presque invisible sur les deux images) arrte l'volution du contour actif de l'image

images conscutives de la squence

Coastguard.

Le critre

est dni sur un groupe de trois images pour un modle de mouvement de

251,

l'empchant de

116

Chapitre 10. Rsultats exprimentaux

Fig. 10.5  Estimation et segmentation conjointes du mouvement de

successives de la squence deuxime ligne :

Coastguard

2 images
Sur la

sur un groupe de

images. Sur la

premire ligne : le contour initial et la segmentation de l'image

250 ;

Idem

pour l'image

251.

s'approcher de l'antenne principale du bateau. Ce phnomne s'observe aussi sur l'image tenne.

250

mais est moins prononc et ne concerne que le haut de l'an-

10.2 Suivi d'objets en mouvement


10.2.1 Directions d'volution du contour actif
Nous crons une squence synthtique en superposant le visage de une translation horizontale de un fond d'image. Le fond restant xe, nous appliquons au visage de

Foreman Foreman

pixels entre chaque image de la squence

synthtique. La premire image est segmente manuellement. Nous souhaitons comparer, pour les mmes images, les directions d'volution

10.2. Suivi d'objets en mouvement


du contour actif, suivant la normale, et suivant le mouvement. Pour l'quation d'volution du contour actif

117

suivant la normale,

le suivi

d'objets en mouvement est mis en oeuvre par un algorithme de contours out actifs, dont le critre est dni par une comptition de rgions entre le in fond de l'image de rfrence, et l'objet de rfrence :

ref N

E ( ,

in

out

) =
n=ref 1 in

(Iref (x) In (xn (in )))2 dx (Iref (x) In (xn (out )))2 dx
out
(10.2)

+
o

ref N

p( ) = argminp
n=ref 1
et

in

(Iref (x) In (xn (in )))2 dx


in

(10.3)

ref N

p(

out

) = argminp
n=ref 1 out

(Iref (x) In (xn (out )))2 dx

(10.4)

L'quation d'volution du contour actif est dirige suivant la normale :

(p, ) = +

ref N

(Iref (x) In (xn (in ( ))))2


n=ref 1

ref N

(Iref (x) In (xn (out ( ))))2


n=ref 1

(10.5)

o le modle de mouvement est une translation :

xn = x + (n ref )p(( ))

avec

x = (p, )

pour

= in

ou

out .

Pour une quation d'volution dirige suivant la normale, la comptition de rgions est ncessaire si l'on souhaite que le contour puisse voluer vers l'intrieur ou vers l'extrieur du contour. En eet si le critre n'tait compos que du terme dni sur l'objet, pour minimiser le critre, le contour actif voluerait de sorte minimiser l'aire de l'objet. Le terme dni sur le fond de l'image est ncessaire pour compenser l'inuence du terme dni sur l'objet, et permettre au contour d'voluer dans les deux sens.

118

Chapitre 10. Rsultats exprimentaux

En consquence, l'algorithme sera sensible aux occlusions du fond (voir le dtail de la gure 10.6.a).

Pour une quation d'volution

suivant le mouvement, seuls les termes sur

l'objets sont ncessaires. L'quation d'volution est :

(p, ) =

ref N

(Iref (x) In (xn (in ( ))))2


n=ref 1

M p(in ( )) (10.6)

o le modle de mouvement est une translation : xn (in ( )) = x + (n ref )p(in ( )) avec x = (p, ). L'objet est segment suivant son mouvement. Suivant l'volution du contour, in le mouvement de la rgion ( ) peut changer de sens, alors que la normale intrieure au contour ne dnit qu'un seul sens de propagation. Lors d'une volution suivant le mouvement, l'occlusion du fond de l'image n'a pas d'eet sur la qualit de la segmentation (voir le dtail de la gure 10.6.b). Une occlusion de l'objet lui-mme, par contre, ne serait pas sans consquence.

a.

direction d'volution suivant la normale

b.

direction d'volution suivant le mouvement

Fig. 10.6  Suivi d'objet en mouvement sur la squence synthtique cre

partir de

Foreman.

10.2.2 Rsultats en suivi d'objets en mouvement


Nous avons appliqu la squence

ower and garden, l'quation d'volution :


M p(in ( )) (10.7)

(p, ) =

ref N

(Iref (x) In (xn (in ( ))))2


n=ref 1

10.2. Suivi d'objets en mouvement


o le modle de mouvement est une translation : xn (in ( )) = x + (n ref )p(in ( )), avec x = (p, ).

119

La premire image a t segmente manuellement, et le suivi a t eectu sur

15

images conscutives. La gure 10.7 prsente quatre images de la s-

quence extraites toutes les

images. Le haut de l'arbre, plus prcisment les

Fig. 10.7  Suivi d'objets en mouvement sur

and garden

15 images de la squence ower

avec l'quation d'volution suivant la direction du mouvement.

branches, n'est pas trs bien segment, cela est probablement d au modle de mouvement trop simple.

120

Chapitre 10. Rsultats exprimentaux

Quatrime partie Conclusions et perspectives

121

Conclusions
Dans ce mmoire nous proposons des modles de contours actifs pour la segmentation d'images et de vidos.

Notre approche est variationnelle, c'est--dire que le problme de segmentation est formul comme la minimisation d'un critre. La drivation du critre permet de dduire l'quation d'volution du contour actif. Deux types de termes peuvent constituer un critre de segmentation : des termes de contour et des termes de rgion. Dans les deux cas, un terme s'crit comme l'intgrale sur la rgion (ou le contour) d'une fonction appele descripteur de la rgion (ou du contour). Certains descripteurs de rgion apportent des informations globales sur les proprits des rgions, comme leur moyenne, leur variance, leur entropie, leur histogramme ou leur mouvement. Les termes de rgion correspondants dpendent alors doublement de la rgion : comme intgrale sur la rgion d'un descripteur dpendant lui-mme de la rgion. On appelle ces termes

double dpendance.

En fonction de la

dpendance du critre la rgion, la drivation du critre par rapport la rgion n'est pas aise. Nous utilisons cette n des outils de drivation emprunts l'optimisation de domaine : les gradients de forme. Nous prsentons, dans ce mmoire, la drivation de chaque type de termes eectue par la mthode des gradients de forme, en portant une attention particulire la drivation des termes de rgion double dpendance.

La contribution de cette thse rside dans l'laboration et l'tude de deux descripteurs particuliers de rgions.

Le premier descripteur dnit un a priori gomtrique sans contrainte paramtrique : l'objectif est de minimiser la distance euclidienne du contour actif un contour de rfrence. Nous ne faisons pas l'hypothse d'une transformation paramtrique entre le contour actif et le contour de rfrence, et notre critre ne dpend pas d'une paramtrisation particulire du contour.

124

En ce sens, notre critre n'impose aucune contrainte paramtrique au contour actif. Nous proposons deux drivations possibles du critre d'a priori : par le calcul des variations, et par les gradients de forme, et en dduisons l'quation d'volution du contour actif pour ce critre. Puis nous proposons trois applications du critre d'a priori gomtrique. Utilis seul, ce critre est appliqu la dformation de contours ou

warping.

shape

Les rsultats obtenus montrent qu'il n'y a aucune contrainte

paramtrique de forme sur le contour actif. Le contour se rapproche du contour de rfrence en se dformant librement. Pour des applications de segmentation de rgions, nous combinons le terme d'a priori gomtrique avec un terme de rgion statistique sur l'objet, et un terme de rgularisation classique. An de montrer l'intrt du terme d'a priori, nous comparons notre mthode une comptition de rgions utilisant le mme descripteur statistique, sur le fond de l'image et sur l'objet. Le terme d'a priori gomtrique nous dispense d'utiliser un terme de rgion dcrivant le fond de l'image. En eet, cet a priori entre en comptition avec les informations statistiques de l'objet, et les informations statistiques du fond de l'image ne sont plus ncessaires. Le terme d'a priori permet l'utilisateur d'interagir en dnissant un contour de rfrence dtourant grossirement l'objet d'intrt. Le terme d'a priori gomtrique, associ un descripteur statistique de la rgion de l'objet et un terme de rgularisation, est appliqu au suivi de rgion. Le terme d'a priori permet d'introduire une cohrence temporelle. Cette cohrence est lie au fait que le contour de rfrence, dni une seule fois par l'utilisateur sur la premire image, se dduit ensuite du contour nal de l'image prcdente, pour les autres images de la squence. Le deuxime descripteur dnit un critre de segmentation d'image en objets en mouvement, conjointement l'estimation du mouvement de la rgion segmentes. La plupart des mthodes d'estimation du mouvement font l'hypothse, communment admise, que l'intensit lumineuse d'un pixel ne varie pas le long de sa trajectoire. Mais le problme ainsi pos est sous-dtermin. Nous posons l'hypothse d'un mouvement constant par rgion, en tendant le domaine d'application de l'hypothse, d'un point une rgion. Nous restreignons galement le mouvement en le reprsentant par un modle de mouvement paramtrique. Le critre est tout d'abord dni sur deux images successives, puis pour un groupe d'images, dont la dernire est choisie comme image de rfrence. Nous drivons le critre par rapport la rgion par la mthode des gradients de forme, et proposons deux quations d'volution du contour actif : une dirige suivant la normale au contour, pour la segmentation d'objets en

125

mouvement, et une dirige suivant le mouvement de l'objet, pour le suivi d'objets en mouvement. Nous tudions la mthode d'estimation du mouvement dnie conjointement par le critre, pour un modle de mouvement polynmial, en nous attachant plus particulirement aux modles de translation uniforme et de d'homothtie. Nous avons appliqu ce critre l'estimation et la segmentation conjointe du mouvement. Nous valuons la qualit de l'estimation du mouvement, pour une rgion donne, en la comparant des mthodes classiques d'estimation du ot optique et une mthode de mise en correspondance, sur une squence synthtique dont le mouvement est connu. Puis, nous appliquons le critre conjoint la segmentation d'images relles. Le critre de segmentation comprend alors le terme de segmentation et d'estimation conjointe dni sur l'objet, et le mme terme dni sur le fond de l'image, tablissant une comptition entre les deux rgions. Le contour actif volue suivant la direction de sa normale intrieure. Nous prsentons les rsultats obtenus en suivi d'objets en mouvement en comparant les deux directions d'volution du contour actif : suivant la normale au contour et suivant le mouvement. Lorsque l'quation d'volution est dirige suivant la normale, la comptition de rgions est ncessaire si l'on souhaite que le contour puisse voluer dans les deux sens de la direction. En consquence, l'algorithme est sensible aux zones de recouvrement du fond. Lorsque l'quation d'volution est dirige suivant le mouvement, seul le terme sur l'objet est ncessaire. Les zones de recouvrement du fond de l'image n'a alors pas d'eet sur la qualit de la segmentation.

Perspectives
Les descripteurs dnis dans ce document et les rsultats obtenus permettent d'ouvrir de nouveaux axes de rexions.

D'un point de vue applicatif, le critre d'a priori gomtrique pourrait fournir un cadre de travail pour le dveloppement d'une mthode de

phing,

mor-

technique utilise en post-production, ainsi que pour l'interpolation

temporelle d'une squence vido, ncessaire au codage prdictif et la conversion de standards. Le critre d'a priori gomtrique dnit une carte de distance du contour actif au contour de rfrence. Le choix d'une implmentation par ensembles de niveaux introduit le concept de carte des distances au contour actif. En posant l'hypothse de conservation des ensembles de niveaux, on pourrait

126

spcier une correspondance entre les surfaces dnies par les contours actifs et de rfrence. En prenant comme surface deux visages, cela reviendrait eectuer le

morphing

d'un visage l'autre. En prenant comme surface deux images

successives d'une vido, cela permettrait de sur-chantillonner la vido. En imagerie mdicale, un contour de rfrence est gnralement dni partir d'un atlas ou d'un modle statistique, cr par apprentissage partir d'un certain nombre de courbes. Ces applications ncessitent l'introduction d'un a priori plus contraint que celui dni par notre critre d'a priori gomtrique. Certaines mthodes de segmentation par contours actifs [15, 16, 55, 69, 75] font alors l'hypothse d'une transformation paramtrique entre le contour actif et le contour de rfrence. L'estimation des paramtres de la transformation est couple au problme de segmentation. Une extension de nos travaux consisterait dnir un critre minimisant la distance entre le contour actif et la transforme, par rapport un modle paramtrique, du contour de rfrence. Dans l'esprit de la dnition du critre de segmentation et d'estimation conjointe du mouvement, propose dans ce document, le problme de minimisation de l'nergie serait conjoint et non coupl. Le problme coupl consiste voir l'nergie comme fonction du contour et des paramtres de mouvement. On obtient itrativement une segmentation, en drivant l'nergie par rapport au contour pour des paramtres xs, et une estimation des paramtres, en minimisant l'nergie par rapport aux paramtres pour un contour x. Le problme conjoint consisterait dnir deux nergies dpendantes du contour : une pour la segmentation utilisant les paramtres de mouvement, et l'autre l'estimation de la transformation paramtrique. La minimisation de l'nergie de segmentation doit prendre en compte la dpendance des paramtres de la transformation au contour. En fonction du choix de l'nergie dnissant les paramtres de la transformation, l'quation d'volution du contour actif est loin d'tre vidente. L'estimation des paramtres de la transformation permet galement de recaler les images. En outre, il serait intressant d'tendre le critre d'a priori gomtrique la dimension suprieure. Le critre dni dans ce document minimise la distance du contour actif un contour de rfrence. On pourrait minimiser la distance d'une surface active une surface de rfrence. Il faudrait porter une attention particulire la dnition de distance entre surfaces introduite dans l'a priori gomtrique. Son application la segmentation et au suivi d'objets 3D tendrait celle propose dans ce document pour la segmentation d'image et le suivi de rgions dans une vido.

127

128

Cinquime partie Annexe : Dtection d'objets en mouvement

129

131

En l'absence de mouvement de camra, les objets en mouvement reprsentent la source principale de dirence entre deux images. Partant de ce constat simple, une segmentation courante de l'image consiste dnir :  le fond de l'image comme la partie statique de l'image  le ou les objets comme la partie mobile de l'image Cette segmentation est donc une dtection du mouvement. Une des mthodes les plus simples de dtection de mouvement consiste en l'tude de la dirence entre deux images, la FD (frame

dierence ),

pour

des squences camra xe. An d'tendre la segmentation l'ensemble des vidos, il faudra prendre en compte dans notre dnition un ventuel mouvement de la camra. Pour les squences camra mobile, on ne peut plus dnir l'objet comme l'ensemble des pixels en mouvement, car le mouvement de la camra induit un mouvement de tous les pixels de l'image. Cependant les pixels de l'objet ont un mouvement local propre qui s'ajoute ce mouvement global. L'objet va donc tre dni comme l'ensemble des pixels ne suivant pas le mouvement dominant de l'image. Une gestion simple du mouvement de la camra consiste compenser le mouvement de la camra, c'est--dire recaler l'une des images sur l'autre, pour s'approcher d'un cadre de camra xe. La dtection s'appuie sur la DFD (Displaced

frame dierence ),

image dirence des deux images, dont

l'une est compense en mouvement. Toujours dans le but de sparer le fond de l'image des objets en mouvement, certaines mthodes s'appuient sur l'estimation d'une image reprsentant le fond statique de la scne, appel fond de la squence. Lorsque le fond de la squence est connu, la dtection des objets en mouvement est directe. Pour estimer le fond de la squence, ces mthodes utilisent plusieurs images successives de la squence. Pour des squences camra xe, Jehan-Besson

et al.

[50] proposent un

critre de dtection de mouvement fond sur la dirence entre le fond estim de la squence considre et l'image courante. Le fond d'une squence de

images est considr comme une moyenne de ces

images. An

d'liminer les valeurs correspondant aux objets en mouvement, les

outliers,

les auteurs introduisent dans leur critre un M-estimateur et minimisent la dirence pondre entre le fond et chacune des images par un algorithme de minimisations alternes.

132

Pour des squences camra mobile, le fond de la squence est appel mosaque. De nombreuses mthodes de construction de mosaques sont prsentes dans [44]. Nous proposons un descripteur utilisant le fond de la squence ou mosaque, an d'tendre l'approche camra xe, prsente par S. Jehan-Besson

al.

et

dans [50], des squences camra mobile. Notre mthode repose sur

deux tapes : l'estimation du fond de la squence appel mosaque, puis la segmentation partir du fond de l'image, extrait de la mosaque. Construire une mosaque revient, pour chaque image, extraire, mme grossirement, leur fond et positionner ce fond par rapport une image de rfrence. Cela suppose d'avoir une certaine ide de ce que sera le fond de chaque image, ce qui ncessite une segmentation pralable. Cette pr-segmentation n'a pas besoin d'tre trs prcise : on la dira grossire, car on ne cherche pas segmenter l'objet, mais juste s'assurer que tous les pixels qui serviront la construction de la mosaque appartiennent au fond de chaque image. Pour cela, la pr-segmentation sera en fait une sur-segmentation fonde sur un descripteur classique s'appuyant sur deux images successives. Ensuite, pour insrer dans la mosaque les pixels du fond de chaque image, il faut compenser chacun des fonds, c'est--dire les placer dans le repre de l'image choisie comme image de rfrence. Compenser le fond d'une image par rapport celle de rfrence ncessite de connatre le mouvement entre ces images. Pour rsumer, la construction de la mosaque requiert les tapes suivantes :  estimer et compenser le mouvement de la camra entre deux images successives, l'image courante et sa prcdente,  pr-segmenter en utilisant un descripteur s'appuyant sur deux images : l'image courante et l'image prcdente compense en mouvement,  estimer et compenser le mouvement de la camra entre l'image courante et l'image de rfrence,  insrer dans la mosaque le fond de l'image courante par rapport l'image de rfrence. Une fois la mosaque construite, nous disposons du fond de la squence et du mouvement de la camra entre chaque image et l'image de rfrence. Nous pouvons extraire de la mosaque le fond de chaque image. Nous avons prsent tous les lments ncessaires la segmentation nale, fonde principalement sur la dirence entre l'image et son fond.

133

L'ensemble des tapes-cls de notre mthode est rsum et illustr par la gure 8.

Compensation du mouvement de la camra


Estimation et compensation du modle de mouvement de la camra entre l'image courante et l'image prcdente.

Segmentation grossire
J () = +
out n in n comp |In In | dx

dx +

ds

Mise jour de la mosaque


Estimation du modle de mouvement de la camra entre l'image courante et l'image de rfrence.

Extraction du fond de l'image


partir de la mosaque et du modle de la camra entre l'image courante et l'image de rfrence

Segmentation nale
J () = +
out n in n

|Bn In | dx
n

dx +

ds

Fig. 8  tapes-cls de l'algorithme de dtection de mouvement partir

d'une mosaque.

134

Annexe A

Estimation du fond de la squence : la mosaque


La premire tape de notre algorithme consiste construire la mosaque de la squence choisie. L'intrt pour les mosaques va croissant et dpasse le simple eet visuel panoramique pour servir de base une reprsentation complte et ecace de la squence en compression vido ou en indexation. Dans [44] les auteurs distinguent deux types de mosaques : statiques et dynamiques. Les mosaques statiques rendent compte du contenu statique de la squence, c'est--dire exploitent les redondances temporelles. Les objets en mouvement vont de ce fait disparatre compltement, ou persister sous forme de traces rsiduelles ou fantmes. Les dirences entre l'image courante et la partie de la mosaque qui lui correspond, appartiennent en majeure partie aux objets en mouvement. Les mosaques dynamiques, quant elles, sont une suite de mosaques voluant chaque nouvelle image, lies fortement l'image en cours. Contrairement la mosaque statique, qui privilgie les informations redondantes (typiquement le fond des images), la mosaque dynamique privilgie les donnes les plus rcentes acquises partir de l'image courante. Les dirences entre l'image courante et la partie de la mosaque qui lui est associe rsulte donc de l'intgration des donnes des images prcdentes. tant donn que nous souhaitons disposer du fond de chacune des images, nous nous sommes naturellement tourns vers une reprsentation statique du fond de la squence. La construction de la mosaque induit une premire estimation grossire du fond de l'image. Le fond de l'image est extrait par une segmentation visant minimiser la dirence entre l'image courante et l'image prcdente compense en mouvement. Il est donc ncessaire d'estimer et de compenser

135

136

Annexe A. Estimation du fond de la squence : la mosaque

le mouvement de la camra entre l'image courante et l'image prcdente. Nous avons choisi de reprsenter le mouvement de la camra par un modle de mouvement ane. Ensuite, il reste recaler le fond estim de l'image courante dans le repre de l'image de rfrence, et mettre jour la mosaque. L encore, il est ncessaire d'estimer le modle de mouvement de la camra, cette fois entre l'image courante et l'image de rfrence.

Dans cette section, nous prsenterons non pas les tapes successives de l'algorithme de construction de la mosaque, mais les mthodes-cls mises en oeuvre. En eet, l'estimation et la compensation du mouvement de la camra mettent en oeuvre les mmes mthodes, qu'elles soient eectues entre l'image courante et la prcdente, ou entre l'image courante et celle de rfrence. Rappelons que les tapes de l'algorithme sont rsumes dans la gure 8 page 133. Les mthodes-cls qui seront dtailles par la suite concernent l'estimation du mouvement de la camra (section A.1), la compensation du mouvement de la camra (section A.2), l'extraction grossire du fond de chaque image (section A.3) et enn la mise jour de la mosaque (section A.4).

A.1 Estimation du mouvement de la camra


L'estimation du mouvement entre deux images repose principalement sur deux choix :  le choix du modle de reprsentation du mouvement,  le choix de la mthode d'estimation du modle de mouvement.

Les modles de mouvement se classent en deux catgories :  les modles non paramtrs, qui reposent sur un champ de mouvement dense,  les modles paramtrs, qui reprsentent le mouvement d'une rgion par un jeu de paramtres.

Le mouvement de la camra est, par hypothse, le mouvement dominant de l'image, et les objets, par dnition, sont les rgions ayant un mouvement dirent du mouvement dominant. Puisqu'il s'agit d'estimer le mouvement de la rgion principale de l'image, les modles paramtrs semblent donc tout indiqus. De plus, comme tous les pixels d'une rgion contribuent l'estimation d'un jeu de paramtres, celle-ci gagne en robustesse et en prcision.

A.1. Estimation du mouvement de la camra

137

Fig. A.1  Estimation du mouvement dite

Backward

Le modle de mouvement choisi pour reprsenter le mouvement de la camra est un modle ane

paramtres, car il reprsente un bon compromis

entre la prcision et le cot calculatoire [27]. La mthode d'estimation du modle de mouvement se droule en deux temps :  l'image est dcoupe en blocs, et un algorithme de mise en correspondance ou bloc,  un algorithme de minimisation dnit le modle de mouvement le plus reprsentatif de l'ensemble des vecteurs de mouvement.

block-matching

associe un vecteur de mouvement chaque

A.1.1 Estimation du mouvement par mise en correspondance


Le principe du

block-matching

est le suivant : les images tant pralablement

dcoupes en blocs, on cherche pour chaque bloc de l'une des deux images le bloc de l'autre image qui lui ressemble le plus. Le dplacement not v = (u, v )T du bloc se dduit de la dirence d'emplacement des blocs considrs. Cette estimation peut se faire en recherchant les blocs correspondant ceux de l'image courante, soit dans l'image suivante et la recherche est dite

forward,

soit dans l'image prcdente et la recherche est dite

backward.

138

Annexe A. Estimation du fond de la squence : la mosaque

Il existe plusieurs mthodes de recherche du bloc correspondant mais toutes s'eectuent dans une fentre de recherche dnie par un paramtre de dplacement maximal. Parmi les nombreuses mthodes de recherche de le

block-matching

block-matching,

citons

exhaustif, qui compare le bloc courant tous les blocs

contenus dans la fentre de recherche de l'autre image. Cette recherche exhaustive assure d'obtenir un minimum global pour la prcision choisie, mais a pour principal inconvnient un cot calculatoire important. Des mthodes de recherche alternatives tendent rduire considrablement le cot calculatoire, tout en approchant au mieux la qualit d'estimation du

block-matching

exhaustif.

Citons l'algorithme prcurseur de optimal dans un

three-step search

[53] qui recherche le bloc

8-voisinage

pixels de distance, puis, autour du centre

de ce bloc optimal, ritre la recherche pour un dans un Enn

8-voisinage

pixels de

distance et enn, autour du nouveau bloc optimal, recherche le meilleur bloc

8-voisinage 1 pixel de distance. Zhu et al. [92] proposent deux algorithmes


three-step search,

itratifs amliors dans

le mme esprit, utilisant des motifs de recherche non plus en carr, comme pour le mais en diamant. Ces algorithmes amliorent la qualit de l'estimation par rapport au cot calculatoire. Si le principal avantage des mthodes non exhaustives est leur cot calculatoire rduit, elles prsentent toutefois le risque d'obtenir un minimum local. An de pouvoir estimer les vecteurs de dplacement une prcision infrieure au pixel, l'image

three-step search

tout en rduisant le

In1

a t interpole par le ltrage H26L [47].

A.1.2 Estimation robuste du modle de mouvement de la camra


Reprsentons le modle ane du mouvement de la camra entre les images

In

et

In1

par les matrices

An,n1 =
Notons sens

a1 a2 a3 a4

et

tn,n1 =
l'image tel que :

b1 b2
et

xn un pixel de du block-matching

In

xn1

son correspondant dans

In1

au

xn1 = xn + vn,n1 In .

(A.1)

Le modle de mouvement de la camra doit reprsenter au mieux les dirents dplacements de chacun des pixels de l'image Pour cela, nous

A.1. Estimation du mouvement de la camra


cherchons minimiser la dirence entre

139

xn

par le modle de mouvement de la

estim par

block-matching.

An,n1 xn + tn,n1 , l'image du pixel camra, et xn1 son correspondant

Un premier choix pour cette mesure de dierence pourrait tre la norme quadratique, car la solution du problme de minimisation est alors bien connue :

(xn1 An,n1 xn tn,n1 )2


xn In
En eet, si l'on crit la dirence

(A.2)

xn1 An,n1 xn tn,n1 = xn1 Mn p


avec

(A.3)

p = (a1 a2 a3 a4 b1 b2 )T
vecteur des paramtres de mouvement, et

(A.4)

Mn =
avec

j 0 0 1 0 xi n xn j 0 0 xi n xn 0 1

(A.5)

j xn = (xi n , xn ), alors la solution du problme de la minimisation de (A.2)

est donne par :

T Mn Mn p = xn In xn In

T Mn xn1

(A.6)

Cependant un tel estimateur n'est pas robuste aux erreurs introduites par les objets en mouvement et les mises en correspondance aberrantes. La mesure de dirence

choisie est un M-estimateur. Elle permet de pon-

drer l'inuence des erreurs sur l'estimation du modle de mouvement. Plus prcisment, nous avons choisi la fonction de pnalisation de Geman et Mc Clure [36] :

(r) =
Les courbes correspondantes

r2 1 + r2 (r)/2r
sont donnes Fig.A.2.

(r)

et

Le modle de mouvement de la camra est celui qui minimise le critre :

(xn1 An,n1 xn tn,n1 )


xn In

(A.7)

140

Annexe A. Estimation du fond de la squence : la mosaque

(a) (r) =

r2 1+r 2

(b)

(r ) 2r

Fig. A.2  L'estimateur de Geman et Mc Clure

Les M-estimateurs permettent de donner moins d'importance que la fonction carre aux pixels pour lesquels la dirence

|xn1 An,n1 xn tn,n1 |


block-matching

est

leve. Ces pixels prsentent une dirence leve soit parce qu'ils appartiennent un objet en mouvement et ne suivent donc pas le mouvement global de la camra, soit parce que l'estimation par a t mauvaise. Une bonne estimation du modle de mouvement de la camra ne peut passer que par l'exclusion ou une prise en compte moindre de ces pixels dits

outlier.

L'inconvnient d'une telle fonction de pondration est que le critre n'est plus direntiable directement. Pour minimiser le critre d'estimation du modle de mouvement de la camra nous avons utilis le thorme nonc par Charbonnier

et al.

[13] :

Thorme A.1.

Soit une fonction vriant les proprits suivantes :

1. est une fonction valeur relle continment direntiable. 2. (r) 0 r avec (0) = 0. 3. est croissante sur R+ . 4. (r) = (r). 5. (r)/2r continue et strictement dcroissante sur [0, +). 6. limr+
(r ) 2r

= 0.

A.1. Estimation du mouvement de la camra

141

7. limr0+ 2(rr) = M, avec 0 < M < +. Alors : 1. Il existe alors une fonction strictement convexe et dcroissante, : (0, M ] [0, ) avec :

= lim
et telle que :

r +

(r) r2

(r) 2r

(r) =

0<wM

inf (wr2 + (w))

2. Pour chaque r x, la valeur wr pour laquelle le minimum est atteint, i.e., telle que :
0<wM

inf (wr2 + (w)) = (wr r2 + (wr )),

est unique et donne par :

wr =

(r) 2r

Une dmonstration de ce thorme est donne dans [13, 3]. Remarquons que la fonction de Geman et Mc Clure vrie les conditions du thorme A.1. Le thorme A.1 nous permet d'armer que minimiser le critre (A.7) est quivalent minimiser le critre semi-quadratique

(bmin (xn1 An,n1 xn tn,n1 )2 + (bmin ))


xn In
avec

(A.8)

bmin =

(|xn1 An,n1 xn tn,n1 |) 2 |xn1 An,n1 xn tn,n1 | An,n1


et

(A.9)

L'algorithme de minimisation consiste calculer itrativement :  les paramtres du modle (A.8),

tn,n1

en minimisant l'quation

bmin

x

 les pondrations

bmin

partir de (A.9)

La mthode d'estimation du mouvement de la camra a t dveloppe entre les images

In

et

In1 ,

mais elle s'applique de mme entre les images

In

et

Iref .

142

Annexe A. Estimation du fond de la squence : la mosaque

A.2 Compensation du mouvement de la camra


La compensation du mouvement de la camra entre les images peut s'eectuer suivant deux stratgies opposes : Le principe d'une compensation l'image soit :

forward

et

In et In1 backward. xn1 de comp In 1 ,


(A.10)

forward

consiste, pour chaque pixel

In1

calculer son emplacement

xcomp

dans l'image compense

xcomp = An1,n xn1 + tn1,n


o

An1,n

et

les images

tn1,n reprsentent In1 et In .

le modle de mouvement de la camra entre

Fig. A.3  Compensation

backward

du mouvement de la camra entre les

images

In

et

In1

Le pixel

xcomp

ainsi dtermin se verra aecter l'intensit du pixel

xn1

qui

A.3. Segmentation grossire du fond des images


lui correspond :

143

comp In 1 (xcomp = An1,n xn1 + tn1,n ) = In1 (xn1 )

(A.11)

Cette mthode n'assure pas d'avoir une valeur pour chaque pixel de l'image compense, qui risque donc de prsenter des trous. De plus, plusieurs pixels comp de l'image In1 peuvent avoir la mme image dans In1 , crant des zones de recouvrement. Le principe de la mthode backward consiste assigner chaque pixel xcomp comp de l'image In1 l'intensit du pixel xn1 qui lui correspond dans l'image In1 , pixel dont les coordonnes sont donnes par :

xn1 = An,n1 xcomp + tn,n1


o

(A.12)

An,n1

et

les images

tn,n1 reprsentent In et In 1.

le modle de mouvement de la camra entre

On a donc :

comp In 1 (xcomp ) = In1 (xn1 = An,n1 xcomp + tn,n1 )

(A.13)

On s'assure ainsi que chaque pixel de l'image compense se verra aecter une intensit. Deux pixels de l'image compense peuvent toutefois avoir le mme antcdent, crant des redondances d'information. La gure A.3 prsente une compensation de type oeuvre dans notre algorithme. An d'augmenter la prcision des rsultats, les valeurs sub-pixelliques des images ont t estimes l'aide d'une interpolation H26L [47]. La mthode de compensation du mouvement de la camra a t dveloppe entre les images et

backward

telle que mise en

In

et

In1

mais elle s'applique de mme entre les images

In

Iref .

A.3 Segmentation grossire du fond des images


Construire une mosaque revient recaler dans un mme espace de rfrence direntes images reprsentant la mme scne sous des points de vue dirents. Si, d'une image l'autre, des lments de la scne ont t (ou se sont) dplacs, ces lments se retrouveront sur la mosaque sous forme de traces rsiduelles. An d'viter ces traces rsiduelles, nous avons choisi de

144

Annexe A. Estimation du fond de la squence : la mosaque

pr-segmenter chaque image et de n'en garder que le fond. La segmentation suit une approche variationnelle et est mise en oeuvre par un algorithme de contours actifs. Le critre de segmentation comprend trois termes :

Jn () =
out n i=Y,U,V

i,comp i (x) In |In 1 (x)|dx

+
in n

c dx ds
n
(A.14)

+ out n
et

in n

reprsentent respectivement la rgion extrieure et intrieure au

contour actif relles.

de l'image

In .

Les variables

et

sont deux constantes

convergence, le contour actif dtoure l'objet en mouvement, partitionnant in l'image entre l'objet en mouvement dni par n et le fond de l'image dni out par n . Le premier terme du critre (A.14) value la dirence entre le fond de l'image courante et celui de l'image prcdente, compense en mouvement. Si ce terme n'entrait en comptition avec aucun autre, le contour actif, voluant de faon minimiser le critre, tendrait minimiser l'aire du fond de l'image, par-del les contours de l'objet d'intrt. Le deuxime terme compense l'inuence du premier en minimisant l'aire de l'objet. Le troisime terme minimise la longueur du contour et permet d'avoir un contour plus rgulier. Les constantes

et

pondrent chacun des termes et permettent

l'utilisateur d'adapter l'algorithme aux caractristiques des images. La direntiation de chacun de ces termes est simple et nous permet d'obtenir l'quation d'volution du contour actif :

n (p, )

n (0)

= (c = n,0

i=Y,U,V

i i,comp |In (x) In (x)| + .)N

(A.15)

La courbure du contour est note extrieur au contour est not

, x = n (p, ),

le vecteur normal unitaire

et le contour initial

n,0

est un contour

quelconque dni par l'utilisateur.

A.4. Mise jour de la mosaque

145

Fig. A.4  Contours volontairement sur-segments des images 70, 75, 80 et

85.

L'quation d'volution a t implmente suivant la mthode des ensembles de niveaux [67].

La gure A.4 prsente quelques contours obtenus en favorisant volontairement le premier terme du critre (A.14), ceci an d'induire une sursegmentation de l'objet et donc de s'assurer que le fond de l'image ne contient pas d'objet en mouvement.

A.4 Mise jour de la mosaque


Chacun des fonds segments l'tape prcdente doit tre recal dans un repre commun, dni par une image de rfrence

Iref .

Nous avons choisi la

premire image de la vido comme image de rfrence.

146

Annexe A. Estimation du fond de la squence : la mosaque

Le recalage du fond d'une image passe par l'estimation et la compensation du mouvement de la camra entre cette image et l'image de rfrence. Les modles de mouvement calculs cette tape sont prcieusement conservs car ils serviront par la suite extraire le fond de chaque image de la mosaque (Section B.1). Chaque fond apporte une quantit d'informations qui, intgre l'ensemble des informations dj acquises, participe la construction de la mosaque. La plupart du temps, ces informations sont redondantes, ce qui nous permet d'ailleurs de les situer dans un repre commun. L'tape de mise jour de la mosaque dtermine la faon dont ces informations vont s'intgrer celles dj prsentes dans la mosaque.

Fig. A.5  Construction de la mosaque partir des fonds grossiers.

An de prendre en compte les direntes valeurs proposes par direntes

A.4. Mise jour de la mosaque


images pour un mme pixel de la mosaque, Nicolas

147

et al. proposent dans [65]


(A.16) aprs intgration des

de mettre jour la mosaque chaque nouvelle image :

Mn (x) = (1 ) Mn1 (x) + In (x)


On note

Mn (x)

la valeur de la mosaque au pixel

donnes de l'image

In .

La constante

permet de pondrer l'inuence de la

nouvelle image sur la mosaque. Cependant, ce ltrage temporel est sensible l'introduction de valeurs non reprsentatives. Nous avons utilis une mdiane temporelle des direntes valeurs attribues un pixel [44].

148

Annexe A. Estimation du fond de la squence : la mosaque

Annexe B

Segmentation nale : dtection d'objets en mouvement avec fond estim


Le fond de la squence est connu sous la forme d'une mosaque, il est ais d'en dduire le fond de chaque image de la squence. Nous dvelopperons les deux dernires tapes de notre algorithme : l'extraction du fond de chaque image partir de la mosaque et la dtection d'objets en mouvement.

B.1 Extraction du fond de chaque image partir de la mosaque


Le fond de chaque image se dduit de la mosaque l'aide des modles de mouvement estims l'tape A.4, en utilisant une compensation Chaque pixel

backward.

xn

du fond

Bn

de l'image

In

a pour intensit celle du pixel

xref

qui lui correspond dans la mosaque

M , par rapport au modle de mouvement


(B.1)

de la camra entre l'image de rfrence et l'image courante :

Bn (xn ) = M (xref = An,ref xn + tn,ref )


image de la squence.

Ainsi nous estimons partir de la mosaque le fond correspondant chaque

B.2 Dtection d'objet en mouvement


Enn nous mettons en oeuvre un algorithme de segmentation par contours actifs dont le critre peut sembler similaire celui de la pr-segmentation.

149

150

Annexe B. Segmentation nale : dtection d'objets en mouvement avec fond estim

Fig. B.1  Extraction des fonds de la squence partir de la mosaque.

La dirence se situe au niveau du terme dcrivant la rgion extrieure au contour. Ce descripteur, lors de la pr-segmentation, est fond sur le gradient temporel entre deux images successives, dont l'une est compense en mouvement. Pour la segmentation nale, ce descripteur repose sur la dirence entre une image et le fond correspondant estim partir de plusieurs images de la squence.

Jn () =
out n i=Y,U,V

i i |Bn (x) In (x)| dx

+ c
in n

dx +
n

ds

(B.2)

L'utilisation de plusieurs images dans le descripteur de la rgion extrieure au contour permet de rendre la segmentation plus robuste au bruit et

B.2. Dtection d'objet en mouvement

151

Fig. B.2  Prsentation du descripteur bas sur la dirence entre l'image et

son fond.

aux changements d'intensit. Ce descripteur permet galement de ne pas considrer les zones d'occlusion comme faisant partie de l'objet, car le fond de l'image est connu.

152

Annexe B. Segmentation nale : dtection d'objets en mouvement avec fond estim

L'quation d'volution du contour actif est :

n ( ) = (c n (0) = n,0

3 i i |Bn In | + .)N i=1


(B.3)

Elle a t implmente par la mthode des ensembles de niveaux. La gure B.2 prsente une carte de vitesse du contour actif pour le critre B.2. On peut remarquer que la dirence entre l'image et son fond laisse apparatre clairement l'objet en mouvement, ici le joueur de tennis. La dernire image prsente le contour actif convergence.

Annexe C

Rsultats exprimentaux
Nous prsentons les rsultats obtenus pour la squence

Stefan.

Cette

squence est particulirement dlicate segmenter car les mouvements de la camra incluent zooms et larges translations, et que le joueur de tennis se dplace rapidement. La gure C.1 montre la mosaque obtenue partir de images

20

images entre les

70

et

89.

L'objet se dplaant rapidement,

20

images susent

construire une mosaque complte, dans laquelle chaque zone recouverte par l'objet dans une image est dcouverte dans une autre image. La gure C.2 prsente, pour les images

70, 75, 77, 80

et

87,

le fond de chaque

image extrait partir de la mosaque et l'objet en mouvement dtect. Dans la gure C.3, nous prsentons les contours des images paires de l'extrait de

20

images de la squence.

An d'eectuer une valuation objective de la qualit de la segmentation, est nous avons compar les objets A , extraits par notre algorithme, ceux de rfrence obtenus par segmentation manuelle. Nous avons utilis le critre de qualit spatiale de segmentation de Mech

al.

et

[60] :

dabs =
o

xAest

Aref (x) Aest (x) N

(C.1)

est le nombre d'images de la squence tudie, et

l'oprateur logique
squence

binaire du "ou exclusif". La distorsion moyenne,

dabs ,

sur les

0.0090

ce qui signie que moins de

20 images de la 1% des pixels sont

Stefan

vaut

mal tiquets.

153

154

Annexe C. Rsultats exprimentaux

Fig. C.1  Mosaque estime partir de 20 images de la squence

Stefan

(images 70 89)

155

Fig. C.2  Fonds et objets des images 70,75,77, 80 et 87

156

Annexe C. Rsultats exprimentaux

Fig. C.3  Contours des images 70,72,74, 76, 78, 80, 82, 84, 86 et 88

Bibliographie
[1] D. Adalsteinsson et J.A. Sethian. A fast level set method for propagating interfaces.

Journal of Computational Physics,

118, 1995.

[2] G. Aubert, R. Deriche, et P. Kornprobst. ow via variational techniques. 60(1) :156182, 1999. [3] G. Aubert et P. Kornprobst.

Computing optical

SIAM Journal of Applied Mathematics,

Mathematical problems in image processing. Partial dierential equations and the calculus of variations. Numro 147. Applied Mathematical Sciences, Springer Verlag, 2001.

[4] J.L. Barron, D.J. Fleet, et S.S. Beauchemin. Performance of optical ow techniques. 77, 1994. [5] S. Beucher et F. Meyer. The morphological approach to segmen-

International Journal on Computer Vision,

pages 43

tation : The watershed transformation.

Image Processing,

Mathematical Morphology in

pages 433481, 1993.

[6] L. Blanc-Fraud, M. Barlaud, et T. Gaidon. Motion estimation involving discontinuities in a multiresolution scheme.

ring,

Optical Enginee-

32(7) :14751482, 1993.

[7] S. Boltz, . Debreuve, et M. Barlaud. A joint motion computation and segmentation algorithm for video coding. Dans

Processing Conference,

European Signal

Antalya, Turquie, 2005.

[8] X. Bresson, P. Vandergheynst, et J.P. Thiran. A variational model for object segmentation using boundary information and statistical shape prior driven by the mumford-shah functional.

nal of Computer Vision,

International Jour-

accept le 16 novembre 2005.

[9] V. Caselles, F. Catte, T. Coll, et F. Dibos. A geometric model for active contours in image processing. 1993.

Numerische Mathematik,

66 :133,

158

Bibliographie
Geodesic active contours.

[10] V. Caselles, R. Kimmel, et G. Sapiro.

International Journal of Computer Vision,

22(1) :6179, 1997.

[11] A. Chakraborty, L. Staib, et J. Duncan. Deformable boundary nding in medical images by integrating gradient and region information.

IEEE Transactions on Medical Imaging, on image processing,


laud.

15 :859870, 1996.

[12] T. Chan et L. Vese. Active contours without edges. 10(2) :266276, 2001.

IEEE Transactions

[13] P. Charbonnier, L. Blanc-Fraud, G. Aubert, et M. BarDeterministic edge-preserving regularization in computed ima6(2) :298311, 1997. ging.

IEEE Transactions on Image Processing,

[14] G. Charpiat, O. Faugeras, et R. Keriven. Approximations of shape metrics and application to shape warping and empirical shape statistics.

Foundations of Computational Mathematics,

pages OF1OF58, 2004.

[15] Y. Chen, F. Huang, H. Tagare, M. Rao, D. Wilson, et E. Geiser. Using prior shape and intensity prole in medical image segmentation. Dans

IEEE International Conference on Computer Vision,

pages 1117

1125, Nice, France, 2003. [16] Y. Chen, H. Tagare, S. Thiruvenkadam, F. Huang, D. Wilson, K.S. Gopinath, R.W. Briggs, et E.A. Geiser. Using prior shapes in geometric active contours in a variational framework.

Journal of Computer Vision,

International

50(3) :315328, 2002.

[17] L. Cohen. On active contour models and balloons. 1991. [18] R. Courant, K.O. Friedrichs, et H. Lewy. rence equations of mathematical physics.

Computer Vision, Graphics and Image Processing : Image Understanding, 53 :211218,


On the partial die-

Development,

IBM Journal of Research and

11 :215234, 1967.

[19] D. Cremers, C. Schnorr, et J. Weickert. Diusion-snakes : Combining statistical shape knowledge and image information in a variational

1st IEEE Workshop on Variational and Level Set Methods in Computer Vision, pages 137144, Vancouver, Canada, 2001.
framework. Dans [20] D. Cremers et S. Soatto. Variational space-time motion segmentation. Dans 893, 2003. [21] D. Cremers et S. Soatto. A variational framework for piecewise

International Conference on Computer Vision,

pages 886

parametric motion segmentation.

Vision,

International Journal of Computer

62(3) :249265, 2005.

Bibliographie

159

[22] D. Cremers, F. Tischhauser, J. Weickert, et C. Schnrr. Diusion-snakes : Introducing statistical shape knowledge into the mumford-shah functional. 7(6) :662673, 2002. [23] . Debreuve.

International Journal of Computer Vision,

Segmentation par contours actifs en imagerie mdicale dynamique : application en cardiologie nuclaire. Thse de doctorat,
Universit de Nice-Sophia Antipolis, France, 2000.

[24] . Debreuve, M. Barlaud, G. Aubert, Y. Laurette, et J. Darcourt. Space time segmentation using level set active contours applied

to myocardial gated SPECT. 20(7) :643659, 2001.

IEEE Transactions on Medical Imaging,

[25] E. Debreuve, M. Gastaud, M. Barlaud, et G. Aubert. A regionbased joint motion computation and segmentation on a set of frames.

6me European Workshop on Image Analysis for Multimedia International Services, Montreux, Suisse, avril 2005.
Dans [26] M.C. Delfour et J.-P. Zolsio.

Shapes and geometries : Analysis, dierential calculus, and optimization. Advances in Design and Control.
Society for Industrial and Applied Mathematics (SIAM), 2001.

[27] F. Dufaux et F. Moscheni.

proach,

Video coding : a second generation ap-

chapitre Segmentation-based motion estimation for second ge-

neration video coding techniques. Kluwer Academic, Boston, 1996. [28] C. Epstein et M. Gage.

The curve shortening ow. Wave motion : theory, modelling, and computation. Mathematical Sciences Research
Institute Publications - Springer-Verlag, 1987.

[29] R. Fablet, P. Bouthemy, et M. Gelgon. Moving object detection in color image sequences using region-level graph labeling. Dans

International Conference on Image Processing,

IEEE

Kobe, Japon, 1999.

[30] A. Foulonneau, P. Charbonnier, et F. Heitz. Ane-invariant geometric shape priors for region-based active contours. Rapport technique RR-AF01-2005, LRPS ERA 27/LSIIT UMR 7005, 2005. short version submitted to IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI). [31] F. Galland, N. Bertaux, et P. Rfrgier. Multicomponent image segmentation in homogeneous regions by stochastic complexity minimization.

Pattern Recognition,

38(11) :19261936, 2005.

[32] V. Garcia, . Debreuve, et M. Barlaud. A contour tracking algo-

IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Toulouse, France, Mai 2006.
rithm for rotoscopy. Dans

160

Bibliographie
IEEE International Conference on Image
Tracking video objects

[33] M. Gastaud et M. Barlaud. Video segmentation using active contours on a group of pictures. Dans

Processing,

volume 2, pages 8184, Rochester, N.Y., septembre 2002.

[34] M. Gastaud, M. Barlaud, et G. Aubert. using active contours and geometric priors. pages 170175, Londres, RU, avril 2003. [35] M. Gastaud, M. Barlaud, et G. Aubert.

IEEE 4th European Workshop on Image Analysis for Multimedia International Services,
Dans Combining shape prior

IEEE TCSVT special session on Audio and Video Analysis for Interactive Multimedia Services, 14(5) :726734, mai 2004.
and statistical features for active contour segmentation. [36] S. Geman et D.E. McClure. Bayesian image analysis : an application to single photon emission tomography. Dans

Section,

Statistical Computing

pages 1218, Washington, DC, 1985.

[37] A. Herbulot, S. Jehan-Besson, S. Duffner, M. Barlaud, et G. Aubert. Segmentation of vectorial image features using shape gradients and information measures.

Imaging and Vision,

Soumis Journal of Mathematical

2005.

[38] M. Hintermller et W. Ring. A second order shape optimization approach for image segmentation. 64(2) :442467, 2003. [39] B. K. P. Horn et B. G. Schunck. Determining optical ow.

SIAM, Journal of Applied Mathematics, Articial

Intelligence,

17 :185203, 1981.

[40] International Organisation for Standardization, ISO Standards : JTC 1/SC 29  Coding of audio, picture, multimedia and hypermedia in-

14496-2 :2004 : Technologies de l'information  Codage des objets audiovisuels  Partie 2 : Codage visuel, Ed.3, 2004.
formation. ISO/IEC [41] International Organisation for Standardization, ISO Standards : JTC 1/SC 29  Coding of audio, picture, multimedia and hypermedia information. ISO/IEC 15938-3 :2002 : Technologies de l'information  Interface de description du contenu multimdia  Partie 3 : Visuel, 2002. [42] International Organisation for Standardization, ISO Standards : JTC 1/SC 29  Coding of audio, picture, multimedia and hypermedia information. ISO/IEC 11172-2 :1993 : Technologies de l'information  Codage de l'image anime et du son associ pour les supports de stockage numrique jusqu' environ 1,5 Mbit/s  Partie 2 : Vido, 1993. [43] International Organisation for Standardization, ISO Standards : JTC 1/SC 29  Coding of audio, picture, multimedia and hypermedia information. ISO/IEC

13818-2 :2000 : Technologies de l'information 

Bibliographie

161

Codage gnrique des images animes et du son associ : Donnes vido, Ed. 2, 2000.
[44] M. Irani, P. Anandan, J. Bergen, R. Kumar, et S. Hsu. Ecient

Signal Processing : Image Communication. Special issue on Image and Video Semantics : Processing, Analysis, and Application, 8(4), 1996.
representations of video sequences and their applications. [45] ITU : International
ITU-T

Telecommunication

Union,

Telecommunication

Standardization Sector.

kbit/s [46] ITU :

Video Codec For Audiovisual Services at p 64 Recommandation H.261, 1993.


Telecommunication Union, Telecommunication

International

Standardization Sector.

ITU-T

Video Coding for low bitrate communication Recommandation H.263, 1996.


Telecommunication Union,Telecommunications 2001.

[47] ITU

International

Standardization Sector, Study Group 16, Video Coding Experts Group, Austin, Texas USA. H.26L [48] S. Jehan-Besson.

Test Model Long Term Number 87,

Modles de contours actifs bass rgions pour la segmentation d'images et de vidos. Thse de doctorat, Universit de
Nice-Sophia Antipolis, 2003.

[49] S. Jehan-Besson, M. Barlaud, et G. Aubert. Video object segmentation using eulerian region-based active contours. Dans

Conference on Computer Vision,


2001.

International

pages 353361, Vancouver, Canada,

[50] S. Jehan-besson, M. Barlaud, et G. Aubert. A 3-step algorithm using region-based active contours for video objects detection.

ASIP journal on applied signal processing,

EUR-

2002(6) :572581, 2002.

2 [51] S. Jehan-Besson, M. Barlaud, et G. Aubert. DREAM S : Deformable regions driven by an eulerian accurate minimization method for image and video segmentation.

Vision,
models.

International Journal of Computer

53(1) :4570, 2003.

[52] M. Kass, A. Witkin, et D. Terzopoulos. Snakes : Active contour

International Journal of Computer Vision,

1 :321332, 1988.

[53] T. Koga, K. Linuma, A. Hirano, Y. Iijima, et T. Ishiguro. Motioncompensated interframe coding for video conferencing. Dans

Telecommnication Conference,

National

page G5.3.15, New Orleans, LA, 1981.

[54] P. Kornprobst, R. Deriche, et G. Aubert. Image sequence analysis via partial dierential equations.

Vision,

Journal of Mathematical Imaging and

11(1) :526, 1999.

162

Bibliographie
Statistical shape in-

[55] M. Leventon, E. Grimson, et O. Faugeras. uence in geodesic active contour. Dans

Computer Vision and Pattern Recognition, pages 13161323, Hilton Head Island, South Carolina, 2000.
[56] F. Leymarie et D. Levine. Tracking deformable objects in the plane using an active contour model.

and Machine Intelligence,


block estimation.

IEEE Transactions on Pattern Analysis

15(6) :617634, 1993.

[57] R. Li, B. Zeng, et M.L. Liou. A new threestep search algorithm for

Technology,

IEEE Transactions on Circuits Systems and Video


Shape modeling with

4 :438442, 1994.

[58] R. Malladi, J.A. Sethian, et B.C. Vemuri. front propagation : a level set approach.

Analysis and Machine Intelligence,


[59] M. Mazire et F. Chassaing. and production systems. Dans

IEEE Transactions on Pattern

17 :158175, february 1995.

Segmentation and tracking of video

objects : suited to content-based video indexing, interactive television

cessing,

International Conference on Image ProCOST

Vancouver, Canada, 2000.

[60] R. Mech.

Description of COST 211 analysis model.

211quat

simulation group, Dublin, 1998. [61] A. Mitiche, R. Feghali, et A. Mansouri. Motion tracking as spatiotemporal motion boundary detection.

tems,

Robotics ans Autonomous sys-

43 :3950, 2003. Hierarchical estimation and segmentation

[62] E. Mmin et P. Prez. of dense motion elds. 46(2) :129155, 2002.

International Journal of Computer Vision,

[63] D. Mumford et J. Shah. Optimal approximations by piecewise smooth functions and associated variational problems.

and Applied Mathematics,

Communications on Pure

42 :577684, 1989. An investigation of smoothness

[64] H. Nagel et W. Enkelmann. sequences.

constraints for the estimation of displacement vector elds from image

ligence,

IEEE Transactions on Pattern Analysis and Machine IntelInterna-

8(5) :565  593, 1986.

[65] H. Nicolas. Optimal criterion for dynamic mosaicking. Dans

tional Conference on Image Processing,


[66] J.-M. Odobez et P. Bouthemy. of parametric motion models.

Kobe, Japan, 1999.

Robust multiresolution estimation

Image Representation,

Journal of Visual Communication and


Fronts propagating with curvature79 :1249, 1988.

6(4) :348365, 1995.

[67] S. Osher et J.A. Sethian.

dependent speed : Algorithms based on hamilton-jacobi formulation.

Journal of Computational Physics,

Bibliographie

163

[68] C. Papin, P. Bouthemy, E. Mmin, et G. Rochard. Tracking and characterization of highly deformable cloud structures. Dans

Conference on Computer Vision,


lande, 2000.

European

volume 2, pages 428442, Dublin, Ir-

[69] N. Paragios. Shape-based segmentation and tracking in cardiac image analysis. 2003. [70] N. Paragios et R. Deriche. Geodesic active contours and level sets for the detection and tracking of moving objects.

IEEE Transactions on Medical Image Analysis, pages 402407,

[71]

Pattern Analysis and Machine Intelligence, 22(3) :266280, 2000. F. Precioso. Contours actifs paramtriques pour la segmentation d'images et vidos. Thse de doctorat, Universit de Nice-Sophia Antipolis, France, 2004.

IEEE Transactions on

[72] F. Precioso, M. Barlaud, T. Blu, et M. Unser. Robust real-time segmentation of images and videos using a smooth-spline snake-based algorithm. 2005. [73] F. Ranchin et F. Dibos. Moving objects segmentation using optical ow estimation. Dans 2004. [74] R. Ronfard. Region-based strategies for active contour models.

IEEE Transactions on Image Progressing,

14(7) :910924,

Mathematics, Image and Analysis,

Paris, France,

national Journal of Computer Vision,


[75] M. Rousson et N. Paragios. tions. Dans Copenhage, Danemarque, 2002.

Inter-

13(2) :229251, 1994.

Shape priors for level set representapages 7892,

European Conference in Computer Vision,

[76] T. Roy, E. Debreuve, M. Barlaud, et G. Aubert. Segmentation of a vector eld : Dominant parameter and shape optimization.

dans Journal of Mathematical Imaging and Vision,

paratre

2006.

[77] P. Salembier et F. Marqus. Region-based representations of image and video : Segmentation tools for multimedia services.

tions on Circuits and Systems for Video Technology,


1999.

IEEE Transac-

9(8) :11471169,

[78] C. Schnrr. Computation of discontinuous optical ow by domain decomposition and shape optimization.

Vision,

International Journal of Computer

8(2) :153165, 1992. Deformotion : Deforming motion, shape Dans pages 3247, Copenhague,

[79] S. Soatto et A. J. Yezzi.

average and the joint registration and segmentation of images.

European Conference on Computer Vision,


Danemark, 2002.

164

Bibliographie
Shape sensitivity analysis., Introduction to shape optimization. 16 de Springer Ser. Comput. Math.

[80] J. Sokolowski et J.-P. Zolsio. volume Springer-Verlag, Berlin, 1992.

[81] L.H Staib et J.S. Duncan. Boundary nding with parametrically de-

IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 14(11) :10611075, 1992.
formable models. [82] M. Sussman, P. Smereka, et S. Osher. A level setmethod for computing solutions of incompressible two-phase ows.

tational Physics,

Journal of Compu-

114 :146159, 1994.

[83] A. Tsai, A. Yezzi, W. Wells, C. Tempany, D. Tucker, A. Fan, W.E. Grimson, et A. Willsky. A shape-based approach to the segmentation of medical imagery using level sets.

Medical Imaging,

IEEE Transactions on Journal

22(2) :137154, 2003.

[84] C. Vachier et F. Meyer. The viscous watershed transform.

of Mathematical Imaging and Vision,

22(2-3) :251267, 2005.

[85] T. Veit, F. Cao, et P. Bouthemy. A maximality principle applied to

a contrario motion detection. Dans IEEE International Conference on Image Processing, Gnes, Italie, 2005.
[86] P. Villegas, X. Marichal, et A. Salcedo. of segmentation masks in video sequences. lemagne, 1999. [87] Y. Wang et L. Staib. statistical shape models. Boundary nding with correspondence using Dans Objective evaluation Dans Workshop on Image Analysis for Multimedia International Services, pages 8588, Berlin, Al-

and Pattern Recognition,

IEEE Conference in Computer Vision

pages 338345, Santa Barbara, C.A., 1998.

[88] J. Weickert et C. Schnrr. Variational optic ow computation with a spatio-temporal smoothness constraint.

ging and Vision,

Journal of Mathematical Ima-

14(3) :245255, 2001.

[89] S. F. Wu et J. Kittler. A gradient-based method for general motion estimation and segmentation.

Image Representation,

Journal of Visual Communication and

4(1) :2538, 1993.

[90] L. Q. Xu, J. L. Landabaso, et M. Pards. Shadow removal with blobDans IEEE International Conference on Acoustics, Speech, and Signal Processing, based morphological reconstruction for error correction. pages 235246, Pennsylvania , USA, 2005. [91] H-K Zhao, S. Osher, et R. Fedkiw. Fast surface reconstruction using

IEEE workshop on Variational and Level Set Methods in computer vision, pages 194203, 2001.
the level set method. Dans

Bibliographie

165

[92] S. Zhu et K.-K. Ma. A new diamond search algorithm for fast block matching motion estimation. 9(2) :287290, 2000. [93] S. Zhu et A. Yuille. Region competition : unifying snakes, region growing, and bayes/MDL for multiband image segmentation.

IEEE Transactions on Image Processing,

sactions on Pattern Analysis and Machine Intelligence,


1996.

IEEE Tran18 :884900,

166

Bibliographie

Publications
Revues internationales avec comit de lecture
M. Gastaud, M. Barlaud, et G. Aubert. Combining shape prior and

statistical features for active contour segmentation. volume 14, numro 5, pages 726734, mai 2004.

IEEE TCSVT special issue on Audio and Video Analysis for Interactive Multimedia Services,

S. Jehan-Besson, M. Gastaud, F. Precioso, M. Barlaud, G. Aubert, et . Debreuve. From snakes to region-based active contours dened

by region-dependent parameters. 247256, janvier 2004.

Applied Optics, volume 43, numro 2, pages

Confrences internationales avec comit de lecture


. Debreuve, M. Gastaud, M. Barlaud, et G. Aubert. A region-

based joint motion computation and segmentation on a set of frames. Dans

6th European Workshop on Image Analysis for Multimedia International Services, Montreux, Suisse, avril 2005.
T. M. Andr, B. Pesquet-Popescu, M. Gastaud, M. Antonini, et

Barlaud.

Motion estimation using chrominance for wavelet-based

video coding. Dans

Proc. IEEE Picture Coding Symposium,

San Francisco,

USA, dcembre 2004.


S. Jehan-Besson, M. Gastaud, M. Barlaud, et G. Aubert. Region-

based active contours using geometrical and statistical features for image segmentation. Dans

IEEE International Conference on Image Processing,

vol. 2, Barcelone, Espagne, septembre 2003, pages 643646.


M. Gastaud, M. Barlaud, et G. Aubert. Tracking video objects using

IEEE 4th European Workshop on Image Analysis for Multimedia International Services, avril 2003, pages
active contours and geometric priors. Dans 170175.
M. Gastaud, M. Barlaud, et G. Aubert. Tracking video objects using

active contours. Dans

IEEE Workshop on Motion and Video Computing,

Orlando, Floride, USA, dcembre 2002, pages 9095.


M. Gastaud et M. Barlaud. Video segmentation using active contours on

a group of pictures. Dans

sing,

IEEE International Conference on Image Proces-

volume 2, Rochester, New York, USA, septembre 2002, pages 8184.

Rapports de recherche
M. Gastaud, M. Barlaud,

et G.

Aubert.

Tracking video objects

using active contours and geometric priors. Rapport technique, CReATIVe, I3S/RR-2003-07-FR avril 2003.
M. Gastaud, M. Barlaud, et G. Aubert. Combining geometric prior

and statistical features for active contour segmentation. Rapport technique, CReATIVe, I3S/RR-2003-10-FR, mai 2003.

Rsum
La segmentation en objets d'une image consiste extraire de l'image des rgions d'intrt suivant un critre dni. Nous segmentons l'image par un algorithme de contours actifs dans le cadre d'une approche variationnelle. Partant d'un contour initial quelconque, le contour actif volue, suivant une quation aux drives partielles. L'quation d'volution du contour actif est dduite de la drivation du critre. Au vu de la dpendance du critre la rgion considre, la drivation du critre par rapport la rgion n'est pas aise. Nous utilisons des outils de drivation emprunts l'optimisation de domaine : les gradients de forme. La contribution de cette thse rside dans l'laboration et l'tude de dirents descripteurs de rgion. Pour chaque critre, nous calculons la drive du critre l'aide des gradients de forme, et en dduisons l'quation d'volution du contour actif. Le premier descripteur dnit un a priori gomtrique sans contrainte paramtrique : il minimise la distance du contour actif un contour de rfrence. Nous l'avons appliqu la dformation de courbe, la segmentation et le suivi de cible. Le deuxime descripteur caractrise le mouvement de l'objet par un modle de mouvement. Le critre associ dnit conjointement une rgion et son mouvement sur plusieurs images conscutives. Nous avons appliqu ce critre l'estimation et la segmentation conjointe du mouvement et au suivi d'objets en mouvement. Mots cls : Segmentation, contours actifs, minimisation, mthode variationnelle, quation aux drives partielles, gradients de forme, a priori, contour de rfrence, estimation et segmentation conjointe du mouvement, dformation de contours, suivi.

Abstract
Image segmentation is the partitioning of an image into regions of interest and a background. Image segmentation can be performed using an active contour algorithm in a variational framework. In the case of a single region of interest, the active contour evolves from an initial contour towards the region of interest according to an evolution equation. In the variational framework, the evolution equation is deduced from the derivative of a criterion. The criterion should characterize the region of interest in terms of, for example, its motion, its color homogeneity or its texture. We dierentiate the criterion using shape gradients, a theory originally developed for shape optimisation. We propose two criteria and we provide for each criterion the development leading to the associated evolution equation. The rst criterion denes a free form a priori constraint on the contour by minimizing the distance between the active contour and a reference contour. We applied this criterion to shape warping, image segmentation, and video tracking. The second criterion assumes that the object motion can be described by a motion model on a group of pictures. The evolution of the active contour allowing to minimize this criterion provides a joint motion segmentation and motion estimation. We applied this criterion to sequence segmentation and to video tracking. Keywords : Segmentation, active contours, minimization, variational framework, shape gradients, regularization, contour of reference, joint motion segmentation and estimation, shape warping, tracking.