INSTITUT DE LA FRANCOPHONIE POUR LINFORMATIQUE

INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE

ET EN AUTOMATIQUE

MEMOIRE DE FIN DETUDES

MASTER DINFORMATIQUE

REPARATION DES TRAJECTOIRES DE PERSONNES

SUIVIES BASEE SUR LE CLUSTERING DE POINTS

ETUDIANT : CHAU Duc Phu

PROMOTION : XII

Sous la direction de :
Franois BREMOND, HDR

HANOI, 10 - 2008
 TABLE DES MATIERES

LISTE DES FIGURES ET DE TABLEAU ..................................................................... 2

REMERCIEMENTS ........................................................................................................ 3
RESUME.......................................................................................................................... 4
ABSTRACT ..................................................................................................................... 5

CHAPITRE I INTRODUCTION ............................................................................... 6

1.2 Motivation et Objectif ............................................................................................ 7
1.3 Contribution............................................................................................................ 8
1.4 Environnement de Stage......................................................................................... 8

CHAPITRE II ETAT DE LART ............................................................................. 10

2.1 Dtection et Suivi du Mouvement ........................................................................ 10
2.1.1 Dtection du mouvement............................................................................... 10
2.1.2 Suivi du Mouvement ..................................................................................... 11
2.2 Amlioration de lAlgorithme de Suivi ................................................................ 12
2.3 Conclusion ............................................................................................................ 14

CHAPITRE III PRESENTATION DU SYSTEME DINTERPRETATION DE

VIDEO ........................................................................................................................... 15
3.1 Dtection du Mouvement et Suivi Trame par Trame ........................................... 16
3.2 Combinaison de Multiples Camras..................................................................... 16
3.3 Suivi long terme des individus, groupe de personnes et la foule....................... 18

CHAPITRE IV REPARATION DES TRAJECTOIRES PAR CLUSTERING DE

POINTS ......................................................................................................................... 19
4.1 Notre Approche .................................................................................................... 19
4.2 Caractristiques dune trajectoire ......................................................................... 20
4.3 Dterminer les Poids des Caractristiques par lAlgorithme Gntique et
lApprentissage........................................................................................................... 22
4.3.1 Mutation et Cross-Over pour lAlgorithme Gntique.................................. 23
4.3.2 Algorithme gntique .................................................................................... 26
4.4 Types de Zones Utilises dans la Scne ............................................................... 27
4.5 Apprentissage des Zones ...................................................................................... 28
4.6 Calcul des Triplets de Zones ................................................................................ 30
4.7 Rparer les Trajectoires Perdues .......................................................................... 32

CHAPITRE V EXPERIMENTATION ET VALIDATION................................... 34

CHAPITRE VI CONCLUSION ET PERSPECTIVE ............................................ 39

REFERENCES ............................................................................................................... 41

1
 LISTE DES FIGURES ET DE TABLEAU

Fig 2.1 Illustration de la diffrence dimages pour dtecter le mobile......................... 11

Fig 2.2 Le cycle rcursif de Kalman............................................................................. 12
Fig 3.1 Systme dinterprtation de vido.................................................................... 15
Fig 3.2 Illustration du processus de combinaison de multiples camras...................... 17
Fig 4.1. Illustration doprateur Mutation .................................................................... 25
Fig 4.2. Illustration doprateur Cross-Over.............................................................. 25
Fig 4.3. Les pas de ralisation dalgorithme gntique ................................................ 26
Fig 4.4 Description dune entry zone......................................................................... 28
Fig 4.5 Description dune lost-found zone ................................................................ 28
Fig 4.6. Rsultat de clustering des 8 lost zones ......................................................... 29
Fig 4.7 Reprsentation des clusters par les polygones. ................................................ 30
Fig 4.8 Illustration de cration dun triplet de zones.................................................... 31
Fig 4.9 Illustration de lalgorithme de rparation des trajectoires................................ 33
Fig 5.1 Images captures avant et aprs la fusion de la trajectoire t = 711 s............ 37
Fig 5.2 Images captures avant et aprs la fusion de la trajectoire t = 903 s............. 38

Tableau 5.1 Statistique les donns dans deux cas : appliquer et sans appliquer
lalgorithme de rparation ............................................................................................ 36

2
 REMERCIEMENTS
Avant de vous prsenter ce rapport, je tiens remercier tous ceux qui
mont aid pendant mon stage et mes tudes lIFI. Je voudrais en
particulier remercier :
- M. Franois Brmond, chercheur de lquipe Pulsar, INRIA Sophia
Antipolis, pour lencadrement, laide, lencouragement et la sympathie quil
ma donns. Grce ses conseils, jai pu terminer et complter mes travaux.
- Mme Monique Thonnat, chef de lquipe Pulsar, INRIA Sophia
Antipolis, qui ma donn beaucoup de conseils et de bonnes critiques
sur mon travail. Grce ses remarques, mon travail est plus complet.
- Etienne Corve, ingnieur de lquipe Pulsar, INRIA Sophia Antipolis,
qui ma aid chaleureusement. Sans son aide, le stage naurait pas pu
atteindre son terme temps. Je remercie aussi tous les autres membres de
lquipe Pulsar pour leurs encouragements, leurs aides, leur sympathie et
lenvironnement de travail trs chaleureux dans lequel jai travaill.
- LE Mlanie Nguyen My Linh, une amie vietnamienne, qui ma aid
pendant mon sjour de six mois en France.
Je voudrais aussi adresser mes sincres remerciements tous les
professeurs de lIFI pour leurs enseignements et les cours intressants
quils mont donn pendant ma scolarit lIFI. Je noublie pas de
remercier aussi tous les personnels de lIFI qui mont apport leur aide.
Depuis mes premiers jours dans cet institut, j'ai reu beaucoup d'aides, de
conseils et d'encouragements de mes amis, en particulier ceux de la promotion
12. Tout cela ma permis de murir chaque jour. Je les remercie et je ne
pourrais jamais oublier les souvenirs gais et tristes que jai pass avec eux
durant ces deux ans lIFI.
Je voudrais aussi remercier aussi les confrres de lUniversit Prive
Phu Xuan o je suis en train de travailler, qui mont donn les meilleures
conditions pour que je puisse bien passer ma scolarit lIFI.
Enfin, un grand merci mes parents, mon frre, ma fiance et les autres
membres de ma famille de mavoir normment encourag dans les
moments les plus difficiles de ma scolarit lIFI.
Chau Duc Phu
Hue (Vietnam), automne 2008

3
 RESUME

Cette mmoire prsente une mthode pour amliorer nimporte quel

algorithme de suivi bas sur l'apprentissage. La mthode propose est
divise en deux phases : une phase de formation et une phase de test. Au
cours de la phase de formation, les caractristiques importantes des
trajectoires sont extraites et qui sont ensuite utilises pour calculer la valeur
de fiabilit pour chaque trajectoire. Un algorithme gntique est utilis pour
dterminer l'importance (poids) de chaque caractristique. Les positions
auxquelles les objets sont souvent perdus et retrouvs et le suivi sont
regroupes afin de construire l'ensemble des lost zones et found zones
de la scne. Grce ces zones, on construit un ensemble de triplets de
zones : In/Out zone (zone o un objet peut entrer ou sortir de la scne),
lost zone et found zone. Chaque triplet de zones est limage dun
chemin que les objets dtects suivent. Grce eux, pendant la phase de
test, nous pouvons rparer les trajectoires perdues car ces trois zones
dterminent les trajectoires plus fiables. Les avantages de notre approche
sur l'tat de lart actuel sont que (i) Cette mthode n'est pas dpendante
dune scne prdfinie, (ii) nous exploitons la smantique de la scne et
(iii) nous avons propos une mthode pour filtrer les bruits grce ses
valeurs de fiabilits. Lalgorithme a t expriment dans le projet
Europen CARETAKER (http://www.ist-caretaker.org) avec des vidos
captures dans les stations de mtro.

4
 ABSTRACT

This report presents a method for improving any object tracking

algorithm based on machine learning. The proposed method is divided into
a training phase and a testing phase. During training phase, important
trajectory features are extracted which are then used to calculate a
confidence value of trajectory. A genetic algorithm is used to determine the
importance (weight) of each feature to compute the confidence of object
trajectories. The positions at which objects are usually lost and found are
clustered in order to construct the set of lost zones and found zones in
the scene. Using these zones, we construct a triplet set of zones i.e. 3 zones:
zone In/Out (zone where an object can enter or exit the scene), lost zone
and found zone. Each zone triplet defines a route that tracked objects
undertake. Thanks to these triplets, during the testing phase, we can repair
the erroneous trajectories according to which triplet they are most likely to
belong to. The advantage of our approach over the existing state of the art
approaches is that (i) this method does not dependent on a predefined
contextual scene, (ii) we exploit the semantic of the scene and (iii) we have
proposed a method to filter out noisy trajectories based on their confidence
value. The method was experimented within the CARETAKER project
(http://www.ist-caretaker.org) with videos captured in subway stations.

5
 CHAPITRE I
INTRODUCTION

1.1 Problmatique

Aujourdhui, on peut trouver facilement des applications de la

surveillance vido partout : au parking, au muse, lhpital, la gare
La surveillance vido nous aide observer beaucoup de positions
diffrentes en mme temps et reconnatre vite les vnements anormaux
qui se passent dans la scne. Cependant, comment un agent de scurit
peut-il analyser en temps rel des dizaines dcrans de contrle avec un
risque derreur minimal? Dautre part, lobservation des crans dans un
temps long est un travail ennuyeux. La rponse de ces deux problmes tient
en deux mots : vido intelligente.

La vido intelligente est un nouveau domaine qui tudie ce qui se

passe dans une vido. Ce terme sexprime un axe de recherche assez large,
qui est appliqu dans des domaines diffrents : robotique, mdecine, par
exemple. En particulier, beaucoup de recherches, de travaux dans ce
domaine sont dj implants dans la surveillance vido. La reconnaissance
des objets, des activits dans la vido, ce sont des sujets qui sont
actuellement intresss par plusieurs chercheurs. Cette mmoire tudie une
des applications les plus importantes de la vido intelligente, cest le suivi
du mouvement des objets mobiles dans la vido.

Il existe des recherches qui focalisent sur ce domaine [1, 3, 16, 18].
Quelques approches sont proposes mais il y a des problmes ne sont pas
encore rsolus. Un algorithme peut seulement tre appliqu dans quelques
scnes fixes. La smantique de la scne est un lment important quon

6
peut exploiter pour mieux suivre les mouvements, cependant cet lment
nobtient pas encore beaucoup dintrts de recherches. Quelques
chercheurs font des efforts pour modliser la scne [11,15], toutefois les
scnes considres sont encore assez simples. Dans le processus du suivi,
lapparition des bruits nest pas vitable cause de la complexit de la
scne, la relativit de lalgorithme utilisalors il est aussi ncessaire de
filtrer ces trajectoires avant de commencer la modlisation. Sinon,
lutilisation des bruits pour la construction des scnes peut entraner les
rsultats imprcis.

1.2 Motivation et Objectif

Le suivi du mouvement donne toujours les rsultats incomplets. Il

existe les cas que le systme narrive pas suivre le mouvement ou prend
des dcisions imprcises. Notre travail focalise sur la rparation on-line des
trajectoires perdues pendant le processus du suivi.

Dans notre approche, nous utilisons l'apprentissage afin d'extraire

automatiquement la smantique de la scne. Nous proposons galement
une mthode pour calculer la valeur de fiabilit des trajectoires. Cette
valeur est utilise pour filtrer les bruits avant le processus d'apprentissage.
Seules les trajectoires typiques sont utilises dans la phase de formation et
pour modliser la scne. Pour pouvoir modliser les scnes complexes ou
les scnes o il ny a pas clairement les routes, lobjet que nous modlisons
dans cette recherche, nest ni un chemin, ni une route mais une zone. Grce
la modlisation de la scne, on peut dtecter et rparer les trajectoires
incompltes. Pour vrifier lefficacit de lalgorithme, chaque trajectoire
est assigne une valeur de fiabilit. Lexpression de cette valeur est une
fonction des caractristiques qui estiment la vrit des trajectoires. Plus une

7
trajectoire est complte et plus sa valeur de fiabilit est grande. En
calculant la somme des valeurs de fiabilit des trajectoires avant et aprs
lintgration de lalgorithme pour la rparation, on peut valuer leffet de
lalgorithme.

1.3 Contribution

Le stage obtient quelques rsultats qui sont intgrs dans la plate-

forme de lquipe. Tout dabord, on a construit un ensemble des
caractristiques qui estime la vrit dune trajectoire. Grce cet ensemble,
on peut dterminer une trajectoire, qui peut tre un bruit ou non. On a
trouv une nouvelle approche pour modliser une scne. Notre mthode est
gnrale, lobjet tudi pour la modlisation nest pas des chemins et des
routes comme les recherches prcdentes, mais des zones. On arrive aussi
dtecter lapparition anormale des objets dans la scne et rparer les
trajectoires qui sont perdues durant le suivi.

1.4 Environnement de Stage

Le stage se droule dans lquipe PULSAR (Perception

Understanding Learning System Activity Recognition, http://www-
sop.inria.fr/pulsar) de lINRIA Sophia Antipolis. PULSAR se focalise sur
la reconnaissance des activits. Plus prcisment, PULSAR sintresse
l'interprtation smantique et en temps rel des scnes dynamiques
observes par des capteurs. Ainsi, PULSAR tudie des activits spatio-
temporelles long terme effectues par des tres humains, des animaux ou
des vhicules. Lobjectif de ce stage est damliorer lalgorithme de suivi
des mouvements dans des vidos qui a t dvelopp dans la plate-forme
VSUP de lquipe. Lalgorithme propos a t expriment sur les vidos

8
du projet CARETAKER (www.ist-caretaker.org) qui surveillent les stations
de mtro.

Le reste du document est organis de la manire suivante. Le

chapitre 2 introduit dabord un tat de lart des travaux concerns. Dans le
chapitre 3, une description du systme global est prsente. Le chapitre 4
dcrit le contenu principal de ce rapport. Les tapes de lalgorithme
propos qui comprennent la phase dapprentissage et la phase de test,
seront prsentes et expliques. Le chapitre 5 fournit les rsultats de la
phase dexprimentation et de la validation qui permettent dillustrer
lintrt de la mthode prsente. Le dernier chapitre prsentera la
conclusion, ainsi que les propositions pour amliorer notre algorithme pour
mieux rparer les trajectoires.

9
 CHAPITRE II
ETAT DE LART

2.1 Dtection et Suivi du Mouvement

2.1.1 Dtection du mouvement

Pour pouvoir suivre les mouvements dans la vido, la premire tape

est de dtecter les mouvements. Cette tape joue un rle trs important dans
le systme de vido surveillance car le rsultat de cette tape va influencer
toutes les tapes suivantes. Dans cette partie, on va tudier deux mthodes
pour dtecter le mouvement. Lide principale de ces deux mthodes est de
comparer la diffrence pixel par pixel entre deux images. Les rgions qui
ont la grande diffrence sont les rgions de lobjet mobile.

Le premier est bas sur le calcul dun gradient temporel : une mesure
de vraisemblance du mouvement est fournie par le changement instantan
calcul entre deux trames conscutives [4, 9, 17]. Ces mthodes sont
naturellement adaptables aux changements denvironnements, mais sont
aussi dpendantes de la vitesse et de la taille des objets en mouvement. Ce
dfaut peut tre minimis en utilisant des combinaisons de filtres spatio-
temporelles mais au prix dune complexit croissante.

Le second est bas sur des techniques de diffrence au fond [7, 12,
14] qui utilise une image de rfrence (le fond), reprsentant les lments
stationnaires de la scne (voir la figure 2.1). Ici la mesure de vraisemblance
du mouvement est la diffrence entre la trame courante et le fond. Ces
mthodes sont moins dpendantes de la vitesse et de la taille des objets.
Cependant, ladaptation aux environnements dynamiques est une tche bien

10
plus ardue, pnalisant la dtection des mouvements de faible amplitude
(des objets petits, trs lents ou trs peu contrasts).

Dans [10] lauteur a prsent plusieurs mthodes pour crer limage

de fond :

- Calculer de moyenne de N premires images.

- Choisir limage qui a peu de changement de scne ou quil ny a

pas dobjet mobile pour limage de fond.

- Choisir la premire image dans la squence de vido.

Fig 2.1 Illustration de la diffrence dimages pour dtecter le mobile.

Source [2]

2.1.2 Suivi du Mouvement

Dans le suivi du mouvement, le filtre de Kalman est une mthode de

prdiction intresse par plusieurs chercheurs [1, 2, 6, 18]. Un filtre de
Kalman est essentiellement un ensemble d'quations rcursives, elles sont
utilises ensemble pour aider modliser et valuer trs prcisment le
mouvement d'un systme dynamique linaire. Le filtre de Kalman est
appel discret parce que l'algorithme est discret dans le temps. En
utilisant une multitude de diffrents vecteurs et des matrices, le filtre de

11
Kalman est capable de construire une reprsentation interne du systme et
grce cette reprsentation, on peut estimer l'tat futur du systme. Les
filtres sont modliss en utilisant une chane de Markov. Dans le filtrage de
Kalman, les quations dcrivent l'tat du systme temps successifs, grce
ces quations on peut prdire l'tat futur en utilisant l'tat actuel sans
dpendre des tats antrieurs dans les calculs.

Dans le processus du suivi, le filtre Kalman regarde un objet quand

il se dplace, cest dire il prend les informations sur ltat de lobjet ce
moment-l. Puis il utilise ces informations pour prdire o se trouve lobjet
dans la trame prochaine. La position de lobjet est corrige ensuite en
considrant la prdiction et aussi lobservation (voir la figure 2.2).

New Measurement

Predict Correct

Initial Seed

Figure 2.2 Le cycle rcursif de Kalman

(Source [13])

2.2 Amlioration de lAlgorithme de Suivi

Il existe peu de recherches visant la rparation et l'amlioration de la

piste d'objets dans des vidos [1, 16, 18, 19]. Dans [18] les auteurs
proposent d'utiliser de filtre de Kalman combin avec des techniques

12
d'optimisation pour les donnes d'association afin de filtrer et de mieux
grer les occlusions et les mouvements non-linaire. Lensemble des
caractristiques de la trajectoire courante est obtenu en optimisant la
somme des distances de Mahalanobis entre les prvisions et les mesures
correspondantes. Dans [16], une mthode pour suivre les objets en
mouvement est prsente, en utilisant des partical filters pour estimer
l'tat des objets, en se basant sur la probabilit d'association des filtres de
donnes. Les auteurs dans [19] proposent d'utiliser un modle pour grer
les caractristiques suivies. Chaque tat de caractristique de trajectoire est
assign une valeur de fiabilit. Cette valeur aide distinguer entre
locclusion et la disparition dun objet. Toutefois, la valeur de fiabilit est
calcule par des caractristiques simples (nombre de fois o un objet est
correctement suivi) et ne peut pas dtecter les bruits. Tous ces travaux
numrs ci-dessus ont obtenu des premiers rsultats mais dans les cas
prcdents, on ne considre pas encore des situations docclusions
complexes et longues.

Pour rsoudre le problme d'occlusion, des recherches [11, 15] ont

focalis sur la modlisation de la scne afin d'amliorer l'algorithme de
suivi. L'ide principale consiste exploiter des informations intressantes
de la scne telles que: les positions, les directions des chemins, les zones
sensibles dans la scne o le systme peut perdre la piste des objets avec
une haute probabilit, les zones o des objets mobiles apparaissent et
disparaissent souvent Ces lments peuvent aider le systme prdire
mieux la trajectoire des objets. Il existe deux mthodes pour modliser une
scne, soit en utilisant les techniques d'apprentissage, soit la main. Avec
l'apprentissage automatique, le cot de la modlisation est faible, mais
l'algorithme de modlisation doit assurer la qualit et la prcision du

13
modle construit. Par exemple, les auteurs dans [15] ont prsent une
mthode pour modliser les chemins de la scne base sur les trajectoires
dtectes. Un graphe est construit afin de reprsenter la structure de routes
modlises dans la scne. La construction des chemins est effectue
automatiquement par les techniques dapprentissage non supervis, bases
sur le clustering des trajectoires. Toutefois, cette mthode ne peut tre
applique que dans des scnes simples o il existe clairement des routes.
Les critres pour valuer les bruits se basent dans la plupart des cas sur la
dure des trajectoires. Fernyhough et al [11] utilisent le mme modle pour
apprendre automatiquement les chemins des objets grce laccumulation
des traces des objets suivis. Cette mthode est non supervise et dauto-
initialisation. Toutefois, cette mthode exige les trajectoires compltes, elle
ne gre pas les occlusions et les rsultats sont dpendants de la forme et de
la taille des objets, car ils sont dtects sur le plan 2D.

2.3 Conclusion

Dans ce chapitre, on a prsent les travaux qui concernent le suivi et

lamlioration du suivi du mouvement dans la vido. Dans notre approche,
nous voudrions exploiter la smantique de la scne pour rparer le suivi des
objets mobiles. Les recherches antrieures pour cette approche ne donnent
pas beaucoup de rsultats clairs, il nous manque une mthode gnrale pour
modliser tous les types de scne dans le but de suivi du mouvement. Dans
ce rapport, nous allons prsenter une mthode pour rparer les trajectoires
perdues suivi laide de la modlisation de la scne. Nous visions une
mthode gnrale qui peut modliser plusieurs types de scne et qui
nexige pas beaucoup de connaissances pralables de la scne.

14
 CHAPITRE III
PRESENTATION DU SYSTEME
DINTERPRETATION DE VIDEO
Le module Vision qui est le noyau du systme, comprend trois tches
(voir la figure 3.1). Tout d'abord, un dtecteur du mouvement (Motion
Detector) et un frame to frame tracker crent un graphe d'objets mobiles
pour chaque camra calibre. Deuximement, un mcanisme de
combinaison est ralis pour combiner les graphes calculs par chaque
camra en un graphe global. Troisimement, ce graphe global est utilis
pour le suivi des individus, des groupes de personnes et les foules dans la
scne (pendant centaines de trames).

Ici, nous utilisons les modles de 3D de la scne, chaque modle est

dfini pour chaque camra, considr comme les connaissances pralables
du contexte de la scne observe. Plus clairement, nous dfinissons les
positions 3D et les dimensions 3D des objets statiques dans la scne (par
exemple un banc, un distributeur automatique de billets) et les zones
d'intrt (par exemple une zone d'entre). Les attributs smantiques (par
exemple fragile) peuvent tre associs aux objets ou zones d'intrt pour
tre utiliss dans le processus de reconnaissance des comportements.

Fig 3.1 Systme dinterprtation de vido

Source [8]

15
3.1 Dtection du Mouvement et Suivi Trame par Trame

L'objectif du Dtecteur du mouvement est de dtecter les rgions de

la scne en mouvement chaque trame et de les classifier dans une liste
d'objets mobiles avec des tiquettes correspondantes leur type,
PERSON par exemple. Cette classification est base sur leur taille 3D.
Cette tche peut tre divise en trois sous-tches: dtection d'objets
mobiles, extraction des caractristiques et classification des objets mobiles.
Une liste des objets mobiles est obtenue chaque trame. Chaque objet
mobile est dcrit par des paramtres numriques 3D (centre de gravit,
position, hauteur, largeur...) et est classifi une classe smantique
(PERSON, OCCLUDED PERSON, GROUP, CROWD, METRO TRAIN,
SCENE OBJECT, NOISE or UNKNOWN).

L'objectif de frame to frame tracker (F2F Tracker) est de lier trame

par trame la liste des objets mobiles calculs par le dtecteur du
mouvement. La sortie de cette tche est un graphe d'objets mobiles. Ce
graphe fournit toutes les trajectoires possibles quun objet mobile peut
suivre. Le lien dun objet mobile entre les trames est considr sur trois
critres: la similitude entre leurs classes smantiques, leurs distance 2D
(dans l'image) et leur distance 3D (dans le monde rel).

3.2 Combinaison de Multiples Camras

Afin dexploiter les avantages des camras calibrs surveillant la

mme scne (la vision de ces camras se superposent), nous combinons
tous les graphes des objets mobiles calculs par le F2F Tracker pour
chaque camra un graphe global qui est appel Graphe Combin
(Combined Graph). En consquence, les caractristiques (les positions 3D

16
et les dimensions) des objets mobiles calcules dans le graphe combin
donnent une meilleure estimation des positions et des dimensions des
objets rels dans la scne.

Pour calculer le graphe global, nous combinons chaque trame les

objets mobiles nouveaux dtects par deux camras en utilisant une matrice
combine et un ensemble de rgles (voir l'illustration sur la figure 3.2). La
matrice combine donne les correspondances entre les objets mobiles
dtects par deux camras en utilisant les critres de position 3D et de taille
3D. Dans le cas d'aucune ambigut entre les objets mobiles dtects par les
deux camras, on fusionne les objets mobiles en calculant la valeur
moyenne des caractristiques 3D. En cas d'ambiguts, un ensemble de
rgles est utilis pour slectionner ou liminer l'objet mobile dtect par un
des deux camras.

Fig 3.2

Source [8]

17
3.3 Suivi long terme des individus, groupe de personnes et la foule

L'objectif ici est de suivre sur une longue priode de temps les
individus, les groupes de personnes ou de la foule afin de permettre aux
scnarios concerns ces trois diffrents types d'acteurs dtre reconnu. Par
exemple, lorsque l'on veut dtecter un groupe de personnes (au moins deux
personnes) qui est en train de bloquer une zone de sortie, cest mieux
logique de raisonner avec le Group Tracker, car il fournit plus
prcisment la location 3D du groupe de personnes dans la scne.

Le Individual Tracker ralise le suivi de chaque personne pendant

que le group tracker ralise le suivi de toutes les personnes dans le mme
groupe. Tous les deux trackers effectuent les analyses temporelles. Le
Individual tracker calcule et slectionne les trajectoires des objets mobiles
qui sont correspondantes une personne relle laide du modle explicite
trajectoire dune personne. De la mme faon, le Groupe Tracker calcule
et slectionne les trajectoires des objets mobiles qui peuvent correspondre
aux personnes dans un groupe rel grce un modle explicite trajectoires
des personnes dans un groupe.

Individual Trackers et Group Trackers sont excuts en parallle.

Lorsque la densit des objets mobiles dtects devient trop lev (en
gnral, si les objets mobiles superposent plus de 2/3 de l'image), nous
arrtons ces deux trackers parce que dans un tel cas, ils ne peuvent pas
donner des rsultats fiables. En ce moment-l, on dclenche Crow
Tracker qui est en fait lextension des modles de trajectoires dans le
Group Tracker qui permet une grande densit des personnes dtectes
appartenant au mme groupe.

18
 CHAPITRE IV
REPARATION DES TRAJECTOIRES
PAR CLUSTERING DE POINTS

Ce chapitre prsente le contenu principal du rapport. Lobjectif de

notre travail focalise sur lamlioration de lalgorithme de suivi du systme.
Notre approche est de rparer les trajectoires que le systme perd le suivi
grce au processus de lapprentissage.

4.1 Notre Approche

Pour rsoudre les problmes poss par les travaux antrieurs, dans
notre approche, nous proposons exploiter la smantique de la scne grce
lapprentissage supervis. La phase de modlisation de la scne qui ne
doit pas exiger beaucoup de connaissances pralables de la scne et doit
tre ralise automatique. Nous cherchons une mthode qui peut modliser
plusieurs types de scnes. Pour cela, au lieu de construire et reprsenter
prcisment les routes ou les chemins dans la scne, nous proposons une
mthode plus gnrale. La scne ici est modlise par les triplets de zones.
Chaque triplet de zones peut reprsenter plusieurs routes diffrentes de la
scne. Le filtre des trajectoires est aussi considr pour liminer les bruits.
Cest pour cela que seules les trajectoires typiques sont utilises pour
apprendre la scne. Le rsultat de la phase de modlisation est donc
meilleur. Lorsque la modlisation de la scne est finie, on peut dtecter la
perte du suivi et rparer les trajectoires incompltes.

19
4.2 Caractristiques dune trajectoire

Ici, nous utilisons les trajectoires obtenues par un algorithme pour le

suivi du mouvement comme les entres [3]. Nous voudrions filtrer les
bruits, seules les trajectoires compltes sont utilises pour la phase
dapprentissage. Pour cela, nous dfinissons la valeur de fiabilit dune
trajectoire. Plus la valeur de fiabilit de la trajectoire est grande et plus
cette trajectoire est complte. Cette valeur est calcule grce aux
caractristiques extraites des trajectoires. Nous proposons de dfinir 9
caractristiques:
1. Caractristique entry zone est active quand lobjet entre dans la scne
par une zone dentre, zone autour de la porte par exemple.

2. Caractristique exit zone est active quand lobjet sort de la scne par
une zone de sortie.

Ici, les zones dentres et zones de sortie sont dj dtermines la

main avant le processus de lapprentissage. Ce sont les connaissances
pralables.

3. Time: la dure de la trajectoire.

4. Length: la longueur spatiale de la trajectoire.
5. Nombre de fois que lobjet mobile est classifi dans la classe Personne.
Cette classification se base sur la dimension 3D et un modle d'objet
Personne 3D prdfini. Ce nombre est directement proportionnel sa
valeur de fiabilit.
6. Nombre de fois que le systme perd le suivi de cette trajectoire.
7. Nombre de voisins dobjet mobile quatre instants spciaux. Ici, nous
comptons le nombre d'objets mobiles proches de lobjet considr quand il
est (1) dtect pour la premire fois, (2) perdu, (3) trouv (si dj perdu) et
(4) lorsque la trajectoire se termine. Cette caractristique est utilise pour

20
valuer le potentiel d'erreur lors de la dtection d'un objet. Plus ce nombre
est grand, plus la fiabilit de la trajectoire est petite.
8. Nombre de fois que lobjet mobile change de sa taille. Ce changement se
base sur un seuil de variation dimensionnel prdfinie. Le changement de
taille dun objet mobile qui est trop grande, pnalisera la valeur de fiabilit
de sa trajectoire.

9. Nombre de fois que lobjet mobile change de directions spatiales. Dans

les stations de mtro, les personnes se dplacent normalement tout droit
pour aller ses arrives. Lorsque cette caractristique est leve, la valeur
de fiabilit de trajectoire est faible.

Ces neuf caractristiques dfinies ci-dessus sont utilises pour

caractriser la fiabilit dune trajectoire dtecte. Comme ces neuf
caractristiques sont multimodales, lunit de time est temporelle, lunit
de length est spatiale, celle de 5 9 est le nombre de fois, une phase de
normalisation pour ces caractristiques est ncessaire. La valeur de fiabilit
dune trajectoire est seulement calcule par les valeurs des caractristiques
aprs avoir normalis. Les valeurs des caractristiques 5 et 8 sont
normalises par la dure de la trajectoire correspondante. Les
caractristiques 1 et 2 sont booliens: 0 (non activ) ou 1 (activ). La
valeur des autres caractristiques (3, 4, 6, 7 et 9) sont normalises comme
suit:

FVi i
fi = i . (1)

o,

fi: la nouvelle valeur de caractristique i aprs normalisation

FVi: la valeur de caractristique i o i = {3,4,6,7,9}

21
i : la valeur moyenne de caractristique i pour toutes les trajectoires
traites pendant la phase dapprentissage

i : la variance de caractristique i pour toutes les trajectoires traites

pendant la phase dapprentissage

La valeur de fiabilit d'une trajectoire est calcule par la formule

suivante:

5 9
CV = ( wi * f i ) + ( wi * (1 f i )) (2)
.
i =1 i=6

o,
CV (confidence value) : la valeur de fiabilit de trajectoire considre
wi (weight) : le poids (importance) de la caractristique i (voir la section 4.2
pour dtails)
fi : la valeur de caractristique i, aprs normalisation

Les 5 premires caractristiques sont les caractristiques directement

proportionnelles la valeur de fiabilit, les dernires caractristiques sont
inversement proportionnelles la valeur de fiabilit.

4.3 Dterminer les Poids des Caractristiques par lAlgorithme

Gntique et lApprentissage

On a au total neuf caractristiques pour qualifier la fiabilit dune

trajectoire. Clairement, les caractristiques diffrentes ont des niveaux
dinfluences diffrents sur la trajectoire. On qualifie linfluence dune
caractristique par la notion poids. Le poids dune caractristique
reprsente limportance de la caractristique dans sa contribution pour la
valeur de fiabilit de la trajectoire. Le problme pos est de dterminer les
poids des neuf caractristiques de la trajectoire. Dans notre approche, nous

22
utilisons lapprentissage supervis combin avec lalgorithme gntique
pour rsoudre ce problme.

Tout d'abord, on prend les caractristiques de 300 premires

trajectoires dans une vido. A chaque trajectoire, on assigne la valeur
Ground Truth aprs lavoir observe. La notion Ground Truth indique la
valeur globale de fiabilit dune trajectoire et est assigne la main. Cette
valeur est dans lintervalle [0,1]. Nous dfinissons quatre niveaux pour
classifier les trajectoires dans quatre classes :

- trajectoires compltes : Ground Truth 0.8

- trajectoires incompltes : ne commencent pas ou ne se terminent pas dans
une zone dentre/sortie, 0.5 Ground Truth < 0.8
- trajectoires peu fiables : ne commencent pas et ne se terminent pas dans
une zone dentre/sortie, 0.2 Ground Truth < 0.5
- bruits : ne sont pas la trajectoire d'une personne, Ground Truth < 0.2

Le problme rside dans lapprentissage des poids des

caractristiques pour optimiser la correspondance entre la valeur de
Ground Truth et celle de fiabilit de la mme trajectoire calcule par les
poids. Il existe des mthodes qui sont utilises pour apprendre les poids,
recuit simul par exemple. Dans notre approche, nous choisissons
lalgorithme gntique parce quil conomise le cot temporel (on a
totalement jusque neuf caractristiques) et il est relativement efficace.

4.3.1 Mutation et Cross-Over pour lAlgorithme Gntique

Dans lalgorithme gntique, il y a trois notions importantes quil

faut aborder. Ce sont individu et deux oprateurs Mutation, Cross-
Over. En gnral, un individu est une proposition dune solution pour le
problme considr. Le terme Mutation exprime une transformation sur

23
lui-mme, alors que celui Cross-Over sexplique par un change des
valeurs entre les deux individus. A chaque contexte, ces trois termes
reprsentent des notions smantiques diffrentes.

Pour ce problme, on appelle un individu un ensemble de neuf

valeurs reprsentant les poids de neuf caractristiques de la trajectoire
apprise. Correspondant chaque individu et chaque trajectoire, on peut
calculer une valeur de fiabilit.

Fitness de chaque individu reprsente la somme des diffrences entre

la valeur de Ground Truth de chaque trajectoire et la valeur de fiabilit
calcule par cet individu (de mme trajectoire). Plus clairement, la valeur
de fitness est calcule par la formule suivante :
300
= GT (i ) CV (i ) .
(3)
i =1

o,

: fitness de lindividu considr

GT(i ) : Valeur de Ground Truth de la trajectoire i

CV(i) : Valeur de fiabilit de la trajectoire i calcule par les poids (individu)

considr

Plus le fitness de lindividu est petite, plus lindividu est bon. Afin
d'explorer les distributions diffrentes des individus, nous dfinissons deux
oprateurs Mutation et Cross-Over comme suit. La mutation se passe
avec une probabilit de 30%. Ds quun individu est slectionn pour la
mutation, une position dans lensemble de poids des caractristiques est
choisie au hasard. Toutes les valeurs de cet individu partir de cette
position jusqu' la fin seront modifies par de nouvelles valeurs alatoires

24
 (voir la figure 4.1).

0.20 0.15 0.10 0.10 0.20 0.15 0.05 0.00 0.05

0.20 0.15 0.10 0.10 0.20 0.05 0.20 0.05 0.15

Fig 4.1. Illustration doprateur Mutation

La transformation Cross-Over est effectue pour chaque individu

avec une probabilit de 80%. Deux individus sont slectionns pour
changer leur poids. Une position de caractristique est choisie au hasard
pour tous les deux individus. Toutes les valeurs de poids de ces deux
individus de cette position jusqu' la fin seront changes (voir la figure
4.2).

0.20 0.15 0.20 0.10 0.10 0.15 0.05 0.00 0.05 0.10 0.10 0.10 0.10 0.30 0.05 0.10 0.10 0.05

0.20 0.15 0.10 0.10 0.30 0.05 0.10 0.10 0.05 0.10 0.10 0.20 0.10 0.10 0.15 0.05 0.00 0.05

Fig 4.2. Illustration doprateur Cross-Over

Aprs les transformations des oprateurs telles que mutation ou

cross-over, la somme des poids dun individu peut tre plus ou moins gale
1. Une phase de normalisation est ncessaire pour assurer toujours cette
somme gale 1. Pour faire cela, chaque poids sera remplac par son
pourcentage par rapport aux nouvelles valeurs de poids.

25
 PGN
i
Pi = 9 .
(4)
P
i=1
GN i

o :

Pi : le nouveau poids de caractristique i aprs avoir normalis

PGNi : le poids de caractristique i obtenu aprs avoir transform Mutation

ou Cross-Over

4.3.2 Algorithme gntique

On cre la premire gnration qui se compose de 5000 individus.

Pour chaque gnration, on ralise les transformations cross-over et
mutation en ordre avec les probabilits dj dfinies pour crer les
nouvelles gnrations. A chaque fois quune nouvelle gnration est cre,
le meilleur individu de cette gnration sera compar au meilleur individu
obtenu dans les gnrations prcdentes. Lindividu qui a le fitness le
moins important, sera pris pour continuer lalgorithme (voir la figure 4.3).
Ce processus est ralis jusquau fitness de meilleur individu ou le nombre
de gnration cre infrieurs un seuil donn. Alors, cet individu est
choisi la solution du problme.
Crer une Transformer Transformer
population initiale cross-over mutation

Comparer le meilleur
Mettre jour le individu de nouvelle Calculer fitness
Si le nouveau
meilleur individu est meilleur gnration avec le meilleur des individus
courrant. individu jusqu la dernire
gnration

Fig 4.3. Les pas de ralisation dalgorithme gntique

26
4.4 Types de Zones Utilises dans la Scne

Dans notre recherche, nous voudrions exploiter la smantique de la

scne. Daprs ce qui a t prsent prcdemment, il y a des recherches
qui focalisent sur la modlisation de la scne [11,15]. La plupart de ces
recherches utilisent des techniques diffrentes pour trouver les routes et les
chemins dans la scne. Ces lments seront utiliss pour dtecter les
activits anormales Cependant, il y a des scnes qui nexistent pas
clairement les routes, la station de mtro par exemple. Dans ce cas l,
lapproche ci-dessus ne marche pas. Pour rsoudre ce problme, au lieu de
modliser les chemins, nous proposons de modliser les zones spciales de
la scne. Voil les dfinitions des types de zones que nous nous
intressons :

- entry zone (zone dentre) : zone o l'objet peut entrer dans la scne.
- exit zone (zone de sortie) : zone o l'objet peut quitter de la scne.
- IO zone (zone dentre/sortie): zone o l'objet peut entrer et galement
quitter de la scne.
- lost zone : zone qui n'est pas un exit zone ou un IO zone, o on perd
souvent le suivi de l'objet.
- found zone : zone, qui n'est pas une entry zone ou une IO zone, o
on retrouve souvent le suivi de l'objet.
- lost-found zone : zone a tous les deux caractristiques lost et found.

Dans les deux figures 4.4 et 4.5, on peut voir deux illustrations de la
description des diffrents types de zone.

27
<Zone ident="9" name = "ZoneIOLeftTop" plane_name =
"ground">
<Properties_list>
<Property name = "In_out_zone:Entry"/>
</Properties_list>
<Outline_list>
<Point x="-830.0" y="-350.0" z = "0"/>
<Point x="-300.0" y="-350.0" z = "0"/>
<Point x="-300.0" y="-100.0" z = "0"/>
<Point x="-830.0" y="-100.0" z = "0"/>
</Outline_list>
</Zone>
Fig 4.4 Description dune entry zone

<Zone ident ="2" name = "ZoneLearning0" plane_name =

"ground">
<Properties_list>
<Property name = "Lost_found_zone:Yes"/>
</Properties_list>
<Outline_list>
<Point x="-2046.000000" y = "12.000000" z="0" />
<Point x="-2046.000000" y = "778.000000" z="0" />
<Point x="-1402.000000" y = "778.000000" z="0" />
<Point x="-1402.000000" y = "12.000000" z="0" />
</Outline_list>
</Zone>
Fig 4.5 Description dune lost-found zone

Les balises <Properties_list> </Properties_list> sont utilises pour

dcrire les caractristiques de la zone, lost ou found zone par exemple.

Les balises <Outline_list> </Outline_list> sont utilises pour dcrire les

bords de la zone.

4.5 Apprentissage des Zones

Daprs ce qui a t prsent dans la section prcdente, on dfinit

plusieurs de types de zones diffrents. Chaque type a une mthode de
construction spcifique. Les entry zone, exit zone et IO zone sont
construits manuellement. Par contre, les lost zone, found zone et lost-
found zone sont construits automatiquement en appliquant le processus de

28
lapprentissage. Pour dterminer ces zones, on lance le processus de suivi
et on rcupre les donnes. Les coordonnes o le systme perd ou retrouve
le suivi des personnes, sont marques. Les positions o on perd le suivi
sont groupes en lost zone. Par contre les positions o on retrouve le
suivi, sont groupes en found zone. Un processus de clustering bas sur
les positions 3D des personnes dans la scne est ralis. Dans notre
approche, nous choisissons lalgorithme Kmean pour le clustering.

Les rsultats du processus clustering des lost zones sont affichs

dans la figure 4.6.

Fig 4.6. Rsultat de clustering des 8 lost zones.

Chaque couleur reprsente chaque cluster.

Aprs le clustering, on va dterminer les bords de chaque cluster et

utiliser les syntaxes dfinies (voir les illustrations dans les figures 4.4 et
4.5) pour dfinir les zones trouves.

Dans la figure 4.7, les bords des lost zones sont colors en jaune,
les bords rouges reprsentent les entry zones, exit zones et IO zones.

29
 Fig 4.7 Reprsentation des clusters par les polygones.
Les polygones jaunes reprsentent les bords des lost zones qui
sont le rsultat de lapprentissage

4.6 Calcul des Triplets de Zones

Un triplet de zones est une structure pour aider le systme rparer

les trajectoires perdues le suivi. Le principe du processus de rparation des
trajectoires est dutiliser les trajectoires compltes pour rparer les
trajectoires similaires mais incompltes. Les triplets de zones sont
construits pour reprsenter les chemins dans la scne qui sont crs par les
trajectoires compltes. Une trajectoire complte est une trajectoire dont la
valeur de fiabilit est suprieure un seuil donn, et qui commence une
start zone ou IO zone.

Un triplet de zones est un ensemble de 5 valeurs (start Tzone, lost

Tzone, found Tzone, temps minimal, temps maximal). La start Tzone est
une entry zone ou IO zone o les trajectoires commencent. La lost
TZone est la premire lost zone ou la premire lost-found zone o les
trajectoires compltes passent. La found Tzone est la premire found
zone ou lost-found zone o les trajectoires compltes passent juste aprs

30
avoir pass la lost Tzone. La Found Tzone doit seulement tre cherch
quand lobjet a quitt de son lost Tzone (voir la figure 4.8). Le temps
minimal est assign la diffrence entre linstant o lobjet entre dans la
found Tzone et celui o lobjet quitte de lost Tzone. Le temps
maximal est gal la diffrence entre linstant o lobjet quitte de la
found Tzone, et celui o lobjet entre dans la lost Tzone.

Found Zone 3

Lost Zone 1

Lost Zone 2

Entry Zone 1 1

Entry Zone 2

Fig 4.8 Illustration de cration dun triplet de zones.

Trajectoire 1 qui est une trajectoire complte, passe successivement par trois
zones entry, lost et found zone. Alors on cre un triplet de zone <entry
zone 2, lost zone 2, found zone 3, Mi1, Ma1>. Par contre la troisime zone o
la trajectoire 2 passe, nest pas une found zone, on ne peut pas crer un
triplet de zone avec cette trajectoire.

Seules les trajectoires compltes, qui passent successivement le start

Tzone, lost Tzone et found Tzone, sont utilises pour construire un
triplet de zones. Tous les triplets de zones sont classs par le nombre des
trajectoires passant par eux-mmes.

Un triplet de zones qui possde un nombre de trajectoires important,

sera class avec rang de priorit lev. Si un triplet de zones est pass par

31
plusieurs trajectoires, le temps minimum et le temps maximum sont
calculs comme la valeur moyenne de temps minimum et de temps
maximum de ces trajectoires. La section suivante prsentera comment les
triplets seront utiliss pour rparer les trajectoires perdues durant le suivi.

4.7 Rparer les Trajectoires Perdues

La mission du processus de la rparation des trajectoires est de

dtecter la perte du suivi des trajectoires, de chercher et de fusionner les
parties perdues de ces trajectoires. Les trajectoires qui sont fusionnes pour
la rparation, doivent assurer la compatibilit de la direction. Cette
compatibilit est trane grce lapprentissage des trajectoires compltes.
A la fin de la section prcdente, on a obtenu des triplets de zones. Quand
le systme dtecte un objet qui apparat dans une location anormale (qui
nest pas un entry zone ou un IO zone), on va vrifier sil apparat dans
une found zone ou dans une lost-found zone ZF. Si cest vrai, on va
parcourir dans tous les triplets dfinis pour chercher le triplet avec found
Tzone ZF, <ZS, ZL, ZF, Mi, Ma> par exemple. Sil y a plusieurs triplets
trouvs, le systme va choisir le triplet dont la priorit est la plus haute. Le
systme va chercher ensuite la trajectoire perdue qui commence ZS et
perd ZL ; lintervalle temporelle entre linstant o lobjet est perdu le
suivi jusqu linstant actuel est suprieur Mi et infrieur Ma. Une fois
quune trajectoire est trouve, le systme va fusionner cette trajectoire avec
lobjet qui vient dtre dtect.

La figure 4.9 est une illustration de lalgorithme de rparation. La

personne P est dtecte dans la found zone 3. Il y a deux triplets <entry
zone 1, lost zone 1, found zone 3, Mi1, Ma1> et <entry zone 2, lost zone 2,
found zone 3, Mi2, Ma2> dans la base de donnes. On a deux trajectoires 1

32
et 2 qui ont commenc respectivement entry zone 1 et entry zone 2 et
qui ont t perdues le suivi lost zone 1 et lost zone 2. On suppose que
la priorit du deuxime triplet est plus importante que la premire. Alors le
systme va choisir la deuxime trajectoire qui va tre la trajectoire perdue
de la personne P.

Found Zone 3

Lost Zone 1

Lost Zone 2

Entry Zone 1 2

Entry Zone 2

Fig 4.9 Illustration de lalgorithme de rparation des trajectoires.

Personne P apparat found zone 3. Il y a deux triplets <entry zone 1, lost
zone 1, found zone 3, Mi1, Ma1> et <entry zone 2, lost zone 2, found zone 3,
Mi2, Ma2>, deux trajectoires 1 et 2 perdues le suivi lost zone 1 et lost
zone 2. Le deuxime triplet a la priorit plus haute. Alors la fusion entre la
deuxime trajectoire et la personne P est ralise.

33
 CHAPITRE V
EXPERIMENTATION ET VALIDATION

La phase dexprimentation est teste dans les vidos du projet

Europen CARETAKER (http://www.ist-caretaker.org). Le but de ce projet
est de suivre les mouvements et de reconnatre les activits des personnes
dans les stations de mtro. Ce type de vido est vraiment intressant parce
que le mouvement des personnes est divers. Il ny a pas clairement les
chemins et les personnes peuvent se dplacer partout. Cest pour cela que
lexploitation de la smantique de la scne est trs difficile et exige les
techniques de lapprentissage. Dans la phase dapprentissage, nous avons
ralis lalgorithme clustering dans une vido dune dure de cinq heures.
Seules 23 trajectoires ont t choisies pour construire les triplets et 12
triplets sont trouvs. Dans la phase de test, le systme a dtect 340 cas qui
peuvent tre rpares par lalgorithme propos. C'est--dire 680 trajectoires
sont dj fusionnes aprs la rparation. Pour valuer lefficace de
lalgorithme, nous avons calcul la valeur de fiabilit avant et aprs la
fusion des trajectoires. Dans 340 cas dtects, il y a jusqu 337 cas o la
valeur de fiabilit augmente. Cependant, il y a quelques cas qui montrent
que le systme ralise une fusion imprcise. Lerreur se passe quand le
systme perd le suivi de plusieurs trajectoires en mme temps mais dans les
triplets diffrents. Dans ce cas, lobjet perdu va tre associ avec la
trajectoire perdue qui se trouve dans le triplet ayant la priorit la plus
leve. Cela peut entraner parfois une fusion incorrecte (voir la figure 4.8
et on suppose que si la trajectoire 1 est la trajectoire dans le pass de la
personne P, alors le systme a mal rpar dans ce cas).

34
 Les trajectoires dont la valeur de fiabilit est infrieure un seuil
donn, sont les bruits. Le systme arrive filtrer 4550 cas sur 8394
trajectoires, quivalents 54.2%, qui sont les bruits. Aprs la rparation, ce
nombre est 4481. Les bruits sont dfinis comme les trajectoires des objets
mobiles qui ne sont pas des personnes (voir la section 4.3). Toutefois, la
phase de dexprimentation a montr que ce sont la dure et la longueur
dune trajectoire qui possdent les poids importants pour lexpression de la
valeur de fiabilit. En consquence, les trajectoires dont la longueur est
courte, mme des personnes qui sont galement classifies dans la classe
bruits. Cest pour cela que, non seulement les trajectoires incompltes
sont rpares, mais aussi les bruits ont une capacit dtre rpars et seront
classifis dans la classe trajectoires incompltes plus tard.

Dans le tableau 5.1 on voit une rsum des donnes dans les deux
cas : appliquer et sans appliquer lalgorithme de rparation des trajectoires.
Aprs avoir rpar 340 cas, le nombre des trajectoires diminue clairement
340. Dans la colonne droit (Appliquer la rparation), on peut constater
quil y a une augmentation de nombre des trajectoires compltes et une
diminution de nombre des trajectoires incompltes et de bruits. Aprs la
rparation, le nombre des trajectoires compltes augmente 37, le nombre
des bruits diminue 69. Le changement le plus important entre les deux cas
rside dans la classe Trajectoires incompltes. Dans cette classe, on voit
une diminution jusqu 308 trajectoires. Cela sexplique par plusieurs
trajectoires incompltes qui ont t rpares, toutefois les trajectoires de
rsultats restent eux-mmes dans leur classe. Laugmentation de la valeur
de fiabilit dans ces cas ne suffit pas pour quelles soient classifies dans la
classe trajectoires compltes.

35
 Sans appliquer la
Appliquer la rparation
rparation

Pourcentage Pourcentage
Nombre Nombre
(%) (%)

Trajectoires compltes 758 9.0 795 9.9

Trajectoires incompltes 3086 36.8 2778 34.5

Bruits 4550 54.2 4481 55.6

Total 8394 100 8054 100

Tableau 5.1 Statistique les donns dans deux cas : appliquer et sans appliquer
lalgorithme de rparation

Maintenant, on va voir quelques rsultats de dmonstration. Dans la

figure 5.1, limage a) est capture avant que le systme perde la trajectoire
dID = 3 (couleur verte). Limage b) est capture aprs 2s. La personne est
dtecte, mais le systme narrive pas reconnatre que cest la mme
personne dans la trame il y a 2 secondes (nouveau id assign 5, trajectoire
est colore en jaune). Toutefois dans limage c), grce lalgorithme
propos, le systme est capable de rparer la perte de la trajectoire. On
arrive reconnatre et fusionner la partie perdue de la trajectoire. Le
mouvement de la personne est suivi compltement.

36
 a) b)

c)
Fig 5.1 Images captures avant et aprs la fusion de la trajectoire t = 711s
a) t = 709
b) t = 711, pas dappliquer lalgorithme de rparation. La trajectoire de
personne est coupe.
c) t = 711, appliquer lalgorithme de rparation. La trajectoire de personne est
complte.

On peut voir un autre exemple dans la figure 5.2. Dans cet exemple,
le systme peut suivre avec succs la trajectoire de la personne avec id = 2
(couleur rose).

37
 a) b)

c)

Fig 5.2 Images captures avant et aprs la fusion de la trajectoire t = 903s

a) t = 901
b) t = 903, pas dappliquer lalgorithme de rparation. La trajectoire de personne
est coupe.
c) t = 903, appliquer lalgorithme de rparation. La trajectoire de personne est
complte.

38
 CHAPITRE VI
CONCLUSION ET PERSPECTIVE

Ce rapport prsente une mthode pour rparer les trajectoires des

objets dans les vidos. Le principe de cette approche est d'utiliser
l'apprentissage supervis pour exploiter la smantique de la scne. Les
zones comme IO zone, entry zone et exit zone sont dfinies
manuellement pour indiquer o un objet mobile peut entrer/sortir, entrer ou
sortir de la scne respectivement. Les zones dfinies comme lost zone,
found zone et lost-found zone sont construites par le processus de
clustering des positions 3D o le systme perd, retrouve et perd/retrouve
respectivement les trajectoires. Neuf caractristiques de la trajectoire sont
extraites et sont utilises pour calculer la valeur de fiabilit de chaque
trajectoire. Un algorithme gntique est galement propos afin de
dterminer l'importance de chaque caractristique. La valeur de fiabilit est
utilise pour filtrer les bruits. Les meilleures trajectoires sont utilises pour
construire les triplets de zones. Un triplet de zones est une reprsentation
d'un chemin dans la scne o le suivi des trajectoires peut tre perdu. Les
triplets de zones sont trs compatibles dans les scnes complexes o il ny a
pas clairement de chemins et de routes, comme la station de mtro teste
dans la phase dexprimentation par exemple. De plus, grce aux triplets, le
systme peut dtecter lapparition anormale des objets dans la scne, la
perte du suivi des trajectoires, et la rparer.

Toutefois, il existe encore quelques limites cette approche et il faut

amliorer pour rparer mieux les pertes de suivi. Bien que nous ayons
dfini plusieurs lments pour caractriser la trajectoire et pour calculer la
valeur de fiabilit dune trajectoire, il faut ajouter de plus les

39
caractristiques pour mieux valuer la fiabilit dune trajectoire dans plus
de situations possibles.

La modlisation de la scne dpend strictement de la vido dentre

pour lapprentissage. Une vido qui a assez de trajectoires typiques, va bien
assurer le rsultat de la modlisation. En revanche, si lon na pas assez de
trajectoires typiques, la scne ne peut pas tre bien apprise et modlise.

Les rsultats obtenus ont montr que la fiabilit de plusieurs

trajectoires a t estime assez petite en raison des conditions de suivi (il
existe beaucoup de scne qui sont bonds). Toutefois, bien que l'utilisation
des triplets de zones arrive rparer certaines trajectoires, on ne peut pas
rparer tous les cas dtects cause de la complexit des activits des
personnes dans la scne et dune grande quantit de trajectoires courtes et
incompltes fusionner. Les rsultats montrent galement que la valeur de
fiabilit est assez fiable.

Cet algorithme doit tre test avec d'autres vidos, et dans diffrents
scnarios. Bien que le travail ait certains points faibles, cette mthode
ouvre une nouvelle approche pour amliorer tous les algorithmes de suivi et
ces premiers rsultats font louverture dtudes intressantes et
prometteuses dans le futur. Par exemple, on peut tout d'abord augmenter le
nombre de zones dfinies dans le triplet quatre ou cinq, cest--dire le
chemin modlis serait plus long, la capacit de fusion serait donc plus
flexible et plus prcise. Deuximement, la premire zone du triplet nest
pas obligatoirement une entry zone ou IO zone, mais elle pourrait tre
n'importe quel type de zone. Le type de premire zone tel qua propos
dans cet algorithme a limit lespace de la recherche des trajectoires pour la
fusion et, par consquent, a limit la flexibilit de la rparation.

40
 REFERENCES

[1] A. Almeida, J. Almeida, and R. Araujo, Real-time tracking of multiple

moving objects using particle lters and probabilistic data association,
Automatika, vol. 46, no. 1-2, pp. 3948, 2005.

[2] Alain Boucher, cours Vision par ordinateur, 2007

[3] A. Avanzi, Francois Bremond, Christophe Tornieri and Monique

Thonnat, Design and Assessment of an Intelligent Activity Monitoring
Platform, in EURASIP Journal on Applied Signal Processing, special
issue in "Advances in Intelligent Vision Systems: Methods and
Applications", 2005:14, pp.2359-2374.

[4] P. Bouthemy and P. Lalande. Recovery of moving objects masks in an

image sequence using local spatiotemporal contextual information.
Optical Engineering, 32(6) :12051212, June 1993.

[5] Francois Brmond, Scene Understanding: perception, multi-sensor

fusion, spatio-temporal reasoning and activity recognition, HDR
Universit de Nice-Sophia Antipolis, July 2007.

[6] E. Brookner, Tracking and Kalman Filtering Made Easy, John Wiley &
Sons, 1998.

[7] S-C.S. Cheung and C. Kamath. Robust techniques for background

subtraction in urban traffic video. In IEEE International Workshop on
Visual Surveillance and Performance Evaluation of Tracking and
Surveillance, Nice, France, 2003.
[8] F. Cupillard, A. Avanzi, F. Brmond and M. Thonnat, Video
Understanding for Metro Surveillance. The IEEE ICNSC 2004 in the
special session on Intelligent Transportation Systems, Taiwan, March
2004.

41
[9] Yiithan Dedeolu. Moving Object detection, Tracking and
Classification for Smart Video Surveillance, thesis to obtain the degree
of Master of Science, August, 2004.

[10] Cao Tien Dung, Vido Surveillance, Rapport final du Travail dIntrt
Personnel Encadr, 2007.

[11] Fernyhough, J H, Cohn, A G & Hogg, D C Generation of semantic

regions from image sequences in: Buxton, B & Cipolla, R (editors)
ECCV'96, pp.475-478. Springer-Verlag. 1996.

[12] R. Jain and H.H. Nagel. On the analysis of accumulative difference

pictures from image sequences of real world scenes. In IEEE trans. on
PAMI, volume 206(18), pages 206214, 1979.

[13] RC Johnson, A Brief Summarization of the Kalman Filter

[14] K.P. Karmann and A. Von Brandt. Time-varying image processing

and moving object recognition. Elsevier, 1990.

[15] D. Makris, T. Ellis, Learning semantic scene models from observing

activity in visual surveillance, IEEE Transactions on Systems, Man and
Cybernetics, Part B 35 (3) (2005) 397408.

[16] S. Maskell, N. Gordon, M. Rollason and D. Salmond, Efficient

Multitarget Tracking using Particle Filters, Journal in Image and Vision
Computing, 21(10): 931-939, September 2003.

[17] Burkay Birant rten, thesis to obtain the degree of Master of Science,
Moving Object Identification and Event Recognition in Video
Surveillance system, July 2005.

42
[18] Raquel R. Pinho, Joo Manuel R. S. Tavares, Miguel V. Correia, An
Efficient and Robust Tracking System using Kalman Filter, VIPSI-
2006 VENICE, 2006.

[19] Raquel R. Pinho1, Joo Manuel R. S. Tavares and Miguel V. Correia,

A Movement Tracking Management Model with Kalman Filtering,
Global Optimization Techniques and Mahalanobis Distance, Lecture
Series on Computer and Computational Sciences Volume 1, 2005, pp.
1-3.

[20] Din-Chang Tseng, Chun-Wei Lin, and Chi-Ming Ling, Motion object
detection and tracking based on adaptive background subtraction, in
Proc. of the 18th IPPR Conf. on Computer Vision, Graphics and Image
Processing, Taipei, Taiwan, Aug.21-23, 2005, CD.

43