Rapport Extraction Fonds

CEA/SACLAY DIRECTION DE LA RECHERCHE TECHNOLOGIQUE DEPARTEMENT DES TECHNOLOGIES DES SYSTEMES INTELLIGENTS SERVICE ARCHITECTURES ET CONCEPTION
Service Architectures et Conception
Saclay, le 21 aot 2008
REF. : DTSI/SARC/08-339/ZN Modlisation du fond pour la vidosurveillance Par Znabou NGOUNGOURE CEA-LIST
DRT LIST - DTSI
Service Architectures et Conception

CEA/SACLAY 91191 GIF-SUR-YVETTE CEDEX TL : +33 (0)1 69 08 65 25 - FAX : +33(0)1 69 08 83 95 E-MAIL : thierry.collette@cea.fr
Etablissement public caractre industriel et commercial R.C.S. PARIS B 775 685 019 Ce document et les informations quil contient, sont la proprit exclusive du CEA. Ils ne peuvent pas tre communiqus ou divulgus sans une autorisation pralable du Cea-List.
Modlisation du fond pour la vidosurveillance __________________________________________________________________________
IDENTIFICATION :
Rapport DTSI/SARC/08-339/ZN
TITRE :
Modlisation du fond pour la vidosurveillance
AUTEURS : Mots-clefs :
Znabou NGOUNGOURE Vidosurveillance, soustraction de fond, ombres
UNITE : RESUME/Contexte
DRT/LIST/DTSI/SARC/LSVE Dans les applications d'analyse de vidos, les objets d'intrts, aussi appels "cibles" doivent tre segments avec prcision. Cette tche est couramment rendue difficile par la prsence d'ombres, le plus souvent cr par l'objet lui-mme. Ce projet a pour but l'implantation et l'valuation de plusieurs algorithmes existants pour la dtection et/ou la suppression d'ombres dans des flux vido en temps rel. Les algorithmes s'intgreront dans un systme de suivi d'objets modulaire bas sur un algorithme de soustraction de fond existant au CEA LIST. La mthode implmente qui exploite les principales proprits des ombres, est assez robuste et les rsultats, plutt concluants, permettront ventuellement leur exploitation dans divers projets de R&D.
Ce document est la proprit du CEA. Il ne peut tre reproduit ou communiqu sans son autorisation.
REDACTEUR
VERIFICATEUR
CHEF DE SERVICE
NOM
Z. NGOUNGOURE
Franois GASPARD
Thierry COLLETTE
DATE
SIGNATURE
________________________________________________________________________2/39
Ce document et les informations quil contient, sont la proprit exclusive du CEA. Ils ne peuvent pas tre communiqus ou divulgus sans une autorisation pralable du Cea-List.
Modlisation du fond pour la vidosurveillance __________________________________________________________________________ Liste de diffusion : CEA/DRT/DTSI/SARC CEA/DRT/DTSI/SARC/LSVE PolytechClermont-Ferrand Campus des Czeaux 24, Avenue des Landais BP 206 63174 AUBIRE CEDEX
________________________________________________________________________3/39
Remerciements
Je tiens remercier tout dabord ceux qui mont permis de raliser ce stage au sein du CEA LIST, notamment Thierry Collette, chef de Service Architecture et Conception, et Franois Gaspard, chef du laboratoire des Systmes de Vision Embarqus. Je remercie tout particulirement mon matre de stage Mr Yoann Dhome, pour son encadrement et ses conseils de tous les jours. Les quelques lignes restantes ne suffiront pas malheureusement, citer tous ceux que jai eu rencontrer durant le stage pour leur amabilit mon gard. Je prie les membres qui me font lhonneur dassister ce jury, dagrer lexpression de mon profond respect.
________________________________________________________________________4/39
Rsum
Le stage dont le rapport vous est prsent, a t effectu au Commissariat lnergie Atomique (CEA) dans un laboratoire du CEA LIST (Laboratoire d'Intgration des Systmes et des Technologies) spcialis en systmes de vision embarqus. Mon stage abordera plus particulirement les domaines de la vidosurveillance et de la vido-assistance. Dans certaines applications d'analyse de vidos, les objets d'intrts, aussi appels "cibles" doivent tre segments avec prcision. Cette tche est couramment rendue difficile par la prsence d'ombres, le plus souvent crs par l'objet lui-mme. Ce projet a pour but l'implantation et l'valuation de plusieurs algorithmes existants pour la dtection et/ou la suppression d'ombres dans des flux vido en temps rel. Le travail commencera par une analyse de la littrature scientifique sur ce sujet. Les algorithmes s'intgreront dans un systme de suivi d'objets modulaire bas sur un algorithme de soustraction de fond existant au CEA. La mthode implmente qui exploite les principales proprits des ombres, est assez robuste et les rsultats, plutt concluants, permettront ventuellement leur exploitation dans divers projets de R&D.
Abstract
The internship, whose report is presented to you, was carried out at Commissariat l'Energie Atomique (CEA) in a laboratory of CEA LIST (Laboratoire d'Intgration des Systmes et des Technologies) which is specialized in embedded computing vision system. My training course will focus on video-surveillance and video-assistance domains. In many image analysis and interpretation applications, objects of interest, so called "target", must be segmented with precision. This task is usually made difficult by the presence of shadows, generally created by the object itself (self shadow). The purpose of this project is to establish and evaluate several existing algorithms that deal with detection and/or suppression of shadows in video streams in real-time. The present report will start with an analysis of the scientific literature on this subject. The algorithms will be integrated in a modular objects tracking system based on a background subtraction algorithm existing at the CEA. The implemented method which exploits principal properties of shadows is rather robust and the results, quite conclusive, will probably allow their exploitation in various projects of R&D.
________________________________________________________________________5/39
Plan
Remerciements ........................................................................................................................... 4 Rsum ....................................................................................................................................... 5 Plan............................................................................................................................................. 6 Table des figures ........................................................................................................................ 7 Introduction ................................................................................................................................ 8 1. Prsentation du Commissariat lEnergie Atomique ........................................................ 9 1.1. Histoire, implantation gographique et chiffres ......................................................... 9 1.2. Organisation ............................................................................................................. 10 1.2.1. Le ple dfense................................................................................................. 10 1.2.2. Le ple nuclaire .............................................................................................. 11 1.2.3. Le ple recherche ............................................................................................. 11 1.2.4. Le ple technologique ...................................................................................... 11 1.3. Le laboratoire LIST .................................................................................................. 12 1.4. Le laboratoire LSVE ................................................................................................ 12 2. Cadre de travail et problmatique du stage ...................................................................... 14 2.1. La vidosurveillance ................................................................................................ 14 2.1. Exemples dapplications du domaine de la vision ................................................... 15 2.2. Problmatique........................................................................................................... 16 3. Modle actuel ................................................................................................................... 17 3.1. Rappels ..................................................................................................................... 17 3.2. Soustraction de fond................................................................................................. 18 3.2.1. Principe............................................................................................................. 18 3.2.1. Modle multicouches ....................................................................................... 19 3.2.2. Mthode par bloc.............................................................................................. 20 3.3. Exemples .................................................................................................................. 22 3.4. Faiblesses ................................................................................................................. 23 4. Modlisation des ombres dans une image........................................................................ 25 4.1. Proprits spectrales dune ombre............................................................................ 25 4.2. Proprits gomtriques dune ombre...................................................................... 26 5. Les principales tapes de lalgorithme ............................................................................. 27 5.1. Critre du Gradient................................................................................................... 27 5.2. Filtre des ombres ...................................................................................................... 29 5.3. Notre contribution .................................................................................................... 30 5.3.1. Utilisation des valeurs c1 , c2 , c3 ..................................................................... 31 5.3.2. Utilisation du model YUV ............................................................................... 31 5.3.3. Mthode propose ............................................................................................ 32 6. Rsultats et discussion...................................................................................................... 34 6.1. Rsultats ................................................................................................................... 34 6.1. Performances et limitations des algorithmes............................................................ 37 Conclusion................................................................................................................................ 38 Bibliographie ............................................................................................................................ 39
________________________________________________________________________6/39
Table des figures

Figure 1 : Implantations des 9 centres........................................................................................ 9 Figure 2 : Hirarchie du LSVE ................................................................................................ 10 Figure 3 : Camra de vidosurveillance ................................................................................... 14 Figure 4 : Salle des moniteurs .................................................................................................. 15 Figure 5 : Reprsentation matricielle d'une image ................................................................... 17 Figure 6 : Soustraction de fond ................................................................................................ 18 Figure 7 : Un exemple de lhistogramme contraste dun bloc dune image niveau de gris .. 21 Figure 8 : Exemple de soustraction de fond mthode par bloc et lapproche pixellique ......... 22 Figure 9 : Exemple de soustraction de fond mthode par bloc ................................................ 23 Figure 10 : Problme dombre lors de la soustraction de fond ................................................ 24 Figure 11 : Illustration de la formation de lombre porte dun objet...................................... 25 Figure 12 : Illustration des contours de lombre ...................................................................... 26 Figure 13 : Traitement dombres sur le critre du gradient...................................................... 27 Figure 14 : Illustration dlimination de bruit par le critre du gradient.................................. 28 Figure 15 : Les variations admises de couleurs sont dfinies par un cne autour de la valeur originale............................................................................................................................ 29 Figure 16 : Faiblesse de la mthode existante.......................................................................... 30 Figure 17 : Traitement dombres.............................................................................................. 31 Figure 18 : Utilisation du model YUV pour le traitement dombres ....................................... 32 Figure 19 : Rsultat de la diffrence de gradient...................................................................... 33 Figure 20 : Mthode propose de traitement dombres............................................................ 33 Figure 21 : Rsultats sur une scne extrieure ...................................................................... 35 Figure 22 : Rsultats sur une scne lintrieure..................................................................... 36 Figure 23 : Limite de la mthode propose.............................................................................. 37 Figure 24 : Exemple de cas critiques ....................................................................................... 37
________________________________________________________________________7/39
Introduction
Ce rapport prsente le travail effectu en stage de seconde anne dcole dingnieur du 2 juin au 29 aout 2008 au CEA LIST Saclay, dans le Laboratoire des Systmes de Vision Embarqus (LSVE). Durant ce stage de 3 mois, j'ai trait un sujet de vidosurveillance, et me suis intresse plus particulirement la dtection et la suppression des ombres pour loptimisation dun algorithme de soustraction de fond. La vidosurveillance est un domaine en plein essor de part ses nombreuses applications potentielles tant dans le domaine de la surveillance militaire que civile : surveillance des carrefours, assistance aux personnes ges leur domicile Dans les applications de vidosurveillance, une approche classique est de reprer dans un premier temps les "zones d'intrts" avant de focaliser sur ces "objets" des traitements plus spcifiques : typiquement pour la surveillance routire, il est intressant de dterminer dans limage les zones o une voiture est prsente. Pour cela, lorsque la camra est fixe, on utilise gnralement une mthode de soustraction de fond. Schmatiquement, le systme modlise et mmorise la scne vide. Un objet entrant dans la scne va provoquer un changement dans limage. Dtecter ce changement permet de dtecter lobjet. Il existe plusieurs mthodes de modlisation dont les plus complexes permettent de grer des mouvements parasites complexes (feuillage dans le vent, escalator). Cependant, dans certaines applications de suivi d'objets dans une vido, les objets cibles doivent tre segments avec prcision. Cette tche est rendue difficile par la prsence d'ombres. Il arrive que les ombres soient dans des zones dintrts spares, elles sont alors suivies comme des objets, ou alors comme faisant partie des cibles. Le but de mon stage est donc l'implantation et l'valuation de plusieurs algorithmes existants pour la dtection et/ou la suppression d'ombres dans des flux vido en temps rel. Le travail commencera par lapprentissage des logiciels internes et continuera par une analyse de la littrature scientifique sur ce sujet. Les algorithmes s'intgreront dans un systme de suivi d'objets modulaire bas sur un algorithme de soustraction de fond existant au CEA. Dans ce rapport, nous allons tout dabord prsenter diffrentes techniques utilises pour segmenter une image et diffrencier le fond des objets mobiles (Blob). Ensuite, je prsenterai diffrentes approches permettant la dtection et la suppression dombres dans une squence vido pour optimiser les algorithmes de soustraction de fond.
________________________________________________________________________8/39
1. Prsentation du Commissariat lEnergie Atomique

1.1. Histoire, implantation gographique et chiffres
Le Commissariat l'nergie Atomique (CEA) est un tablissement public de recherche fondamentale et technologique. L'ordonnance de la cration du CEA a t approuve par le gouvernement du gnral de Gaulle, le 18 octobre 1945. Cet tablissement est charg de donner la France la matrise de l'atome et de ses applications. Mais les activits du CEA se sont dveloppes dans tous les domaines connexes au nuclaire. Cette diversification a permis au CEA d'tre un acteur majeur de la recherche dans des domaines lis au nuclaire mais aussi trs loigns de ce dernier : dissuasion nuclaire, micro et nano technologies, astrophysique, imagerie. . . Le CEA est rparti sur neuf centres dans toute la France. Il existe deux types de centres : - les centres d'tudes pour les applications militaires (Bruyres-le-Chtel, Cesta, Valduc et le Ripault) - les centres d'tudes civils (Fontenay-aux-Roses, Saclay, Grenoble, Cadarache, Valrh)
Figure 1 : Implantations des 9 centres
En quelques chiffres : Le CEA fonctionne avec un budget de 3.4 milliards d'euros annuels et emploie plus de 15 000 personnes. Il travaille notamment pour les entreprises. En 2001 par exemple, 1300 contrats ont t signs avec l'industrie. Plus rcemment, en 2005, 14 projets dans lesquels le CEA est impliqu ont t labelliss comme ples de comptitivit, dont 5 projets mondiaux. On retrouve dans ces projets les principales thmatiques de recherche et dveloppement du CEA : fusion, fission, nergies renouvelables, hydrogne, sciences du vivant, sciences de la matire, technologies de l'information et de la communication et dfense. ________________________________________________________________________9/39
Modlisation du fond pour la vidosurveillance __________________________________________________________________________ 1.2. Organisation
LaSTRE
LCE
THHJH
Figure 2 : Hirarchie du LSVE
Le CEA est organis autour de 4 grands ples d'activits : 1.2.1. Le ple dfense
La stratgie de dfense franaise est base sur la dissuasion nuclaire. Dans ce contexte, la Direction des Applications Militaires (DAM), qui constitue le ple Dfense du CEA, conoit, fabrique, maintient en condition oprationnelle, puis dmantle les ttes nuclaires qui quipent les forces ocaniques et aroportes. Le ple Dfense doit tre en mesure de garantir au prsident de la Rpublique la sret et la fiabilit des ttes nuclaires qu'il met la disposition des armes. Aprs l'arrt dfinitif des essais nuclaires, cette garantie devra tre apporte, pendant toute la dure de vie des armes, par la simulation numrique. C'est l'objectif du programme Simulation. La DAM est galement responsable de lapprovisionnement en matires nuclaires pour les besoins de la dfense, et ceci dans le respect de la dcision darrter la production de matires fissiles destines aux armes et de dmanteler les usines de production associes. Elle est charge de la conception et de lentretien des racteurs nuclaires assurant la propulsion des btiments de la Marine nationale (sous-marins et porte-avions). Enfin, la DAM contribue, pour les instances nationales et internationales, la surveillance du respect du Trait dinterdiction des essais nuclaires (Tice) et la lutte contre la prolifration nuclaire et le terrorisme. ________________________________________________________________________ 10/39
Modlisation du fond pour la vidosurveillance __________________________________________________________________________ 1.2.2. Le ple nuclaire
La Direction de l'Energie Nuclaire (DEN) mne la ralisation de programmes majeurs sur les systmes prsents et futurs de production de l'nergie nuclaire ainsi que sur les aspects combustibles, sret, gestion des dchets et traitement des combustibles uss. Elle apporte son soutien aux industriels et dveloppe, dans son domaine d'activit, des cooprations sur le plan national et international. Elle a la responsabilit de l'assainissement et du dmantlement des installations du CEA civil. Les axes essentiels de ses missions sont la prparation du futur et la gestion rigoureuse des activits nuclaires du CEA, le soutien aux industriels pour le nuclaire existant et le maintien au plus haut niveau des connaissances et des moyens du CEA. 1.2.3. Le ple recherche
Le ple de recherche est compos de deux directions : - La Direction des Sciences du Vivant (DSV) : Le premier axe de recherche de cette direction concerne la recherche biologique et mdicale pour l'nergie nuclaire. Il comprend l'tude des effets sur la matire vivante des rayonnements ionisants et des toxiques utiliss dans la recherche et l'industrie nuclaire. Le second axe de recherche privilgi porte sur les applications des technologies issues du nuclaire la sant et aux biotechnologies (exemple : marquage lors d'examens mdicaux). - La Direction des Sciences de la Matire (DSM) : Les recherches la DSM sont orientes sur des domaines trs varis tels que le domaine de l'nergie et de l'environnement (chimie, physique, ), des sciences de la matire pour l'innovation industrielle (nano physique, ...), de l'utilisation des technologies du nuclaire en recherche biologique et mdicale, de la connaissance de la matire (physique des noyaux et des particules, astrophysique, ). 1.2.4. Le ple technologique
La Direction de la Recherche Technologique (DRT), cre en janvier 2001, fixe les orientations stratgiques et les missions du ple recherche technologique. Les missions fondamentales de la Direction de la Recherche Technologique sont : - Mettre en uvre des plates-formes partenariales d'innovation ouvertes sur l'extrieur et permettant de favoriser la cration d'une forte culture technologique mlant la recherche amont, la recherche applique et la valorisation industrielle. - Identifier et dvelopper les nouvelles technologies de l'information et de la communication, qui rpondent aux attentes des industriels en amliorant leur comptitivit, dans les domaines des micro et nano technologies et des systmes logiciel prpondrant. - Identifier et dvelopper, en collaboration avec les autres ples, les nouveaux matriaux et procds et les nouvelles technologies pour l'nergie et l'environnement en pilotant les actions de dveloppement et de partenariat industriel. - Dvelopper avec les industriels les actions de partenariat et de valorisation des connaissances et des savoir-faire acquis par la DRT dans ses domaines de comptences. ________________________________________________________________________ 11/39
Modlisation du fond pour la vidosurveillance __________________________________________________________________________ - Proposer et mettre en uvre la politique de valorisation du CEA dans le cadre des orientations fixes par la direction gnrale, animer la politique du CEA en faveur de la promotion et de la protection de la proprit industrielle, de l'essaimage et de la cration d'entreprise, assurer la relation avec les entreprises cres dans le cadre de l'essaimage, et avec les PME/PMI la diffusion des technologies dveloppes par l'ensemble du CEA. Ce ple est constitu de trois units de recherche que sont le Laboratoire d'lectronique et des Technologies de l'Information (LETI) dont les activits principales sont la microlectronique, les micro-technologies, l'optronique, les techniques informatiques, et l'instrumentation et qui est l'un des plus gros laboratoires europens de recherche applique en lectronique, le Laboratoire d'Innovations pour les Technologies des Energies nouvelles et les Nanomatriaux (LITEN) et le Laboratoire d'Intgration des Systmes et des Technologies (LIST). 1.3. Le laboratoire LIST
Il dveloppe des systmes numriques destins tre intgrs dans des produits et des procds innovants. Il regroupe des comptences dans les domaines des systmes embarqus (autonomes), des systmes interactifs (interaction homme-machine, ralit virtuelle, robotique), de l'instrumentation et de la mtrologie, ainsi que dans celui des matriaux (assemblage et contrle non destructif de systmes mcaniques, laboration et mise en forme de matriaux). Ce laboratoire est structur autour de deux dpartements : - le Dpartement des TEchnologies du Capteur et du Signal (DETECS) - le Dpartement des Technologies des Systmes Intelligents (DTSI) Le DTSI est charg des travaux de recherche et dveloppement sur les technologies associant le logiciel au matriel pour constituer des systmes fort niveau d'intgration. Le DTSI est constitu de quatre services : - le Service Outils Logiciels (SOL) - le Service Robotique Interactive (SRI) - le Service Cognitique Robotique et Interaction (SCRI) - le Service Architectures et Conception (SARC) Ce dernier est constitu de quatre laboratoires qui tudient et dveloppent des systmes embarqus destins des applications de traitements d'images et de donnes, disposant d'une trs forte puissance de calcul, sous contraintes oprationnelles (volume et consommation) et environnementales (robustesse) : - le Laboratoire de Fiabilit des Systmes Embarqus (LFSE) - le Laboratoire des Systmes de Vision Embarqus (LSVE) - le Laboratoire Calculs Embarqus (LCE) - le Laboratoire fondements des Systmes Temps Rel Embarqus (LaSTRE) 1.4. Le laboratoire LSVE
Le Laboratoire des Systmes de Vision Embarqus (LSVE) est compos de 12 permanents, 9 doctorants et 6 post-doctorants et ingnieurs. Le principal axe de recherche et dveloppement ________________________________________________________________________ 12/39
Modlisation du fond pour la vidosurveillance __________________________________________________________________________ du LSVE, mens depuis plus de 10 ans, est ltude et le dveloppement d'algorithmes trs avancs assurant l'exploitation de l'image pour les domaines allant du contrle industriel la vidosurveillance et la vido-assistance en passant par la reconstruction 3D et la localisation temps-rel de camra. Fortement li au monde industriel travers de nombreux projets europens et nationaux ainsi que des contrats directs, le LSVE sattache aussi maintenir des liens forts avec des laboratoires universitaires renomms de son domaine dactivit.
________________________________________________________________________ 13/39
2. Cadre de travail et problmatique du stage

2.1. La vidosurveillance
La vidosurveillance consiste placer des camras de surveillance dans un lieu public ou priv pour visualiser et/ou enregistrer en un endroit centralis tous les flux de personnes au sein d'un espace ouvert au public pour surveiller les allers et venus, prvenir les vols, agressions, fraudes et grer les incidents et mouvements de foule [7]. La vidosurveillance s'est dveloppe d'abord au Royaume-Uni, en rponse aux attaques de l'IRA. Les premires expriences en Grande Bretagne dans les annes 70 et 80 ont conduit des programmes de grande ampleur au dbut des annes 1990. Ces succs conduisirent le gouvernement faire une campagne de promotion auprs de la population, et lana une srie d'installations de camras. D'autres pays comme la France ont install des systmes de vidosurveillance. En 1998, le nombre de camras en France tait estim un million dont 150 000 dans le domaine public. Ces camras sont prsentes dans divers lieux tels que les aroports, les gares, les routes, les transports publics. Ces installations vido commencent aussi fleurir dans les villes.
Figure 3 : Camra de vidosurveillance
Les causes de l'installation de systmes de vidosurveillance sont diverses, toutefois la scurit publique ainsi que la protection des biens mobiliers ou immobiliers font office d'lments phares dans la justification de la vidosurveillance. Les attentats du 11 septembre 2001 New York ou plus rcemment ceux de juillet 2005 Londres, ont renforc ce sentiment d'inscurit. Toutefois la mise en place de la vidosurveillance ne peut s'expliquer uniquement par l'inscurit grandissante ou la protection des biens. Certaines autres raisons moins connues du grand public existent galement. La mise en place de la vidosurveillance permet une amlioration de la gestion des incidents ainsi qu'une augmentation de l'efficacit et de la rapidit d'intervention. Par exemple, dans la prvention du suicide ou encore lors d'accidents qui pourraient survenir sur la voie publique. La surveillance des axes routiers sert informer en temps rel les automobilistes sur les conditions du trafic. ________________________________________________________________________ 14/39
Modlisation du fond pour la vidosurveillance __________________________________________________________________________ Lgislation : La vidosurveillance obit un cadre rglementaire trs prcis. Tous les lieux ouverts au public (restaurants, magasins, pharmacies) souhaitant s'quiper d'un dispositif de vido surveillance doivent au pralable faire une demande en prfecture. Le public doit tre avertit par un panonceau rpondant des critres bien prcis de l'existence d'un systme de vidosurveillance. Le personnel doit galement tre inform de l'installation et le dispositif doit tre prsent au comit d'entreprise s'il y en a un. Dans les lieux qui ne sont pas ouverts au public on sort alors du domaine de comptence des prfectures pour rentrer dans celui de la Commission Nationale de lInformation et des Liberts (CNIL). 2.1. Exemples dapplications du domaine de la vision
Dans de nombreuses applications, les donnes acquises sont stockes et ne seront utilises que si lon dsire en tirer des informations a posteriori (par exemple pour retrouver le suspect dun crime). Cependant dans des secteurs sensibles, il peut tre ncessaire davoir un contrle immdiat des donnes, cest ce quon appelle un contrle en "temps rel". Un exemple de contrle en temps rel est la surveillance des routes. La vidosurveillance permet dagir de manire prventive en dtectant, par exemple, si un automobiliste ne roule pas sur la bonne voie. Dans ce cas, lapproche classique est de filmer la scne surveiller, puis de la projeter sur un moniteur o un responsable peut contrler de manire directe les donnes (Figure 4), la personne se fiant sa facult de discernement pour dtecter les anomalies ventuelles.
Figure 4 : Salle des moniteurs
Ce travail, qui peut paraitre fastidieux, a longtemps t effectu par des hommes faute dautres solutions. Cependant, les rcents dveloppements dans la puissance des calculateurs informatiques combins aux dveloppements de nouvelles techniques algorithmiques permettent prsent denvisager de remplacer lhomme par la machine.
________________________________________________________________________ 15/39
Modlisation du fond pour la vidosurveillance __________________________________________________________________________ 2.2. Problmatique
Tout au long de sa vie, ltre humain reoit un flot continu dinformations visuelles, dues linteraction de la lumire et de la matire. Lanalyse des phnomnes rsultant de cette interaction nous apporte des informations essentielles sur notre environnement. Ainsi, lombre, rsultat le plus immdiatement perceptible de cette interaction, nous permet dapprhender la nature tridimensionnelle des objets. Bien quessentiel, ce type dinformation nest que rarement pris en compte de faon consciente. En effet, la plupart des mthodes dextraction dobjets en mouvement dans une squence vido prennent rarement en compte les effets lis lillumination, tels que les reflets ou les ombres. Pour les systmes de vision par ordinateur, traiter linformation visuelle dune faon similaire au system visuel humain, cest dire en prenant en compte galement les effets lies lillumination est assez complexe. Ces phnomnes sont en effet plutt gnants dans le cadre de tches courantes en analyse dimages, telles que la segmentation ou la description dobjets. Trs souvent les ombres sont dtectes comme tant des objets ou une partie des objets ce qui peut tre trs nuisible pour des applications de vidosurveillance. En effet, pour une machine, il se peut que des changements anodins (mouvement des branches darbres, changement de lumire, ombres ) soient dtects par le calculateur comme des objets trangers. Ceci est en partie d au faite que le programme traite les donnes par zones et na en faite aucune vu densemble et donc aucune comprhension de la scne dans sa globalit (domaine de lintelligence artificielle). Lombre est un phnomne difficile modliser car son apparence varie en fonction des surfaces sur lesquelles elle est projete. Il est donc important dexploiter les multiples proprits drivant des analyses spectrale, gomtrique et temporelle des ombres afin de dvelopper des techniques efficaces conduisant leur extraction. Un expos des solutions existantes reposant sur lutilisation de linformation couleur est trac, prcisant les fondamentaux, les modles de couleur adopts, ainsi que les liens avec certains problmes de recherches tels que la constance ou linvariance de couleur. Il existe des mthodes, appeles soustraction de fond, qui permettent de tenir compte de certains de ces lments. Lune delle est implmente au laboratoire et sert de socle pour beaucoup dapplications (tracking, reconnaissance, ). Le but de mon stage est donc dtudier ses faiblesses pour ensuite trouver un moyen de les combattre. Dans un premier temps, nous allons donc prsenter le modle actuel, ses atouts comme ses faiblesses. Dans toute la suite, on sintresse une camra fixe et on cherche dtecter les objets trangers ou en mouvement passant dans le champ de la camra.
________________________________________________________________________ 16/39
3. Modle actuel
3.1. Rappels
Une image 2D est une matrice de pixel : cest limage matricielle. Le pixel est l'unit de base d'une image numrique, il reprsente un point de limage. Un pixel peut tre de nature varie, cette nature peut tre dcrite en donnant le nombre de composante du pixel ainsi que lensemble des valeurs quune composante peut prendre. Le nombre de composante dtermine le nombre de couleur : - image nuance de gris : pixel une composante Y (luminance). - image couleur : pixel trois composante R, G et B. Lensemble de valeur permet de dfinir les nuances pour chaque composante. En gnral on utilise des valeurs fixes correspondant un type informatique : par exemple le type uchar (unsigned char) correspond aux valeurs entires de 0 255.
Figure 5 : Reprsentation matricielle d'une image
Si on note M la reprsentation matricielle dune image, M (i, j ) indique le pixel situ ligne i , colonne j . Par exemple, dans la Figure 5, sur la premire image, M (124,363) = 130 . Pour une image couleur, on rajoute un indice indiquant le numro de la couche (R=1, G=2, B=3). Sur la seconde image, M (124,363)[2] = 136 .
Une vido nest rien dautre quune succession dimage. On peut aussi la voir comme une matrice 3D de pixel : les deux premires dimensions correspondant celle de limage, la troisime reprsentant le temps.
________________________________________________________________________ 17/39
3.2.
Soustraction de fond Principe
3.2.1.
Une vido est une succession dimages qui montrent lvolution dun ou plusieurs objets dans un environnement donn (fond). Dans le cas dobjets mobiles et dun fond stable au cours du temps, ou qui volue relativement lentement, on peut extraire les objets mobiles par une technique de soustraction de fond. Cette mthode permet, en faisant la diffrence entre une image du modle de fond et une image o un objet se dplace, de dterminer une carte des objets mobiles. Image courante (fond +objet) Image modle (fond) = Image rsultante (objet)
Objet + fond
fond
Figure 6 : Soustraction de fond
objet
Il est donc possible de connatre les zones de limage o un changement a eu lieu. Ainsi, le critre dterminant pour une segmentation performante est davoir un fond suffisamment robuste pour assurer une bonne dtection. Le modle mis en place dans notre projet est une approche de modlisation dynamique du fond, cest--dire qui se met jour au fil du temps. Ceci va permettre de compenser la plupart des changements dillumination. En effet, nous valuons le mouvement grce un critre de distance entre le modle du fond et le pixel considr. Dans les scnes dextrieur, entre le jour et la nuit, la luminosit des pixels du fond va varier. En faisant la diffrence dune scne nocturne avec un fond ralis en plein jour, du mouvement sera alors dtect sur toute limage. En utilisant un modle qui volue au cours du temps, la luminosit dcroissante sera reporte progressivement dans le modle. Cette volution peut galement sadapter aux changements de temps (passage de nuages, temps pluvieux, temps ensoleill, etc.) Le principe est de comparer un pixel de limage avec son quivalent en coordonnes dans le modle de fond. Sil est vraiment "diffrent", le pixel appartient un objet en mouvement et sa valeur nest pas utilise pour modifier le modle de fond. Si sa valeur est proche de celle du modle de fond dans une plage particulire (la proximit peut tre dfinie par un modle gaussien), alors le pixel est rattach au fond. A ce moment l, la valeur du pixel de fond de mmes coordonnes voit sa valeur pondre par celle du pixel de limage courante. La vitesse dvolution du modle de fond dpend du coefficient de pondration.
Quel critre permet de dfinir si un pixel est semblable ou non au modle de fond ?
________________________________________________________________________ 18/39
Modlisation du fond pour la vidosurveillance __________________________________________________________________________ Un pixel dune image peut coder linformation couleur de plusieurs faons. La reprsentation la plus courante est la reprsentation RVB (rouge, vert, bleu, ou RGB en anglais). Dans la ralit, la valeur dun pixel reste rarement constante, cause du bruit lectronique du capteur, de changements lgers dillumination, et de mouvements imperceptibles (mouvement dune feuille qui oscille sous le vent par exemple). Par rapport au type de bruit ainsi quaux variations de couleur on peut associer un pixel du fond une probabilit suivant une loi gaussienne dfinie par sa moyenne et sa variance [1] [2]. Ce type de modle permet de tolrer les variations de luminosit et de teinte pour un pixel. La mesure de distance utilise est celle de Mahalanobis. Elle est base sur la corrlation entre des variables par lesquelles diffrents modles peuvent tre identifis et analyss. C'est une manire utile de dterminer la similarit entre une srie de donnes. Elle diffre de la distance euclidienne par le fait qu'elle prend en compte la corrlation de la srie de donnes. Ainsi, la diffrence de la distance euclidienne o toutes les composantes des vecteurs sont traites de la mme faon, la distance de Mahalanobis accorde un poids moins important aux composantes les plus bruites (nous r rappelons que chaque composante est une variable alatoire de type gaussien). Soient x et r y deux vecteurs alatoires de mme distribution comparer, la distance entre elles se dfinie comme suit :
r r d ( x, y) =
r r r r ( x y ) 1 ( x y ) , o est la matrice de covariance.
La valeur moyenne et la variance associe volueront en fonction du temps pour sadapter, par exemple la baisse de luminosit avec la tombe du jour. Lintrt est de grer parfaitement les variations lentes.
3.2.1.
Modle multicouches
Il est possible quune partie des lments du fond soit soumise un mouvement priodique de plus ou moins faible amplitude. Par exemple le balanc des branches lorsquil y a du vent constitue un bruit. Autre exemple, un pixel du fond aura des variations autour dune teinte de vert due des feuilles, et dune teinte bleue du ciel, lorsque les feuilles bougent. Un modle gaussien simple ne peut reprsenter correctement les deux modes simultanment. Les modles multicouches [3] ou multimodaux permettent de pallier ce problme. Chaque couche est constitue dun modle simple gaussien. Une probabilit est alors associe la couleur et sa variance. Ainsi chaque image courante le pixel est compar aux diffrentes couches du modle de fond dans lordre de probabilit dcroissante. Cette probabilit est dfinie par un indice de confiance. Plus le nombre de couches est important, plus le modle dcrira les variations de couleur dun pixel, mais il perdra en robustesse et en vitesse car il sera trop tolrant. Pour amliorer lefficacit de lalgorithme de soustraction de fond le modle multicouche a t combin une segmentation hirarchique de limage. Ce qui a pour consquence une diminution du temps dexcution et aussi des rsultats de meilleurs qualit. Les images ntant pas parfaites, on obtient malheureusement du bruit dans nos nouvelles images binaires ce qui rend notre tche un peu plus difficile. Pour diminuer les erreurs dues au bruit, on utilise la technique des filtres morphologiques. On commence par une dilatation suivie dune rosion, ce qui permet de diminuer le bruit lintrieur des blobs, c'est--dire dliminer les trous dans les cibles et de renforcer la cohrence des zones en avant-plan. Cette mthode modlise chaque pixel indpendamment ce qui a pour principale avantage une ________________________________________________________________________ 19/39
Modlisation du fond pour la vidosurveillance __________________________________________________________________________ extraction des objets avec un contour assez raffin, cependant elle est trs sensible aux bruits. Pour palier ce problme une mthode fond sur une approche par bloc combin ce modle fourni de meilleurs rsultats.
3.2.2.
Mthode par bloc
Cette mthode hirarchique [4] consiste combiner le modle multicouches et une approche par bloc de pixels. En effet pour chaque bloc de 8 8 pixels on calcul un descripteur appel "histogramme des contrastes", donnant une ide globale du bloc valuer. Pour ce faire on effectue tout dabord un lissage de limage en lui appliquant le filtre gaussien. Soit I limage lisser et L le rsultat du filtrage gaussien il vient : L ( p , ) = G ( p, ) * I ( p ) ,
o p est un pixel donn, * la convolution et G ( p, ) la distribution gaussienne de variance . Une fois limage divise en bloc on calcul les valeurs de lhistogramme contraste pour les images en noir et blanc par la formule dfini ci-dessous :
C ( p, pc ) = L( p ) L( pc ) , o p est un pixel du bloc Bc .

Nous rappelons que nous travaillons avec des blocs de taille 8 8 et donc dans ce cas il nexiste pas de pixel central pc . Sa valeur est approche par la moyenne des quatre pixels centraux comme lillustre lexemple de la Figure 7 ci-dessous. Aprs avoir divis le bloc en quatre quadrants on soustrait cette valeur moyenne aux autres pixels du bloc et on regroupe les valeurs positives et les valeurs ngatives de chaque quadrant comme suit :
+ CH qi ( pc ) =
{ C ( p, p {C ( p , p
) )
p qi card
+ qi
et C ( p, p c ) > 0 } et C ( p, p c ) < 0 }
CH qi ( pc ) =
p qi card
qi
+ Pour i= 0,,3 ; card qi et card qi sont respectivement le nombre total de pixels valeurs
contrastes positives et ngatives dans le quadrant qi . En rsum, le descripteur dun bloc Bc dune image en mode niveau de gris est un vecteur huit-dimensionnel dfinit comme suit :
+ + + + 8 CH G ( pc ) = (CH q 0 , CH q 0 , CH q1 , CH q1 , CH q 2 , CH q 2 , CH q 3 , CH q 3 ), o CH G ( pc ) R
________________________________________________________________________ 20/39
93 174 112 80 135
185 136 133 114
102 87 127 138
67 178 142 98
-27 54 -8 15
65 16 13 -6
-18 -33 7 18
-53 58 22 -22
120
117 148
120
(a)
(b)
Figure 7 : Un exemple de lhistogramme contraste dun bloc dune image niveau de gris
La figure 7 illustre un exemple de calcul du descripteur dun bloc de taille 8 8 dune image nuance de gris (a). Comme nous lavons vu plus haut la valeur du pixel central pc se trouve en faisant la moyenne des quatre pixels du centre du bloc : 120 = (80 + 135 + 117 + 148) / 40 . Par simple soustraction, on calcule les valeurs de lhistogramme des quatre quadrants. En (b) les valeurs positives et ngatives du deuxime quadrant q1 sont respectivement reprsenter dans des cases blanches et grises. Pour ce quadrant on obtient : + CH q 1 = (65 + 54 + 16 + 58 + 13 + 7 + 22 + 15 + 18) / 9 = 29.79 , et
CH q 1 = ( 27 18 53 33 8 6 22) / 7 = 23.86 . Ce descripteur est efficace pour lextraction des objets cibles dans plusieurs situations de plus il est assez rapide implmenter. Cependant il nest pas toujours suffisant pour la description de certaines scnes, par exemple des couleurs diffrentes peuvent avoir un niveau de gris similaire et il est impossible de les distinguer. Pour rsoudre ce problme on rajoute au descripteur des combinaisons entre les trois composantes couleurs (R, G et B) des pixels du bloc. Soient j {R, G, B} et k {R, G, B} les composantes couleurs des pixels p et pc respectivement, les valeurs positives et ngatives de lhistogramme contraste des couleurs se dfinissent comme suit :
CH
j ,k ; + qi
( pc
{C )=
j ,k
( p, p c ) ( p, p c )
p qi
+ card q i
et C j , k ( p, p c ) > 0 et C j , k ( p, p c ) < 0
qi
}, et
CH
j ,k ; qi
{C (p ) =
c
j ,k
p qi card
________________________________________________________________________ 21/39
Modlisation du fond pour la vidosurveillance __________________________________________________________________________ respectivement, o C j ,k ( p, pc ) est la valeur contraste entre la composante j de p et la
composante k de pc . Il ya 9 combinaisons possibles du couple ( j , k ) ce qui induit un descripteur 72(= 9 4 2) -dimensionnel pour chaque bloc. Cependant il nest pas ncessaire dutiliser toutes les pairs, nous nen choisirons que six dentre elles, ( j , k ) {( R, R), ( R, G ), ( R, B), (G, G ), (G, b), ( B, B)} et au final on se retrouve avec un descripteur de couleur 48(= 6 4 2) -dimensionnel, CH C ( pc ) R 48 plus efficace pour lalgorithme de soustraction de fond. Dans le systme en place au CEA LIST, le descripteur de couleur des blocs implment est 51-dimensionnel. En effet trois valeurs correspondant aux composants couleurs (R, G et B) moyennes du bloc ont t rajoutes au descripteur car ils peuvent tre utiles dans certains traitements (ombres). Une fois le descripteur construit on applique lapproche du modle multicouche pour comparer les blocs et soustraire les objets en avant plan. Les rsultats exprimentaux (Figure 8) montrent que cette mthode est beaucoup plus stable que lapproche pixellique qui en plus dtre plus sensible au bruit demande un temps dexcution plus long. Cest pour cette raison quelle a t retenue au LSVE pour lalgorithme de soustraction de fond.
Modle de fond
bloc+MOG
MOG
Figure 8 : Exemple de soustraction de fond mthode par bloc et lapproche pixellique
3.3.
Exemples
Voici quelques exemples o la soustraction de fond fonctionne correctement, chaque exemple est constitu de deux images, la premire montre limage modle, et la seconde le rsultat de la soustraction de fond. Pour illustrer le rsultat de la segmentation fond/objet, on applique un masque gris-rouge, le gris correspond aux zones fixes et le rouge aux zones dtectes par la soustraction de fond comme intressantes.
________________________________________________________________________ 22/39
Figure 9 : Exemple de soustraction de fond mthode par bloc
3.4.
Faiblesses
Le modle ci-dessus est dj implment au laboratoire, cependant il existe encore quelques problmes lis lillumination et lapparition des ombres. Dans ces cas, limage est souvent dtecte comme ayant chang. En effet la ressemblance au niveau des couleurs ne fonctionne pas toujours trs bien malgr lutilisation dun descripteur assez robuste, en partie cause des ________________________________________________________________________ 23/39
Modlisation du fond pour la vidosurveillance __________________________________________________________________________ ombres. Par exemple, si un objet a beaucoup dombre sur une image et moins sur limage suivante, la ressemblance entre les couleurs devient une mesure moins efficace. Il arrive que les ombres soient dans des blobs spars, elles sont alors suivies comme des objets, ce qui cause parfois des problmes avec le suivi des autres objets. On obtient donc de trs mauvais rsultats si on utilise une squence dune dure assez longue avec des images o il y a beaucoup de soleil ou une forte luminosit. Il arrive que l'orientation de lombre se dplace lgrement ce qui cause beaucoup trop de bruit lorsqu'on la compare avec les images.
Figure 10 : Problme dombre lors de la soustraction de fond
Le but de ce stage est donc dimplmenter une mthode permettant rsoudre les problmes lis lapparition des ombres lors la soustraction de fond. Pour ce faire nous allons essayer de dtecter et supprimer les ombres afin damliorer les rsultats de lalgorithme de dtection dobjets en avant plan. Avant de se lancer dans la recherche des mthodes efficaces pour lextraction des ombres dans une image ou une squence dimages il est important de comprendre comment naissent les ombres et de connaitre ses caractristiques.
________________________________________________________________________ 24/39
4. Modlisation des ombres dans une image

Une ombre est une zone sombre cre par linterposition dun objet opaque(ou seulement partiellement transparent) entre une source de lumire et la surface sur laquelle se rflchit cette lumire. Elle se matrialise par une silhouette sans paisseur. La taille de lombre porte dpend de la taille de lobjet intercal et de sa distance relative la source lumineuse. Plus lobjet est prs de la source de lumire, plus la zone dombre sera grande. Lorsque lillumination nest que partiellement couverte par lobjet, il apparait une zone appel pnombre (penumbra en anglais) dont ltude peur savrer tre utile lors de la dtection dombre pour la soustraction de fond. Dans la suite nous nous intresserons aux proprits spectrales et gomtriques dune ombre.
(a)
(b)
Figure 11 : Illustration de la formation de lombre porte dun objet
4.1.
Proprits spectrales dune ombre
Lombre est un phnomne difficile modliser car son apparence varie en fonction des surfaces sur lesquelles elle est projete. Le model le plus rencontrer dans la littrature sur le traitement et qui prend en compte des lments mentionns plus haut est le suivant. Soit r r Lr ( , p) le rayonnement lumineux rflchit un point p sur une surface dans lespace 3D dfinit comme suit : r r r Lr ( , p ) = La ( ) + Lb ( , p ) + Ls ( , p ),
r r o La ( ), Lb ( , p ), Ls ( , p ) sont respectivement la rflexion ambiante, du corps de lobjet et de la surface, et est la longueur donde. Lorsque lobjet obstrue compltement la lumire lintensit dun point dans une zone dombre est :
r r Lrshadow ( , p ) = La ( , p ) . ________________________________________________________________________ 25/39
Modlisation du fond pour la vidosurveillance __________________________________________________________________________ Comme nous lavons vu plus haut lombre assombrit la zone o elle apparait ainsi soient r r C ( x, y ) lit et C ( x, y ) shadow respectivement les vecteurs de couleur dun point sur une zone illumine et de ce mme point en zone dombre on a :
r C ( x, y ) lit = ( Rlit , Glit , Blit ) r C ( x, y ) shadow = ( Rshadow , Gshadow , Bshadow )
Rshadow < Rlit , G shadow < Glit , Bshadow < Blit .
Linvariance photomtrique est une autre proprit spectrale de lombre souvent matrialiser par la constance des valeurs R, G et B normalises, de la teinte H (hue en anglais), de la saturation S, des valeurs c1 , c2 , c3 dfinies ci-dessous. Le model de la teinte est le suivant :
R ( x, y ) , max(G ( x, y ), B( x, y )) G ( x, y ) , c2 ( x, y ) = arctan max( R( x, y ), B( x, y )) B ( x, y ) , c3 ( x, y ) = arctan max( R( x, y ), G ( x, y )) c1 ( x, y ) = arctan o R( x, y ), G ( x, y ) et B( x, y ) les composants rouge vert et bleu dun pixel de limage. Ce model sera utilis dans lalgorithme de soustraction de fond pour la dtection dombre. Nous allons maintenant nous intresser aux proprits gomtriques dune ombre.
4.2.
Proprits gomtriques dune ombre
La forme dune ombre dpend des objets et de ltat de la scne (ensoleill, obscurit,). Cependant il est possible didentifier certaines caractristiques gomtriques de lombre, notamment ses contours sans aucune connaissance de la scne et de la structure de lobjet. La figure ci-dessous illustre les quatre types de contours engendrs par lombre. La ligne AB spare la surface illumine et la surface non-illumine dun objet. La projection de lombre porte dun objet suivant la direction de la source lumineuse cre la ligne DE. La ligne CD spare lobjet de son ombre porte, et CE correspond sa partie invisible.
Figure 12 : Illustration des contours de lombre
________________________________________________________________________ 26/39
5. Les principales tapes de lalgorithme

Nous prsenterons dans cette partie les deux mthodes dj implmentes au laboratoire pour la dtection et la suppression des ombres lors de la soustraction de fond pour lapproche pixellique. La premire mthode consiste valuer les diffrences de gradient afin de redimensionner les blobs, et la deuxime mthode utilise un filtre pour la dtection dombres. Aprs ladaptation de ces mthodes lapproche par blob et lanalyse des rsultats pas trs satisfaisant nous avons tabli des propositions damlioration.
5.1.
Critre du Gradient
Cette mthode consiste valuer le gradient des blobs (objets mobiles) en utilisant lalgorithme de dtection de contours avec loprateur Canny. Tout d'abord, on limine le bruit de l'image par convolution par un noyau gaussien. Ensuite, on calcul le gradient des blobs de l'image dans les deux directions X et Y. Enfin, on supprime les points du gradient qui ne correspondent pas des maxima locaux. Une fois les gradients calculs, on procde au redimensionnement des blobs. La suppression dombre par critre du gradient que nous allons utiliser peut tre schmatis par la chane de traitement suivante :
Rsultat soustraction de fond (diffrence intensit/couleur)
Cration des blobs
Elimination des blobs trop petits
Elimination des blobs ne faisant pas apparaitre de diffrence de gradient
Concentration des blobs autour de la diffrence de gradient
Figure 13 : Traitement dombres sur le critre du gradient
________________________________________________________________________ 27/39
Modlisation du fond pour la vidosurveillance __________________________________________________________________________ Aprs la cration des blobs on commence par liminer ceux qui comportent un faible taux de pixels. Aprs la suppression des blobs faible taux de gradient, on effectue une concentration des blobs restants autour des diffrences du gradient. La figure ci-dessous illustre un exemple complet dutilisation de cette mthode pour llimination de bruit.
Figure 14 : Illustration dlimination de bruit par le critre du gradient
________________________________________________________________________ 28/39
5.2.
Filtre des ombres
On peut reprsenter dans lespace colorimtrique 3-D RGB les variations possibles de la couleur dun pixel dune zone dombre par un cne qui exprime les variations dintensit et de teintes.
Figure 15 : Les variations admises de couleurs sont dfinies par un cne autour de la valeur originale
Ce filtre nest videment utilis que pour valuer les pixels dtecter par lalgorithme de soustraction de fond comme tant des objets. Soit un pixel p valuer, on calcule le produit scalaire entre le vecteur valuer I ( p ) et le vecteur du modle de fond correspondant B( p) , et le produit scalaire entre le vecteur I ( p ) et le vecteur unitaire de la couleur blanche w = (1,1,1) . Soit le ratio r dfinit comme suit
1 r = B( p) 2 I ( P) B( p)
si sinon
I ( p ) B ( p ) >= 10 9
lalgorithme de classification du pixel en ombre est le suivant :

si
(cos( ) > cos(thresh ))

p est un pixel
et
((r 1) *100) < 0

d ' ombre
alors
o est langle form entre les vecteurs I ( p ) et B ( p ) , et cos(thresh ) = max(cos( B ), cos( fil )) avec B langle entre B ( p ) et w , fil langle seuil du filtre dombres. Les rsultats peu satisfaisants de la combinaison de ces deux algorithmes seront prsents dans la section 6.2 et seront compars aux rsultats obtenus avec notre contribution.
________________________________________________________________________ 29/39
5.3.
Notre contribution
Nous avons effectu plusieurs tests et avons remarqu que le filtre des ombres et la mthode de soustraction dombres avec le critre de gradient ne fonctionne pas toujours. En effet lorsque plusieurs objets et leurs ombres portes se trouvent dans le mme blob, la concentration de ce dernier autour de la diffrence de gradient ne permet pas toujours dliminer les ombres ceci en partie cause du mauvais fonctionnement du filtre actuel.
Figure 16 : Faiblesse de la mthode existante
Les techniques de dtection des ombres rencontres dans la littrature peuvent tre regroupes en deux principales catgories : la technique base sur un modle de fond (model-based en anglais), et lautre base sur les proprits dune ombre (property-based en anglais). La premire mthode repose sur un modle de fond reprsentant la gomtrie de la scne, des objets et de lillumination. La deuxime mthode quant elle, exploite les proprits spectrales et gomtriques de lombre et savre tre plus robuste que la prcdente qui ne fonctionne quavec des applications particulires. Nous allons prsenter deux algorithmes de segmentation des ombres portes qui utilisent le critre dinvariance colorimtrique et une nouvelle mthode qui utilise les proprits gomtriques et spectrales des ombres. ________________________________________________________________________ 30/39
5.3.1.
Utilisation des valeurs c1 , c2 , c3
Cette mthode [5] que nous avons implmente se droule en plusieurs tapes. Tout dabord une hypothse est mise sur la prsence des ombres suivant la proprit qui stipule que lombre assombrit la zone o il apparait. Ensuite un critre dinvariance colorimtrique dans lespace c1 c2 c3 permet de localiser dventuelles zones dombres. Enfin la dernire tape confirme ou infirme les hypothses mises. Soient
I ( x, y ) = ( R( x, y ), G ( x, y ), B ( x, y ))
le
pixel
valuer
et
I ( xr , yr ) = ( R ( x r , y r ), G ( x r , y r ), B ( x r , y r )) le pixel de rfrence, o R, G, B reprsente les trois composantes couleurs, la figure ci-dessous prsente le schma de traitement employ par cette mthode.
Prdiction
S c = { ( x, y ) : R ( xr , yr ) R ( x, y ) > b1 , G ( xr , yr ) G ( x, y ) > b2 , B ( xr , yr ) B ( x, y ) > b3 } o b = (b1 , b2 , b3 ) reprsente le bruit et S c est l ' ensemble des pixels condidats
Correction
Sinv = { ( x, y ) : c1 ( xr , yr ) c1 ( x, y ) > f1 , c2 ( xr , yr ) c2 ( x, y ) > f 2 , c3 ( xr , yr ) c3 ( x, y ) > f 3 } o f = ( f1 , f 2 , f 3 ) reprsente les distorsions possibles
Dcision
S o = S c I S inv S o est l ' ensemble des pixels ombres
Figure 17 : Traitement dombres
5.3.2.
Utilisation du model YUV
Afin dutiliser la proprit dinvariance colorimtrique dune ombre, cette mthode utilise le modle YUV. Le paramtre Y reprsente la luminance (c'est--dire linformation dintensit lumineuse noir et blanc ), tandis que U et V permettent de reprsenter la chrominance (linformation couleur). Soient U et V les composantes couleurs normalises dans cette espace avec U = U Y et V = V Y . Lalgorithme de dtection dombres est le suivant [6] : ________________________________________________________________________ 31/39
Calcul de la diffrence de couleur

diff c = U e U r* + Ve Vr* o U e et Ve sont les valeurs normalises du pixel valuer P , U r et Vr sont les valeurs normalises du pixel de rfrence (modle de fond) correspondant B
Calcul de la diffrence de texture

diff t = TH P Y P Yi TH B Y B Yi
i =1 4
o P Y est la composante Y du pixel P , pour i=1..4 P Yi sont les composantes lumineuses des 4-voisins(direction verticale et horizontale) du pixel P . La fonction TH est dfinie comme suit :
1 si val > seuil TH (val ) = 0 sinon
Dcision
Si diff t = 0 et diff c < seuil _ couleur et P < B alors P est une ombre. Pour le test P < B il suffit de comparer les composants R, G et B des deux pixels
Figure 18 : Utilisation du model YUV pour le traitement dombres
5.3.3.
Mthode propose
Il sagit dune synthse des mthodes exposes prcdemment avec quelques amliorations sur le filtre des ombres et lutilisation du gradient pour dtecter les contours des ombres afin de faciliter leur limination. En effet le filtre implment jusqu prsent ne renvoyait que deux valeurs : fond(B) ou de lobjet(C). Le nouveau filtre met une hypothse sur les pixels candidats dombre ensuite aprs une tude du voisinage le pixel est class soit en ombre (S), soit en fond(B), soit de type inconnue (U). Au final on se retrouve avec une cartographie du rsultat valeur dans B, S, U et C (objet), et pour ne garder que deux valeurs (B et C) nous analysons de nouveau le voisinage en comptabilisant les valeurs autour du pixel valuer. La diffrence de gradient entre limage courante et limage du modle de fond montre que les ________________________________________________________________________ 32/39
Modlisation du fond pour la vidosurveillance __________________________________________________________________________ zones dombres prsentent un trs faible taux de gradient contrairement aux objets (Figure 20).
Figure 19 : Rsultat de la diffrence de gradient
Cette proprit qui nest pas toujours vrifie cause du bruit, combine au rsultat du nouveau filtre des ombres permet de dtecter et de supprimer les ombres dans des squences vido. La mthode de suppression dombre que nous avons adopt peut tre schmatise par la chane de traitement suivante :
Rsultat soustraction de fond (diffrence intensit/couleur)
IC : Image courante sous le format
IM : Image modle sous le format
c1 c2 c3
c1 c2 c3
Rsultat du nouveau filtre dombres
Calcul du gradient dIC
Calcul du gradient dIM
Rsultat de la diffrence de gradient
Combinaison des deux rsultats
Rsultat final
Figure 20 : Mthode propose de traitement dombres
________________________________________________________________________ 33/39
6. Rsultats et discussion
6.1. Rsultats
La premire partie du travail dimplmentation a t ladaptation des deux outils dlimination dombres des sections 5.1 et 5.2 la mthode de soustraction de fond bas sur des blocs. Par la suite, plusieurs tests ont t effectu pour tudier les faiblesses et de trouver des amliorations. Les mthodes dlimination dombres exposes dans les sections 5.3.1 et 5.3.2 ont t implmentes. Les rsultats obtenus amliorent nettement les performances des algorithmes existants mme si la mthode prsente des limitations. Ceci pourrait sexpliquer par le fait que ces mthodes de raisonnement se font lchelle pixellique tandis que celles implmentes reposent sur des blocs de 8 8 pixels. Dans cette partie nous prsenterons uniquement les rsultats de la mthode retenue (5.3.3), sur quelques exemples de vidos. Lanalyse des rsultats permettra ensuite dvaluer les performances et les limitations de la mthode propose.
________________________________________________________________________ 34/39
Image normale
Sans traitement dombres
Mthode finale
Figure 21 : Rsultats sur une scne extrieure
________________________________________________________________________ 35/39
Image normale
Sans traitement dombres
Mthode finale
Figure 22 : Rsultats sur une scne lintrieure
________________________________________________________________________ 36/39
6.1.
Performances et limitations des algorithmes
Plusieurs tests ont t effectus sur un large panel de vidos reprsentant plus de 2000 images. Lalgorithme propos permet llimination des ombres. Cependant il arrive que des trous apparaissent dans la cible lorsque celle-ci possde trs peu de gradients, ou en cas de forte ressemblance avec le modle de fond. Lune des pistes damlioration consisterait affiner la mthode de recherche de zone dombre. C'est--dire au lieu de raisonner sur des blocs de 8 8 pixels, on pourrait se ramener une chelle pixellique ou alors utiliser des blocs de taille rduite pour le traitement des ombres tout en conservant la mthode actuelle de soustraction de fond.
Figure 23 : Limite de la mthode propose
Nous avons galement observ quelques cas critiques (vidos difficiles analyser, ombres trs prononces ) o il reste quelques bruits dans le rsultat aprs le traitement des ombres (Figure 24). Ceci peut sexpliquer par le fait que les images de la vido qui sont plutt en nuance gris ce qui rend plus difficile la segmentation des ombres avec le critre couleur. La succession drosion et de dilatation effectue lors de la soustraction de fond peut aussi tre lorigine de ces dbordements sur la zone dombre. Il serait donc intressant dutiliser un critre de texture en plus ou combiner diffremment les critres que nous avons vu pour la dtection des ombres.
Sans traitement dombre
Mthode propose
Figure 24 : Exemple de cas critiques
________________________________________________________________________ 37/39
Conclusion
Ce stage de seconde anne dcole dingnieur au CEA LIST aborde un sujet de vidosurveillance, et s'intresse plus particulirement la dtection et la suppression des ombres pour loptimisation dun algorithme de soustraction de fond. Lanalyse des algorithmes existants et ltude des proprits spectrales et gomtriques des ombres ont permis la mise en place dune mthode assez robuste. Les rsultats plutt concluants ont permis lintgration de cet algorithme dans un systme de suivi d'objets modulaire bas sur un algorithme de soustraction de fond existant au CEA LIST. La mthode que nous avons dveloppe prsente toutefois des limitations qui ont t identifies. Des pistes damlioration ont t proposes pour pallier aux problmes rencontrs. De plus la plupart des mthodes de dtection et/ou de suppression des ombres rencontres dans la littrature se font lchelle pixellique. Une question fondamentale se pose donc : Le descripteur des blocs de 8 8 pixels utilis pour la soustraction de fond est-il adapt au problme de suppression dombres ? Lune des pistes damlioration consisterait affiner la mthode de traitement dombres en utilisant des blocs de tailles rduites ( 4 4, 2 2,... ) ou se ramener une chelle pixellique tout en conservant la mthode actuelle de soustraction de fond. Cependant lavantage de lapproche par bloc tant de rduire les bruits lors de la dtection des objets en mouvement, il serait peut tre intressant de combiner les critres diffremment. Ce stage ma permis la fois dacqurir de nouvelles connaissances techniques mais galement de dvelopper mon sens relationnel dans le cadre de cette insertion dans le milieu professionnel. Dun point de vue professionnel, le stage ma permis de dcouvrir le domaine de la recherche en vision par ordinateur, dy apprhender les mthodes de travail et de prendre conscience des difficults inhrentes. Grce ce riche apprentissage, jprouve dsormais un rel intrt pour le traitement dimages et la vision par ordinateur, branches qui mtaient alors peu connues lors de mon arrive au laboratoire. De plus cela ma permis de complter et dapprofondir mes connaissances acquises en programmation oriente objet et dapprhender de nouvelles notions telles que la programmation gnrique et collaborative. Pour conclure, je qualifierais cette exprience de constructive et enrichissante tant au point de vue technique que relationnel et jespre que ma prsence aura apport au sein de cette quipe autant de satisfaction qu moi-mme.
________________________________________________________________________ 38/39
Bibliographie
[1] Fatih Porikli, Oncel Tuzel. Bayesian Background Modeling for Foreground Detection. Mitsubishi Electric research Labs. [2] Fatih Porikli, Oncel Tuzel, Peter Meer. A Bayesian approach to background modeling. Computer Vision and Pattern Recognition, 2005 IEEE Computer Society Conference on Volume 3, 20-26 June 2005 Page(s):58 58. [3] C. Stauffer, and W. E. L. Grimson. Adaptive background mixture models for real-time tracking. Computer Vision and Pattern Recognition, 2: 246-252, 1999. [4] Yu-Ting Chen, Chu-Song. Chen, Chun-Rong Huang and Yi-Ping Hung: Efficient hierarchical method for background subtraction. Pattern Recognition, November 2006. [5] E. Salvador, A. Cavallaro, and T. Ebrahimi. Cast shadow segmentation using invariant color features. Computer Vision and Image Understanding 95, pages 238259, 2004. [6] Jianpeng Zhou and Jack Hoang. Real time robust human detection and tracking system. Computer Vision and Pattern Recognition, 2005 IEEE Computer Society Conference. [7] http://fr.wikipedia.org/wiki/Vidosurveillance
________________________________________________________________________ 39/39

Rapport Extraction Fonds

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Rapport Extraction Fonds

Transféré par

Droits d'auteur :

Formats disponibles

CEA/SACLAY DIRECTION DE LA RECHERCHE TECHNOLOGIQUE DEPARTEMENT DES TECHNOLOGIES DES SYSTEMES INTELLIGENTS SERVICE ARCHITECTURES ET CONCEPTION

Service Architectures et Conception

Saclay, le 21 aot 2008

DRT LIST - DTSI

Service Architectures et Conception

Modlisation du fond pour la vidosurveillance __________________________________________________________________________

Modlisation du fond pour la vidosurveillance

Znabou NGOUNGOURE Vidosurveillance, soustraction de fond, ombres

Modlisation du fond pour la vidosurveillance __________________________________________________________________________

Modlisation du fond pour la vidosurveillance __________________________________________________________________________

Modlisation du fond pour la vidosurveillance __________________________________________________________________________

Modlisation du fond pour la vidosurveillance __________________________________________________________________________

Table des figures

Modlisation du fond pour la vidosurveillance __________________________________________________________________________

Modlisation du fond pour la vidosurveillance __________________________________________________________________________

1. Prsentation du Commissariat lEnergie Atomique

Figure 1 : Implantations des 9 centres

Modlisation du fond pour la vidosurveillance __________________________________________________________________________ 1.2. Organisation

Modlisation du fond pour la vidosurveillance __________________________________________________________________________ 1.2.2. Le ple nuclaire

Modlisation du fond pour la vidosurveillance __________________________________________________________________________

2. Cadre de travail et problmatique du stage

Figure 3 : Camra de vidosurveillance

Figure 4 : Salle des moniteurs

Modlisation du fond pour la vidosurveillance __________________________________________________________________________ 2.2. Problmatique

Modlisation du fond pour la vidosurveillance __________________________________________________________________________

Figure 5 : Reprsentation matricielle d'une image

Modlisation du fond pour la vidosurveillance __________________________________________________________________________

Soustraction de fond Principe

r r r r ( x y ) 1 ( x y ) , o est la matrice de covariance.

Mthode par bloc

C ( p, pc ) = L( p ) L( pc ) , o p est un pixel du bloc Bc .

Modlisation du fond pour la vidosurveillance __________________________________________________________________________

93 174 112 80 135

185 136 133 114

102 87 127 138

Figure 8 : Exemple de soustraction de fond mthode par bloc et lapproche pixellique

Modlisation du fond pour la vidosurveillance __________________________________________________________________________

Figure 9 : Exemple de soustraction de fond mthode par bloc

Figure 10 : Problme dombre lors de la soustraction de fond

Modlisation du fond pour la vidosurveillance __________________________________________________________________________

4. Modlisation des ombres dans une image

Figure 11 : Illustration de la formation de lombre porte dun objet

Proprits spectrales dune ombre

r C ( x, y ) lit = ( Rlit , Glit , Blit ) r C ( x, y ) shadow = ( Rshadow , Gshadow , Bshadow )

Rshadow < Rlit , G shadow < Glit , Bshadow < Blit .

Proprits gomtriques dune ombre

Figure 12 : Illustration des contours de lombre

Modlisation du fond pour la vidosurveillance __________________________________________________________________________

5. Les principales tapes de lalgorithme

Cration des blobs

Elimination des blobs trop petits

Elimination des blobs ne faisant pas apparaitre de diffrence de gradient

Concentration des blobs autour de la diffrence de gradient

Figure 13 : Traitement dombres sur le critre du gradient

Figure 14 : Illustration dlimination de bruit par le critre du gradient

Modlisation du fond pour la vidosurveillance __________________________________________________________________________

Filtre des ombres

lalgorithme de classification du pixel en ombre est le suivant :

(cos( ) > cos(thresh ))

((r 1) *100) < 0

Modlisation du fond pour la vidosurveillance __________________________________________________________________________

Figure 16 : Faiblesse de la mthode existante

Modlisation du fond pour la vidosurveillance __________________________________________________________________________

Utilisation des valeurs c1 , c2 , c3