TH2013PEST1164 Complete

Thse de doctorat
prsente pour obtenir le grade de docteur

de lUNIVERSIT PARIS-EST
cole Doctorale MSTIC
Spcialit : Sciences de lInformation Gographique
Bertrand CANNELLE
Estimation de pose de grands blocs

dimages panoramiques issues de
systmes de numrisation mobile
Soutenue publiquement le 04/12/2013 devant le jury compos de :
El Mustapha MOUADDIB Prsident

Michel DHOME Rapporteurs
Pierre GRUSSENMEYER
Konrad SCHINDLER Examinateur
Nicolas PAPARODITIS Directeurs de thse
Marc PIERROT-DESEILLIGNY
Cette thse sest droule au laboratoire MATIS (Mthodes dAnalyses pour le Trai-
tement dImages et la Strorestitution) du Service de la Recherche de lInstitut National
de lInformation Gographique et Forestire (IGN).
Laboratoire MATIS
Service de la Recherche
Institut National de lInformation Gographique et Forestire
73 avenue de Paris
94165 Saint-Mand cedex FRANCE
Tlphone : 01 43 98 80 00
Rfrence BibTEX :
@PHDTHESIS{Ca13,
author = {Cannelle, B.},
title = {Estimation de pose de grands blocs dimages panoramiques
issues de syst\emes de num\erisation mobile},
school = {Universit\e {P}aris-{E}st},
year = {2013}
}
Thse B. CANNELLE i
ii Thse B. CANNELLE
Rsum
Tire par le dveloppement et la dmocratisation des globes numriques et des sys-
tmes de golocalisation grand public, la numrisation 3D mobile terrestre en milieux
urbains sest dveloppe de manire trs importante ces dix dernires annes. Les princi-
paux verrous rsiduels de ces systmes reste dune part la localisation prcise des donnes
pour certaines applications (conduite autonome urbaine, levers de gomtres, etc.) du fait
des masques et multi-trajets GPS dans les canyons urbains et dautre part le passage
lchelle du traitement de linformation vu les volumes de donnes considrables acquis
chaque jour (plusieurs To).
La premire partie de cette thse est consacre la prsentation de la numrisation
mobile, aussi bien du point de vue systme que du point de vue usage. Une description fine
du systme Stropolis V2, vhicule de numrisation mobile multi-camras dveloppe au
laboratoire MATIS de lInstitut National de lInformation Gographique et Forestire, est
faite afin de prsenter les donnes utilises dans cette thse. Les blocs dimages manipuls
dans ces travaux sont constitus de plusieurs centaines de milliers un million dimage.
La seconde partie est consacre la calibration du systme : calibration intrinsque de
camra, tout dabord, en utilisant une gomtrie dacquisition de type panoramique, qui
permet de saffranchir de rseaux de cibles 3D mtrologiques. Une calibration extrinsque
des imageurs du vhicule, ensuite, qui permet de dterminer de faon prcise la position
et lorientation de camras sur un dispositif de numrisation mobile. Deux procdures
sont dtailles et compares : lune dite "off-line" ncessitant une acquisition spcifique
avec un rseau de cibles mtrologiques et lautre dite "on-line" utilisant uniquement les
donnes dacquisition standards. Nous dmontrons que la mthode "on-line" produit dans
les mmes conditions une prcision comparable celle "off-line" tout en tant plus adapte
aux variations de conditions dacquisition in-situ.
La troisime partie dtaille le processus de compensation par faisceaux applique aux
donnes de numrisation mobile multi-camras qui permet destimer la pose dun grand
nombre dimages. La mise en quation ainsi que diffrents cas dutilisations de la mthode
sont explicits. La structuration et la gestion des donnes dans un entrept est elle aussi
dveloppe car elle permet la gestion dimportants volumes et donc le passage lchelle
tout en restant performante.
La quatrime et dernire partie propose diffrentes mthodes de recalage qui peuvent
tre utilises aussi bien de manire individuelle que combines afin de permettre de mettre
en cohrence des squences dimages distinctes (boucles, passage multi-dates, etc.) dans
des contextes applicatifs diffrents.
Mots Cls : photogrammtrie, vhicule de numrisation mobile, calibration intrinsque

de camra, calibration de vhicule de numrisation mobile, compensation par faisceaux
Thse B. CANNELLE iii

iv Thse B. CANNELLE
Abstract
Title : Bundle adjustment of large blocks of panoramic
images acquired by mobile mapping systems
Driven by the development and the democratization of digital globes and standard
geolocation systems, land mobile 3D scanning in urban areas has grown very significantly
over the past decade. The main existing locks of these systems remain, on the one hand, a
precise location for various applications (urban autonomous driving, field surveying, etc.)
due GPS masks and multipaths in urban canyons, and, on the other hand, the scalability
of developed processes given the considerable volume of data acquired every day (several
TerraBytes).
The first part of this thesis is devoted to the presentation of mobile mapping, both
from the system point of view and from the application one. A detailed description of
the Stropolis V2 system, the multi-camera mobile mapping system developed in the
MATIS laboratory of the IGN (the French National Mapping Agency) and of the data
used in this thesis will be presented. The image blocks that are handled in this work are
composed of several hundred thousands up to one million images.
The second part deals with the calibration of the system : intrinsic camera calibration
is first tackled using a panoramic-based acquisition geometry, which allows to discard
network 3D metrology targets. Extrinsic image calibration vehicle is then performed for
accurately determining the position and orientation of the cameras on a movable scan-
ning device. Both procedures are detailed and compared : a so-called "off-line" procedure
requiring specific acquisition with a network of metrology targets and another one cal-
led "on-line" using no specific acquisition. We show that the "on-line" method produces
results similar to the "off -line" while being less sensitive to local environment variations.
The third section details the bundle adjustment process, specific to multi-camera mo-
bile mapping system, to estimate the pose of a large number of images. Problem formu-
lation and various use cases of the method are explained. Structuring and management
of data in a warehouse are also developed since it allows to handle large data volumes
and, consequently, a suitable solution for the problem upscaling while remaining efficient
in terms of accuracy.
The fourth and final part offers different registration methods that can be used both
individually and in a combined manner in order to enable to provide consistent sequences
of images in various conditions (loops, different periods acquisition , etc.).
Keywords : photogrammetry, mobile mapping system, camera calibration, system cali-

bration, bundle adjustment
Thse B. CANNELLE v
vi Thse B. CANNELLE
Remerciements
Cette page prend un sens particulier pour moi parce quelle marque la fois la fin de
mon travail de thse, mais aussi mon dpart vers dautres horizons. Je souhaite donc
travers ces quelques lignes remercier toutes les personnes qui ont contribu ce travail de
thse et mon aventure au MATIS.
Tout dabord je souhaite remercier les personnes linitiative de ce travail : Didier
BOLDO et Nicolas PAPARODITIS, chefs successifs du laboratoire MATIS, ainsi que
Patrice BUESO et Bndicte BUCHER, chefs successifs du service de la recherche de
lIGN.
Je souhaite galement remercier Marc PIERROT-DESEILLIGNY et Nicolas
PAPARODITIS pour mavoir dirig et encadr. Jai beaucoup appris vos cots. Jespre
que mon travail a rpondu vos attentes !
Je souhaite ensuite remercier les membres du jury qui ont eu la patience de lire
ces pages et dvaluer mon travail : Michel DHOME et Pierre GRUSSENMEYER pour
avoir accept la fonction de rapporteur ainsi que El Mustapha MOUADDIB et Konrad
SCHINDLER pour avoir accept celle dexaminateurs. Vos remarques et vos questions
mont permis de prendre du recul sur mon travail et de progresser. Merci pour tout !
Merci ensuite aux matinaux du MATIS : Jrme, Fabrice, Clment, Nicolas D., Fabien
et Jean-Pascal pour les (longues) discussions changes au caf qui mont toujours permis
de dmarrer la journe du bon pied.
Merci Jean-Pierre, toujours disponible aussi bien pour acqurir des donnes en v-
hicule, pour raliser des programmes permettant de faire tout et nimporte quoi ainsi que
pour partager son exprience. Jai beaucoup appris tes cots !
Merci Franois, puis David Co. qui mont permis de travailler dans des conditions
matriels toujours parfaites. Merci David Ca., pour sa patience et sa technicit aussi
bien en Linux quen administrateur PostgreSQL.
Un merci tout particulier Marie-Claude au moment dcrire ces lignes, qui ma initi
aux joies des dmarches administratives avec une grande disponibilit.
Merci toutes les personnes que jai ctoy au quotidien : Alexandre H., Bahman,
Rmi, Emmanuel, Isabelle, Narut, Neelanjan, Lijun, Abdalbassir, Wen, Bruno, Arnaud,
Adrien, Jean-Christophe, Antonio, Lmn, Mathieu Br., Murat, Lionel, Alexandre D.,
Mathieu Be., Quoc-Dinh, Patrick, Erwann, Mahzad, Corina, Daniela, Olivier, Adrien
C., Mlanie D, Mlanie S., Lionel P. ... qui mont permis de passer dagrables moments.
Merci Clment et Samuel, ainsi que Nicolas D. et Emmanuel et enfin Papa et Philippe
davoir relu ce manuscrit de nombreuses fois afin darriver au rsultat qui est prsent
ici.
Thse B. CANNELLE vii

Merci mes parents qui ont toujours t prsents pour me soutenir.
Merci enfin La, qui ma toujours soutenu, encourag et qui ma permis de mener
bien ce travail. Un merci aussi mes trois enfants qui mont laiss, de temps autres,
travailler la maison et qui me font dcouvrir chaque jour les joies de la vie de famille.
viii Thse B. CANNELLE

Notation
x, y et z seront les vecteurs de base dans R3 du rfrentiel terrain (respectivement

t
(1, 0, 0), t (0, 1, 0) et t (0, 0, 1))
i, j et k seront les vecteurs de base dans R3 du rfrentiel image
RA,B matrice de passage du repre A au repre B
TA,B translation entre le repre A et le repre B
MA point exprim dans le repre A
Thse B. CANNELLE ix
x Thse B. CANNELLE
TABLE DES MATIRES
Table des matires
Rsum iii
Abstract v
Remerciements vii
Notation ix
Table des matires xiii
I Introduction 1
1 Rvolution lie la numrisation mobile 1
1.1 Numrisation mobile ................................................................................ 1
1.2 Vhicules de numrisation mobile............................................................. 3
1.3 Types et utilisations des donnes ............................................................. 4
2 Contexte 7
2.1 Utilisation de la numrisation mobile par lIGN ....................................... 7
2.2 Stropolis ............................................................................................... 8
2.3 Motivations ............................................................................................. 17
2.4 Prsentation des donnes utilises dans la thse ....................................... 19
2.5 Problmatiques ........................................................................................ 24
2.6 Approche propose et organisation du manuscrit...................................... 24
II Calibration de systmes de numrisation mobile 27
3 Calibration intrinsque de camra 31

3.1 tat de lart ............................................................................................ 31
3.2 Autocalibration panoramique ................................................................... 40
4 Calibration de systmes multi-camras embarqu sur vhicule 55

4.1 Motivations ............................................................................................. 55
4.2 tat de lart ............................................................................................ 56
4.3 Formulation du problme ......................................................................... 58
Thse B. CANNELLE xi
TABLE DES MATIRES
4.4 Calibration sur polygone dite mthode Off-Line .................................. 60

4.5 Calibration par les donnes dite mthode On-Line .............................. 68
4.6 Comparaison des mthodes ...................................................................... 74
4.7 Conclusion............................................................................................... 77
III Mthodes et outils pour la mise en gomtrie de grands

blocs dimages 79
5 Appariement et filtrage de points dintrt 83

5.1 Points dintrts....................................................................................... 83
5.2 Appariement............................................................................................ 86
5.3 Gestion de gros volumes de donnes ......................................................... 89
5.4 limination des erreurs ............................................................................ 90
6 Gestion des mesures en base de donnes pour un passage lchelle 95

6.1 Systme de fichiers................................................................................... 95
6.2 Base de donnes....................................................................................... 96
6.3 Conclusion............................................................................................... 99
7 Mthodologie et outils 101

7.1 Principe et intrt.................................................................................... 101
7.2 Formulation mathmatique ...................................................................... 102
7.3 Droulement des processus....................................................................... 104
7.4 Exemples de processus ............................................................................. 105
7.5 Conclusion............................................................................................... 107
IV Localisation relative et absolue de systmes de numrisa-

tion mobile base image 109
8 Recalage de trajectoire sur des points dappui externes 113

8.1 Relvement .............................................................................................. 113
8.2 Extrapolation des relvements individuels lensemble de la trajectoire ... 117
8.3 Recalage ponctuel de trajectoire............................................................... 118
9 Recalage multi-passages de la trajectoire 121

9.1 Gestion individuelle des intersections et passages multiples....................... 121
9.2 Graphe de panoramiques.......................................................................... 128
9.3 Algorithme de dcoupages........................................................................ 135
9.4 Evaluation de la qualit de recalage ......................................................... 138
9.5 Conclusion............................................................................................... 140
10 Recalage interne et externe de la trajectoire 143
xii Thse B. CANNELLE

TABLE DES MATIRES
10.1 Utilisation conjointe de contraintes relatives et de relvement................... 143

10.2 Utilisation de points dappui le long de la trajectoire................................ 144
11 Conclusion sur lamlioration de trajectoire 147

11.1 Rcapitulatif des mthodes ...................................................................... 147
11.2 Bilan ....................................................................................................... 147
V Conclusion et perspectives 149
12 Conclusion 151
12.1 Contributions marquantes ........................................................................ 151
12.2 Points amliorer.................................................................................... 152
13 Perspectives 153
13.1 Amlioration du processus de calcul de trajectoire ................................... 153
13.2 Passage lchelle.................................................................................... 154
13.3 Utilisation de primitives........................................................................... 155
Bibliographie 155
A Diffrentielle de la formule image 173

A.1 La formule image .................................................................................... 173
A.2 Outils et notations ................................................................................... 173
A.3 Drives Partielles.................................................................................... 174
B Matrices Creuses 177

B.1 Mthodes de Stockage.............................................................................. 177
B.2 Oprations............................................................................................... 178
C Dtermination de la position dun point issu de plusieurs droites 179
Publications 181
Thse B. CANNELLE xiii

TABLE DES MATIRES
xiv Thse B. CANNELLE

TABLE DES FIGURES
Table des figures
1.1 Exemple de donnes laser......................................................................... 6

1.2 Utilisations des donnes image. ................................................................ 6
2.1 Stropolis V1. ........................................................................................ 9

2.2 Le vhicule Stropolis V2 et ses capteurs. ............................................... 9
2.3 Capteurs laser du Stropolis V2.............................................................. 9
2.4 Exemples de donnes acquises simultanment par deux Riegl plans. ......... 10
2.5 Exemples de donnes acquises par le LiDaR Velodyne HDL-64E. ............. 10
2.6 Configurations possibles de disposition de camras sur un vhicule de nu-
mrisation mobile. ................................................................................... 11
2.7 Disposition des camras sur le vhicule. ................................................... 12
2.8 Camras du Stropolis V2. ..................................................................... 12
2.9 Exemples de panoramiques. ..................................................................... 13
2.10 Capteurs du systme de positionnement PosLV 220.................................. 15
2.11 Schma de la procdure de gorfrencement en temps rel. ..................... 16
2.12 Histogramme reprsentant le nombre de panoramiques en fonction du nombre
de satellites GPS visibles pour un chantier standard................................. 17
2.13 Nombre de satellites visibles en fonction du temps pour 5 trajectoires li-
naires. .................................................................................................... 18
2.14 Zones dvaluation de la prcision relative du systme. ............................. 20
2.15 carts en altitude entre les diffrentes trajectoires pour chaque zone. ....... 21
2.16 carts entre la position du Stropolis et les points de rfrences. ............ 22
2.17 cart entre la position de Stropolis et les points de rfrences en tenant
compte de la continuit temporelle. .......................................................... 22
2.18 Reprsentation de lcart et de son incertitude entre la position de Stro-
polis et les points de rfrence.................................................................. 23
2.19 Reprsentation de lcart en fonction de lincertitude................................ 23
2.20 Organisation de la thse........................................................................... 25
Thse B. CANNELLE xv
TABLE DES FIGURES
3.1 Modlisation dune camra (modle stnop)............................................ 32

3.2 Illustration de la distorsion dans les images. ............................................. 33
3.3 Illustration de la distorsion radiale. .......................................................... 34
3.4 Illustration des distorsions radiale et tangentielle...................................... 34
3.5 Illustration de la distorsion complexe. ...................................................... 35
3.6 Le systme Cyclopolis .............................................................................. 41
3.7 Illustration de la prsence de parallaxe..................................................... 42
3.8 Configuration de deux images en gomtrie panoramique. ........................ 42
3.9 Polynmes de distorsion des camras simules (cf tableau 3.3).................. 45
3.10 Points servant pour la simulation de mesures homologues......................... 45
3.11 Influence du bruit sur la dtermination de la focale. ................................. 46
3.12 Influence du bruit sur la dtermination du PPA. ...................................... 46
3.13 Influence du bruit sur la dtermination du modle de distorsion. .............. 47
3.14 Influence de la parallaxe sur la dtermination de la focale et du PPA. ...... 48
3.15 Influence de la parallaxe sur la dtermination du modle de distorsion. .... 49
3.16 Site dexprimentation pour la calibration de camra. .............................. 50
3.17 Traitement des donnes de Cyclopolis. ..................................................... 51
3.18 Histogrammes des rsidus aprs compensation de la panoramique. ........... 52
4.1 carts sur la mesure image lors dun dfaut de montage........................... 56

4.2 Prsentation des diffrents repres utiliss. ............................................... 59
4.3 Cibles et dtails mesurables par topomtrie et dans les images. ................ 60
4.4 Polygone de calibration pour Stropolis V2............................................. 61
4.5 Calibration Off-Line du Stropolis V2 ............................................... 61
4.6 Configuration de lacquisition lors de la phase de calibration. Les points
dappui sont en gris et les positions de panoramiques en rouge. ................ 62
4.7 Histogramme des rsidus sur les mesures image aprs calibration.............. 64
4.8 Comparaison de la texturation des faades des batiments avec les images
du vhicule sans tenir et en tenant compte de la calibration. .................... 65
4.9 Configuration de lacquisition lors de la phase de contrle de la calibration. 66
4.10 Histogrammes des rsidus sur les mesures image. ..................................... 66
4.11 Histogramme des rsidus sur les points de contrle en tenant compte de la
calibration. .............................................................................................. 67
4.12 tapes ncessaires la calibration On-Line . ....................................... 68
4.13 Calibration On-Line ........................................................................... 70
4.14 Histogrammes des rsidus sur les mesures image. ..................................... 71
xvi Thse B. CANNELLE

TABLE DES FIGURES
4.15 Histogramme des rsidus sur les points de contrle................................... 71

4.16 Zone de tests des diffrentes configurations............................................... 72
4.17 Rsultats des diffrentes configurations. ................................................... 73
4.18 Comparaison entre les processus de calibration......................................... 74
4.19 Accumulation des mesures image utilises lors de la phase de calibration
dans le plan image de chaque camra. ...................................................... 76
5.1 Masque de points dintrt ....................................................................... 85

5.2 tapes de la phase dappariement ............................................................ 87
5.3 Illustration de la stratgie pour le calcul dappariement............................ 89
5.4 Illustration des tapes du calcul des mesures homologue sur un gros volume
de donnes. .............................................................................................. 90
5.5 Exemple dappariement entre deux couples conscutifs ............................. 91
5.6 Exemples dappariement. ......................................................................... 91
5.7 Caractristiques extraites pour chaque point homologue. .......................... 92
5.8 Schma de la classification par SVM. ....................................................... 93
6.1 Schma explicatif du systme de fichiers mis en place pour un accs rapide
aux donnes. ............................................................................................ 96
6.2 Implmentation du schma de notre base de donnes................................ 98
6.3 Influence du temps de renvoi des requtes en fonction du type dindexation. 99
7.1 Principe de la compensation par faisceaux................................................ 101

7.2 Illustration de la compensation par faisceaux. .......................................... 102
7.3 Illustration du remplissage de la matrice dobservation. ............................ 105
7.4 Schma expliquant lenchanement des tapes ......................................... 106
8.1 Principe du relvement. ........................................................................... 113

8.2 Configuration pour tester le processus de relvement. ............................... 115
8.3 Illustration du processus de relvement. ................................................... 115
8.4 Histogramme de rpartition de la prcision du relvement ........................ 116
8.5 Procdure de relvement .......................................................................... 116
8.6 Principe de la gestion de trajectoire. ........................................................ 117
8.7 Exemples dutilisations de la gestion de trajectoire................................... 118
8.8 Principe de lutilisation du relvement pour le recalage en absolu. ............ 118
8.9 Trajectoire pour lexprimentation. .......................................................... 119
8.10 Reprsentation de lerreur de positionnement en fonction de la distance
une panoramique connue.......................................................................... 120
Thse B. CANNELLE xvii

TABLE DES FIGURES
9.1 Recalage 3D/3D ...................................................................................... 122

9.2 Rsidus 3D aprs recalage 3D/3D sur lexemple (a).................................. 122
9.3 Rsidus 3D aprs recalage 3D/3D sur lexemple (b).................................. 123
9.4 Principe de notre mthode de recalage 2x2............................................... 124
9.5 Influence de la valeur du seuil minimum sur le module 2x2....................... 126
9.6 Influence de la calibration sur le processus de recalage ............................. 127
9.7 Histogramme reprsentant le nombre de points homologues actifs aprs
compensation par couples. ....................................................................... 128
9.8 Histogramme reprsentant le ratio entre le nombre de points homologues
actifs aprs compensation et le nombre de points homologues initial......... 129
9.9 Stratgies possibles pour la cration du graphe de panoramiques. ............. 130
9.10 Algorithme dAlpha Shape ....................................................................... 130
9.11 Illustration de lalgorithme dAlpha Shape avec les panoramiques............. 131
9.12 Influence du paramtre sur le graphe de panoramiques.......................... 132
9.13 Exemple de graphe de panoramiques........................................................ 133
9.14 Influence de la rorganisation des sommets sur la matrice normale. .......... 134
9.15 tapes de lalgorithme pour calculer le recalage relatif. ............................ 136
9.16 Nombre de recalage 2x2 calculer en fonction de la distance entre panora-
miques. .................................................................................................... 138
9.17 Zones dtudes choisies pour tester notre algorithme de recalage............... 140
10.1 Principe de lutilisation du relvement et de contraintes relatives pour le

recalage en absolu. ................................................................................... 143
10.2 Principe de lutilisation des mesures images pour le recalage en absolu. .... 144
10.3 Zone dexprimentation pour lutilisation de points dappui le long de la
trajectoire................................................................................................ 145
11.1 Illustration de lintrt de recaler la trajectoire......................................... 147
13.1 Systme idal destimation de pose et de calcul de trajectoire................... 154

13.2 Principe de la compensation par blocs...................................................... 154
xviii Thse B. CANNELLE

LISTE DES TABLEAUX
Liste des tableaux
1.1 Vhicules de recherche en numrisation mobile. ........................................ 3

1.2 Solutions professionnelles pour la numrisation mobile. ............................ 5
2.1 Spcification du systme PosLV 220. ........................................................ 16
3.1 Formules gnrales des familles de distorsion. ........................................... 36

3.2 Diffrence de calibration par rapport au choix du modle de distorsion..... 38
3.3 Caractristiques des quatres camras simules (en pixels). ........................ 44
3.4 Valeurs des calibrations avec et sans parallaxe sur les donnes relles et
simules. .................................................................................................. 52
4.1 Norme L2 des rsidus image par camra, avant et aprs calibration. ......... 63
4.2 Rsultats sur le site de contrle des mthodes Off-Line et On-Line . 75
5.1 Statistiques par camra sur les points dintrt extraits. ........................... 84
5.2 Nombre de mesures homologue appareilles bonnes et mauvaises en fonction
du nombre de meilleurs voisins................................................................. 88
5.3 Rsultats de la classification des mesures bonnes et mauvaises par SVM... 94
8.1 carts de positions sur les points de contrle............................................ 119
9.1 Statistiques sur les mesures la fin du processus 2x2 en fonction du seuil
minimum. ................................................................................................ 127
9.2 Influence de la rorganisation des sommets sur la matrice normale. .......... 135
9.3 Ratio optimal entre les recalages 2x2 et la trajectoire. .............................. 139
9.4 Rsidus sur les points de controle aprs recalage en fonction de la distance
entre panoramiques.................................................................................. 139
9.5 carts en altitude entre les diffrentes trajectoires pour chaque zone. ....... 141
10.1 carts de positions sur les points de contrles. ......................................... 144

10.2 Rsidus sur les zones de contrle terrain et image..................................... 146
Thse B. CANNELLE xix

LISTE DES TABLEAUX
11.1 Rcapitulatif des diffrentes techniques de recalages possibles................... 148
xx Thse B. CANNELLE
Premire partie
Introduction
Thse B. CANNELLE 1
1. Rvolution lie la numrisation mobile
Chapitre 1
Rvolution lie la numrisation

mobile
1.1 Numrisation mobile
1.1.a Dfinition
La numrisation 3D (Mobile mapping en Anglais) est la discipline qui permet de
collecter de limagerie 3D et/ou lasers gorfrencs partir de plates-formes mobiles
pour rpondre aux besoins de nombreuses applications qui sont listes ci-aprs.
Cest une mthode complmentaire aux systmes traditionnels qui utilisent des tech-
nologies ariennes ou spatiales [McGlone et al., 2004]. En effet, lheure actuelle, il est
trs difficile de distinguer depuis le ciel le fond des rues dans les centres villes et de cap-
turer les faades des btiments, notamment pour des applications de texturations fines
et de modlisation dtaille. Ces dernires annes, la prise de vue arienne oblique sest
dveloppe, par exemple [Petrie, 2009], mais ne permet pas dimager le fond des rues
en toute situation. Pour pallier ce problme avec les mthodes traditionnelles, il faudrait
que les avions volent trs basse altitude. Ces conditions dacquisition sont en pratique
irralisables :
un volume de donnes grer trs important (plusieurs centaines de GigaOctets),
une autorisation de vol spcifique afin de voler trs bas de plus en plus difficile
obtenir pour les agglomrations importantes.
La numrisation mobile est surtout laboutissement des progrs technologiques concer-
nant :
le matriel informatique : accroissement des capacits de stockage 1 et de transfert 2

des donnes tout en tant de plus en plus lgers, plus compactes et peu coteux 3 .
linstrumentation : b
1. 50 Mo en 1990, 500 Mo en 1994, 20 Go en 2000 et 500 Go en 2007.
2. port srie RS232 : 15 Ko/sec, USB 1.0 [1996] : 1,5 Mo/sec, USB 2.0 [2000] : 60 Mo/sec , firewire
800 [2002] 100 Mo/s (Les dates sont donnes titre indicatif et concernent la diffusion grand public.
Des carts peuvent tre constats entre les dates de finalisations des normes et les dates de premires
fabrications ou dutilisation).
3. 10 e/ Mo en 1990, 0.02 e/ Mo en 2000, 0.00001 e/ Mo en 2012.
Thse B. CANNELLE 1
Chapitre 1. Rvolution lie la numrisation mobile
les capteurs images accroissement de la rsolution, diminution du temps de pose,

augmentation du rapport signal sur bruit et augmentation des cadences dac-
quisition,
les capteurs lasers augmentation de la densit de points, de la prcision de me-
sure et de la frquence dacquisition (aujourdhui plusieurs centaines de Hz),
capacit denregistrer plusieurs retours par mesure laser.
le positionnement : dveloppement des rseaux de positionnement par satellites (ap-
pels aussi GNSS pour Global Navigation Satellite System) ainsi que des rseaux
permanents. Plusieurs systmes existent lheure actuelle : le systme amricain
GPS [Duquenne et al., 2005] [GPS, 2012], le systme russe GLONASS [GLONASS,
2012] et le systme europen GALILEO [Barlier, 2008], [GALILEO, 2012].
Lhybridation du GNSS avec dautres capteurs (acclromtres, gyromtres, magn-
tomtres) a aussi permis damliorer la position et lorientation des systmes de
positionnement (mthode prsente dans [Duquenne et al., 2005] et de nombreuses
solutions algorithmiques existent dans la littrature comme [Won et al., 2010]).
Toutes ces avances ont permis de faciliter lintgration des capteurs et des systmes
denregistrements sur des vhicules des fins cartographiques. La section suivante prsente
quelques applications de la numrisation mobile.
1.1.b Applications de la numrisation mobile

La numrisation mobile permet de rpondre diffrents besoins comme :
La diffusion au grand public qui permet chacun de naviguer de manire immersive
dans des images comme Google Maps [Anguelov et al., 2010; Google, 2012] ou
Microsoft Bing Carte StreetSide [Streetside, 2012]
La modlisation de la ville qui permet dobtenir des modles 3D fins de faades [B-
nitez et al., 2010]. La socit VirtuelCity [VirtuelCity, 2012] modlise les villes en 3D
la fois grce des donnes ariennes et terrestres, constitue des bases de donnes
3D urbaines : le produit Carto3D (en partenariat avec lIGN) [Carto3D, 2012], et
produit des ortho-photos de faades.
La restitution participative qui permet grce lextraction dobjets 4 , de faon au-
tomatique ou manuelle, de localiser une multitude dinformations [Devaux et al.,
2012],[Devaux et Paparoditis, 2010] puis de les mettre en base de donnes.
La cartographie 3D urbaine qui permet de reprsenter les informations ncessaires
pour simuler limpact de nouvelles technologies. Par exemple la socit Siradel [SI-
RADEL, 2012] tablit des cartes dexposition de champs magntiques et propose
des amliorations de couverture de rseaux de tlphonie.
La numrisation du patrimoine routier avec par exemple la socit Viametris [Via-
metris, 2012] ou encore Immergis [Immergis, 2013] qui numrisent et vrifient la
cohrence de la signalisation routire entre une base de donnes routires et la ra-
lit. Cela permet de mettre jour, par exemple, les GPS daide la conduite en
corrigeant les limitations de vitesse et les sens uniques.
4. textes, mobilier urbain, marquages au sol, fentres, faades
2 Thse B. CANNELLE
1.2. Vhicules de numrisation mobile
1.1.c Limitations
La principale limitation des procds actuels de numrisation mobile rside dans la
qualit du gorfrencement absolu et linteroprabilit automatique entre les donnes.
Raliser ces oprations manuellement nest ni optimal ni rentable cause notamment
du volume de donnes de plus en plus important. Comment raliser ces oprations sur
une ville de grande taille comme Paris et quel cot ?
Aprs avoir introduit la notion de numrisation mobile, nous allons nous intresser
aux vhicules qui permettent de la raliser.
1.2 Vhicules de numrisation mobile

La numrisation mobile a t initie au dbut des annes 1990 par [Schwarz et al., 1993]
avec des travaux sur le couplage GPS/INS/images. Le but de ces travaux tait damliorer
la localisation de vhicules en mouvement en utilisant limage en plus du GPS et de
lINS. En effet une camra permet de calculer des dplacements relatifs lors de passages
multiples sur une mme zone (carrefours, intersections), ce que ne peuvent pas faire les
capteurs GPS/INS qui ne font que des successions de mesures temporelles. Ensuite de
nombreuses quipes de recherches se sont quipes de vhicules pour rpondre diffrentes
problmatiques en intgrant diffrents capteurs pour rpondre diffrents besoins. Le
tableau 1.1 prsente quelques vhicules de recherche ainsi que leurs applications. Pour
complter cet inventaire le lecteur pourra se rfrer ceux raliss par [Ellum et El-
Sheimy, 2002], [Peter et al., 2004] ou encore [Tao et Li, 2007].
Nom du Vhicule Institut Applications Publication

Cartographie [Schware et al., 1993],
VISAT Laval, Canada
Levs [El-Sheimy, 1996]
Ohio State
Cartographie [Grejner-Brzezinska,
GPSVan University,
Levs 1996]
E.U.
PhotoBus EPFL, Suisse Levs daxes routier [Gontran et al., 2005]
Estimation de trajec-
toire [Paparoditis et al., 2005]
Stropolis 1 et 2 IGN, France
Modlisation 3D [Paparoditis et al., 2012]
Extraction dobjets
Estimation de trajec-
Mines de Paris,
Lara3D toire [Goulette et al., 2006]
France
Modlisation de route
Pacpus UTC, France Navigation autonome [UTC, 2012]
Cartographie
Road-Scanner Bologne, Italie [Gandolfi et al., 2008]
Levs
Corrlation dense
KIT, Alle-
KITTI car Extraction dobjets [Geiger et al., 2012]
magne
Flot optique
Table 1.1 Vhicules de recherche en numrisation mobile.
Aujourdhui, de nombreuses solutions commerciales existent aussi bien pour le systme
Thse B. CANNELLE 3
de calcul de trajectoire que pour les capteurs image et/ou laser. Certaines fournissent des
vhicules nayant que des capteurs lasers [Puente et al., 2011], dautres ne produisent que
des images [Petrie, 2010]. Enfin certains contiennent les deux technologies [Petrie, 2010].
Ces diffrences de conception sont dues principalement lutilisation finale des donnes :
pour des applications de mtrologie (extraction de pentes, de modles numriques de sur-
face et extraction automatique dobjets), les lasers sont suffisants ; pour des applications
de navigation et dextractions et de reconnaissance dobjets, limage devient ncessaire
(identification de panneaux de direction par exemple). Le tableau 1.2 prsente quelques
systmes constructeurs avec les technologies et les applications potentielles prvues.
Tous ces vhicules sont munis dun systme de positionnement (GPS/INS) capable
de le positionner dans une rue avec une prcision mtrique, par contre peu de solutions
utilisent la redondance dinformation pour amliorer le positionnement. Autrement dit
deux acquisitions ralises dans la mme rue ne seront pas directement superposables et il
faudra une opration de recalage pour pouvoir les utiliser conjointement. Dautre part, les
prcisions de positionnement sont indiques lorsque la rception GPS est optimale (pertes
de signaux GPS sur des laps de temps trs courts), ce qui nest gnralement pas le cas
surtout en milieu urbain.
1.3 Types et utilisations des donnes

Nous allons maintenant nous intresser aux diffrents types de donnes ainsi qu leurs
utilisations. Nous ferons la diffrence entre les technologies laser et image qui ont leurs
propres usages.
1.3.a Lasers
Les donnes lasers obtenues par les systmes dacquisition ont diffrents usages. Lun
deux est la visualisation (figure 1.1.a). Un autre concerne la dtection et la mesure dobjets
(figure 1.1.b) : largeur de route, hauteur de pont, gabarit urbain ou la reconnaissance
dobjets (pitons, poteaux...). Lorsque le laser peut acqurir un objet en entier dans un
laps de temps trs court, la prcision est directement lie la prcision intrinsque du
laser (de lordre du centimtre [Riegl, 2013], [Velodyne, 2012]). Lorsque lobjet ne peut
pas tre mesur sur une mme acquisition, le vhicule doit effectuer plusieurs passages
successifs avec un cart temporel consquent (plusieurs dizaines de secondes). La prcision
attendue dpend alors directement de celle du systme de positionnement.
4 Thse B. CANNELLE
1.3. Types et utilisations des donnes
Socit Vhicule Capteurs Applications

GPS
IMU
Google Car odomtre
Visualisation 3D
[Anguelov et al., 2010]
2 lasers
8 camras
GPS
IMU
Optech
Modlisation 3D
[Ussyshkin, 2009]
3 lasers
(4 camras)
GPS
IMU
RIEGL VMX-450 odomtre
Modlisation 3D
[Riegl, 2012]
2 lasers
(6 camras)
GPS
IMU Modlisation 3D
Street Mapper
Classification
[StreetMapper, 2012]
2 lasers Levs dobjets
2 camras
GPS
IMU
TopCon odomtre Modlisation 3D
[TopCon, 2012] Levs dobjets
2 lasers
camra 360
GPS
IMU
Modlisation 3D
Trimble MX8 odomtre
Levs dobjets
[Trimble, 2012]
Inspection routire
2 lasers
4 camras
GPS
IMU
odomtre
Siteco Modlisation 3D
[Siteco, 2012] Levs dobjets
3 lasers
8 camras
1 profilomtre
Table 1.2 Solutions professionnelles pour la cartographie mobile. Les capteurs entre
parenthse signifient quils sont en option.
Thse B. CANNELLE 5
(a) (b)
Figure 1.1 Exemple de donnes laser. (a) Visualisation de nuages sur les Champs-
lyses Paris. (b) Mesures de volumes partir des donnes lasers [Paparoditis et al.,
2012].
1.3.b Images
Les images acquises pour la numrisation mobile ont diffrents usages. Le premier
est un usage de visualisation. Pour cette application, il suffit de connatre la topologie 5
des images pour pouvoir naviguer de manire fluide dans les donnes. On peut citer par
exemple Google qui diffuse ses donnes dans son systme GoogleStreetView [Google, 2012]
ou encore Itowns [Devaux et Paparoditis, 2010] (figure 1.2.a). Le second usage concerne
lenrichissement de modles existants cest--dire bnficier de la rsolution des images
acquises depuis la rue afin de plaquer ses textures sur des modles 3D fabriqus soit
partir dimages ariennes (figure 1.2.b), ou de plans topographiques. Pour ce dernier
usage, une prcision absolue et relative de lordre du centimtre est souhaite. De mme
quil est ncessaire de pouvoir mettre en cohrence des missions acquises des poques
diffrentes afin de pouvoir faire de la dtection de changements.
(a) (b)
Figure 1.2 Utilisations des donnes image. (a) visualisation travers le web (source
[Devaux et Paparoditis, 2010]). (b) modle gnr et textur partir dimages.
Aprs avoir prsent la numrisation mobile dans son ensemble nous allons nous in-
tresser au contexte de cette thse qui est la cration et lutilisation dun vhicule de
numrisation mobile lInstitut National de lInformation Gographique et Forestire.
5. quelle(s) image(s) se trouve(nt) avant et/ou aprs celle que je suis en train de visualiser.
6 Thse B. CANNELLE
2. Contexte
Chapitre 2
Contexte
2.1 Utilisation de la numrisation mobile par lIGN
LInstitut National de lInformation Gographique et Forestire (IGN) a pour voca-

tion de dcrire, dun point de vue gomtrique et physique, la surface du territoire national
et loccupation de son sol (...) 1 Les images ariennes sont le support qui permet de car-
tographier le territoire et de mettre jour les bases de donnes 2D et 3D. Celles-ci sont
acquises par des camras numriques embarques dans des avions. Les diffrents proces-
sus de la chane production photogrammtrique (compensation par faisceaux, restitution,
corrlation) permettent dextraire les donnes utiles pour raliser des cartes. Linformati-
sation des processus de traitements a conduit la cration des bases de donnes 3D mais
toujours partir de donnes ariennes. Ces dernires annes, les modles 3D se sont d-
velopps, la fois pour de la visualisation mais aussi pour raliser des simulations (bruit,
implantation de relais tlphonique...). LIGN, grce au produit Bati3D [IGN, 2013], a pu
rpondre en partie cette demande pour un nombre limit de villes. Le principal inconv-
nient de ce produit rside dans le fait quil est fabriqu partir dimages ariennes ce qui
ne permet pas de modliser finement les faades (emprise au sol, balcon, dcrochement
du toit...). Afin de pallier cette difficult et denrichir ses bases de donnes, le labora-
toire MATIS, un des quatre laboratoires de recherche de lIGN 2 a dvelopp un vhicule
capable dacqurir les donnes depuis la rue afin de complter les images ariennes : le
systme dacquisition Stropolis. Ce projet va tre dcrit de manire dtaille dans la
section suivante.
1. Dcret 2011-1371 du 27 octobre 2011.

2. Le service de la recherche de lIGN comporte 4 laboratoires spcialiss chacun sur une thmatique
prcise :
COGIT Conception Objet et Gnralisation de lInformation Topographique, spcialis en Systmes

dInformation Gographique et Cartographie
LAREG Laboratoire de Recherches en Godsie
LOEMI Laboratoire dOpto-lectronique et de Micro-Informatique, spcialis en Instrumentation
MATIS Mthodes dAnalyses pour le Traitement dImages et la Strorestitution, spcialis en Photo-

grammtrie et traitement dimages
Thse B. CANNELLE 7
Chapitre 2. Contexte
2.2 Stropolis
Dans cette section, nous allons prsenter lhistorique du projet puis nous prsenterons
le vhicule actuel, dont les donnes ont t utilises durant cette thse.
2.2.a Historique
Le premier vhicule Stropolis a t ralis au dbut des annes 2000. Lobjectif tait
de crer un nouvel outil dacquisition capable, grce aux donnes acquises, denrichir les
bases de donnes existantes 3 et de crer un Rfrentiel Grande chelle (RGE) nouvelle
gnration contenant par exemple les hauteurs de trottoir, le mobilier urbain (poteaux,
bancs, arrts de bus) ou le positionnement prcis des adresses. Les camras numriques
dveloppes au laboratoire LOEMI de lIGN taient suffisamment abouties pour pouvoir
les disposer sur un vhicule munis de mts (cf. figure 2.1). Elles disposaient dune grande
rsolution (pour lpoque) de 16 Mga pixels et une dynamique de 12 bits [Thom et
Souchon, 1998, 2001]. La figure 2.1 prsente le Stropolis V1. Le positionnement des
images tait assur uniquement par GPS (les antennes sont visibles sur la figure 2.1
aux sommets des mts). Le vhicule comportait quatre camras rparties en deux bases
stroscopiques :
Arrire permettant la mesure dobjet sur la chausse,
Latrale permettant la mesure dobjet sur les faades.
De nombreux travaux ont t fait partir des donnes acquises par le vhicule :
[Bentrah et al., 2004] reconstruit la gomtrie dacquisition de squences dimages
acquises par le vhicule en milieu urbain,
[Pnard et al., 2005] reconstruit des surfaces de faades et de rues en utilisant la
corrlation dense multi-vues,
[Soheilian et al., 2010] extrait et reconstruit des marquages au sol (passages pitons)
en 3D,
[Paparoditis et al., 2005] propose ce que devrait tre une chane de traitements
optimale, qui permet de raliser lacquisition de donnes jusqu la mise en base de
donnes dobjets extraits.
Les limitations de ce premier vhicule taient :
La frquence dacquisition des camras peu leve 4 (une image toute les trois se-
condes pour 16 Mga pixels 5 ) ce qui ne permet pas de circuler dans des conditions
de trafic normales (pour assurer le recouvrement entre images, les images doivent
tre prises tous les 4 mtres donc le vhicule doit rouler moins de 10 km/h).
Pas de capteurs lasers. La technologie ntait encore pas mature et trs onreuse.
Aprs ce premier prototype et les rsultats prometteurs des travaux raliss, le MATIS
sest lanc dans le dveloppement dun second vhicule spcialement conu pour la nu-
mrisation mobile en 2007 : le Stropolis V2 [Paparoditis et al., 2012]. Sur la figure 2.2,
3. BD ORTHO, BD TOPO, BD ALTI, BD ADRESSE, BD PARCELLAIRE.
4. La frquence dacquisition dpend de la vitesse du vhicule et de la distance de lobjet imager.
Dans le cas arien, lavion vole vite mais laltitude de vol est elle aussi leve. Dans le cas terrestre, le
vhicule doit avoir une vitesse adapte pour la circulation, mais avec des objets pouvant tre trs proche.
5. Aujourdhui la camra numrique V2 du LOEMI permet de prendre des images toutes les 1,5
seconde une rsolution de 39 Mga pixels [Souchon et al., 2012].
8 Thse B. CANNELLE
2.2. Stropolis
GPS
Camras
Mts
Figure 2.1 Stropolis V1.
nous pouvons voir le vhicule avec ses capteurs (ils sont dcrit individuellement dans la
section suivante).
Laser Velodyne
Mt panoramique
Camras
Laser Riegl
Figure 2.2 Le vhicule Stropolis V2 et ses capteurs.
Aprs avoir prsent lhistorique du projet et le vhicule actuel, nous allons maintenant
nous intresser plus particulirement ses capteurs.
2.2.b Capteurs du systme Stropolis V2

2.2.b.i Lasers
(a) (b)
Figure 2.3 Capteurs laser du Stropolis V2. (a) Laser RIEGL LMS-Q120i. (b) Laser
Velodyne HDL-64E.
Thse B. CANNELLE 9
Il y a tout dabord deux lasers RIEGL LMS-Q120 (figure 2.3.a) qui sont des lasers
balayages plans. Ils peuvent scanner sur un champ de 80 avec une rsolution angulaire
allant de 100 400 points par balayage, la frquence dacquisition tant fixe (10 kHz). Ce
type de laser permet de faire de la numrisation prcise de lenvironnement : sa densit
de scanner tant plus importante. La figure 2.4 reprsente une partie dune acquisition.
Chaque laser est reprsent par une couleur.
Figure 2.4 Exemples de donnes acquises simultanment par deux Riegl plans. Chaque
laser tant reprsent par une couleur.
Il y a aussi un laser Velodyne HDL-64E (figure 2.3.b) qui est un laser multi-fibres (64
fibres) qui tourne sur lui mme entre 5 et 15 Hz. Il permet dacqurir 1,3 million points par
seconde (cf. figure 2.5) ce qui reprsente un volume de donnes trs important. Ce type
de laser permet de faire de la dtection dobjet mobile parce quil numrise rapidement
et plusieurs fois les mmes zones.
Figure 2.5 Exemples de donnes acquises par le LiDaR Velodyne HDL-64E.
2.2.b.ii Camras
Il y a plusieurs faons de rpartir spatialement les camras sur un vhicule en fonction

des applications.
La premire consiste disposer toutes les camras afin dobtenir un minimum de re-
couvrement et dimager tout lenvironnement du vhicule (figure 2.6 a et b) (par exemple
[Anguelov et al., 2010]). La stroscopie est assure grce au dplacement du vhicule.
Lintrt de ce type de configuration est principalement la visualisation. Un inconv-
nient est la difficult obtenir de la stroscopie dans le sens de dplacement cause
10 Thse B. CANNELLE
2.2. Stropolis
des vhicules de la circulation qui masquent des portions de chausse diffrentes dune
panoramique 6 lautre.
Afin de pallier ce problme, les camras peuvent tre positionnes par paire strosco-
pique : deux camras (ou plus) imagent la mme scne (figures 2.6 c et d). Le premier
avantage est davoir directement une mesure 3D possible et/ou de gnrer directement le
modle 3D par corrlation (par exemple [Geiger et al., 2012]). Le second avantage concerne
la synchronisation : les images sont prises en mme temps donc il ny a pas dobjet se
dplaant dans la scne, ce qui vite des erreurs lors de processus dappariement ou de
corrlation par exemple. Par contre, linconvnient de cette mthode est de doubler le
nombre de camras.
(a) (b) (c) (d)
Figure 2.6 Configurations possibles de disposition de camras sur un vhicule de num-

risation mobile. Les dispositions (a) et (b) permettent dimager tout lenvironnement du
vhicule. Les configurations (c) et (d) avec une ou deux paires stroscopiques permettent
une reconstruction 3D immdiate.
Sur un vhicule de numrisation mobile, la puissance lectrique est limite. On ne

peut donc pas installer des dizaines de camras ainsi que des ordinateurs permettant de
les piloter et de stocker les donnes. En fonction des applications pour lesquelles le vhicule
a t conu, il faut faire des choix concernant le nombre de capteurs et leur disposition.
Concernant Stropolis V2, il avait t choisi de les disposer comme illustr sur la
figure 2.7. Deux bases stroscopiques lavant (positions 11 et 12 ) et larrire (positions
51 et 52) permettent dimager la chausse devant et derrire. Une tte panoramique place
en haut dun mt, constitu de dix camras (positions 21, 22, 23, 31, 32, 33, 34, 41, 42,
43), permet dimager tout lenvironnement. La stroscopie latrale tant assure par
lavancement du vhicule ce qui est peu contraignant vu que les objets mobiles sont moins
nombreux sur les cts.
Les seize camras du Stropolis V2 ont une rsolution de 2 Mga pixels (19481080)
(cf. figure 2.8) 7 . La figure 2.9 prsente trois exemples dimages acquises par la tte pa-
noramique. Pour une rue trs troite (cf. figure 2.9.a), le recouvrement entre les images
est rduit quelques pixels. La seconde panoramique, (cf. figure 2.9.b) prsente une rue
double sens dans des conditions dclairement normal et avec des immeubles de taille
moyenne. On constate que les camras latrales hautes photographient le ciel pour prs
de 30%. La dernire panoramique, (cf. figure 2.9.c) prsente une place dgage. La camra
latrale gauche ne voit que du ciel, ce qui peut poser des problmes pour lappariement
et pour lestimation de pose si on la considre indpendamment des autres.
6. Une panoramique est lensemble des images prise par le vhicule un instant donn.
7. Contrairement au Stropolis V1, ces camras sont des produits du commerce (camra Pike).
Thse B. CANNELLE 11
11 12
Les camras 32 et 33 sont situes au

22 dessus des camras 31 et 34, mais,
21 23 pour des raisons de lisibilit, elles
sont positionnes les unes ct des
autres.
32 33
31 34
41 43
42
51 52
Figure 2.7 Disposition des camras sur le vhicule.
(a) (b)
Figure 2.8 Camras du Stropolis V2. (a) Camra droite. (b) Camra coude 90
degrs.
Pendant toute une acquisition, le temps de pose est constant pour chaque camra et
il est fix pour toute lacquisition, ce qui est possible grce la grande dynamique des
camras. Cela permet par contre davoir une homognit colorimtrique entre les images
mme si on constate parfois quune partie des images est surexpose cause du soleil
tandis que dautres sont sombres cause des ombres.
Aprs avoir prsent les capteurs, nous allons maintenant nous intresser aux applica-
tions pour lesquelles il a t conu.
12 Thse B. CANNELLE
2.2. Stropolis
21 22 23
32 33
31 34
41 42 43
des camras
Identifiant
32 33
31 21 22 23 34 43 42 41
Figure 2.9 Exemples de panoramiques. (a) Rue une voie. (b) Rue deux voies.
(c) Place dgage.
Thse B. CANNELLE 13
2.2.c Applications du Stropolis V2

2.2.c.i Lasers
Ces lasers plans, comme le Riegl, peuvent tre utiliss dans diffrents contextes : pour
lextraction dobjets verticaux (poteaux) [Liberge et al., 2010], lextraction de vgta-
tion [Monnier et al., 2012], lextraction et la modlisation de faades [Demantk et al.,
2012], ou encore lanalyse du sol (chausse et trottoir) pour tudier laccessibilit [Serna
et Marcotegui, 2013] .
Lutilisation de laser rotatifs, comme le Velodyne, est la dtection dobstacles en robo-
tique [Urmson et al., 2008] et, dans un contexte de cartographie, de faciliter la dtection
dobjets mobiles afin de les enlever de la scne lors de texturation (pitons, voitures...)
[Spinello et al., 2010].
Dans cette partie, nous prsentons le vhicule Stropolis dans son ensemble. Pour
certaines applications, mise jour de base de donnes par exemple, les donnes laser ne
sont pas ncessaires. Cest pourquoi, dans le cadre de cette thse, nous navons considr
que le systme image. Pour lutilisation de donnes laser le lecteur peut se rfrer [Gressin
et al., 2012] pour le gorfrencement en absolu et [Monnier et al., 2013] pour le recalage
sur modles 3D urbain.
2.2.c.ii Images
Les donnes images peuvent dabord servir de la visualisation [Devaux et Paparo-

ditis, 2010]. Ensuite, de nombreux objets peuvent tre extraits automatiquement comme
les panneaux routiers [Arlicot et al., 2009], les passages pitons [Soheilian, 2008], les mar-
quages aux sols [Soheilian et al., 2010], les pitons pour de lanonymisation [Devaux et al.,
2009] ou encore les faades [Haugeard et al., 2009]. Enfin des travaux sur les calculs de
visibilit et de texturation sont raliss [Vallet et Houzay, 2011], la fois des fins de
visualisation et denrichissement de modles 3D. 8
Aprs avoir prsent les capteurs spcifiques lacquisition de donnes, nous allons
nous intresser au systme de positionnement qui permet de gorfrencer toutes les don-
nes acquises par le vhicule.
2.2.d Systme de positionnement

Nous allons dans un premier temps nous intresser aux capteurs propres au systme de
positionnement puis nous expliciterons le principe de fonctionnement du systme. Enfin
nous tudierons ses spcifications.
2.2.d.i Composants
Le systme de positionnement utilis sur le Stropolis V2 est une solution propri-

taire : le PosLV 220 de la socit Applanix/Trimble. Il est constitu :
8. Les applications autour du vhicule ont principalement t dveloppes au MATIS.
14 Thse B. CANNELLE
2.2. Stropolis
dune centrale inertielle qui comporte 3 acclromtres, 3 gyromtres et 3 magnto-

mtres (figure 2.10.a). Elle permet de dterminer lattitude du vhicule tout instant
et daider au positionnement lorsque la rception des signaux GPS est momentan-
ment suspendue.
de deux GPS , le premier servant calculer la position tandis que le second sert
dterminer le cap (figure 2.10.b)
dun odomtre qui permet de dterminer la distance parcourue (figure 2.10.c)
(a) Centrale inertielle (b) Antenne GPS (c) Odomtre
Figure 2.10 Capteurs du systme de positionnement PosLV 220.
Le protocole, dfinit par Applanix, pour garantir un positionnement optimal (avec

notre systme de positionnement) consiste stationner sur une zone dgage au dbut et
la fin de lacquisition pendant cinq minutes afin de capter le maximum de satellites en
vitant les masques et les multi-trajets 9 .
Nous navons pas indiqu les prcisions de chaque composant parce que la prcision
globale du systme (dcrit en 2.2.d.iii) dpend la fois des composants et des algorithmes
de traitements des donnes. Ceux utiliss par notre systme sont dcrits ci-aprs.
2.2.d.ii Principe de fonctionnement
Le systme de positionnement a deux modes de fonctionnement :

Le premier est le mode "temps rel" : il correspond aux donnes directement ac-
cessibles dans le vhicule. Le principe de la fusion de donnes ralises [Farrell et
Barth, 1999], [Qi et Moore, 2002] est expliqu dans la figure 2.11. Cette tape est
ralise par le logiciel POSLand de la socit Applanix.
Le second est le mode "post-traitement" qui permet dintgrer les donnes dune
station GPS permanente ddie au chantier ou appartenant au Rseau GNSS Per-
manent (RGP) 10 de lIGN lors du calcul. Un algorithme de fusion de donnes [Farrell
et Barth, 1999] dtermine alors la trajectoire du vhicule. Ce calcul est ralis par
le logiciel POSPacT M Mobile Mapping Suite de la socit Applanix.
On constate, grce ce schma (cf. 2.11), quil y a des paramtres dans ce type dal-
gorithme la fois pour le contrle des erreurs mais aussi dans les diffrentes pondrations
du filtrage de Kalman [Kalman, 1960] et dans la fusion des diffrentes sources de donnes.
9. Les multi-trajets se produisent lorsquil y a des obstacles (btiments, murs) qui rflchissent les
signaux GPS. Ces rflexions augmentent le temps de parcours des signaux, donc perturbent le calcul de
distances servant au calcul de localisation.
10. Le RGP est, lorigine un rseau de stations GPS permanentes enregistrant au minimum les
donnes de code et de phase provenant de lensemble des satellites en visibilit. Aujourdhui, de plus en
plus de stations du rseau sont bi-constellations (GPS+GLONASS) en attendant larrive prochaine de
Galileo. site http ://rgp.ign.fr/.
Thse B. CANNELLE 15
GPS2 GAMS1 Odomtre
GPS1 Filtre de Kalman
Contrle derreur
Centrale inertielle Navigation inertielle
Solution de navigation
1. GPS Azimuth Measurement Subsystem (Calcul de cap par GPS )
Figure 2.11 Schma de la procdure de gorfrencement en temps rel.
Ces pondrations sont dfinies dans les diffrents logiciels et ne sont pas accessibles. En
effet, elles dpendent des prcisions des diffrents capteurs et des algorithmes utiliss.
Nous avons donc une seule trajectoire notre disposition : la trajectoire post-traite.
2.2.d.iii Spcifications
Daprs les spcifications annonces par le constructeur (cf. tableau 2.1), la prcision
dpend de la prsence ou non de donnes GPS (prcision divise par 10 en planimtrie).
Elles sont relativiser car lerreur sur le positionnement nest pas une fonction linaire
du temps. En effet, la position en absence de signaux GPS est estime grce une double
intgration des donnes des acclromtres et des gyromtres. En pratique, surtout dans
les centres-villes, les masques GPS peuvent durer plusieurs minutes en raison de ltroitesse
des rues et de la hauteur des immeubles.
Avec GPS Aprs 1 minute de masque GPS
Position X,Y (m) 0,020 0,240
Position Z (m) 0,050 0,130
Roulis et Tangage ( ) 0,020 0,060
Cap ( ) 0,025 0,030
Table 2.1 Spcification du systme PosLV 220 (calcul diffrentiel en post-traitement)

[Applanix, 2012].
Exemple dun chantier standard Lhistogramme de rpartition du nombre de pa-

noramiques en fonction du nombre de satellites sur un chantier standard 11 (figure 2.12)
montre que :
50 % des panoramiques ont moins de 4 satellites pour se positionner 12
plus de 4 % ne voient aucun satellite
11. Acquisition ralise dans des conditions de circulation normale alternant zones de masques GPS et
zones dgages en zone de type urbain dense.
12. Quatre tant le nombre de satellites minimums ncessaires pour dterminer une position (3 pour la
position et 1 pour estimer le biais dhorloge du rcepteur) (cf. [Duquenne et al., 2005]).
16 Thse B. CANNELLE
2.3. Motivations
10 000
Nb de panoramiques
9 000
8 000
7 000
6 000
5 000
4 000
3 000
2 000
1 000
Nb de satellites
0 1 2 3 4 5 6 7 8 9 10
Figure 2.12 Histogramme reprsentant le nombre de panoramiques en fonction du

nombre de satellites GPS visibles pour un chantier standard.
Sur une acquisition type, le temps dabsence de signal GPS dpend de lenvironnement
o le vhicule circule. La figure 2.13 prsente le nombre de satellites en fonction du temps
sur 5 tronons linaires extraits dune campagne dacquisition sur le XIIe arrondissement
de Paris. Un trajet dans des rues avec peu de btiments permet de capter beaucoup de
satellites (figure 2.13 courbe rouge). Les trajets en milieu urbain dense captent souvent
moins de quatre satellites sur des intervalles de temps pouvant dpasser la minute (fi-
gure 2.13 courbes bleues et jaune). On constate aussi que la dure dabsence de signal
peut tre bien suprieure une minute, ce qui fait que le systme est utilis au del des
spcifications prsentes dans le tableau 2.1.
2.2.d.iv Conclusion
Le systme de positionnement notre disposition permet davoir une solution initiale

pour nos applications, mais il ne peut pas rpondre nos besoins directement : sa prcision
nest pas suffisante (plutt mtrique que centimtrique) et il est souvent sollicit au del
de ses spcifications.
Aprs avoir prsent le vhicule, ses capteurs et son utilisation, nous allons prsenter
les motivations pour notre travail de thse.
2.3 Motivations
Dans un contexte de cration dun Rfrentiel Grande chelle Urbain (RGEU), la
prcision de positionnement devra tre sub-dcimtrique. Ce RGEU pourrait contenir :
les hauteurs de ponts, les largeurs de rues, les passages pitons, les panneaux de signalisa-
tion, les trottoirs (hauteur, passages bateaux), les plaques adresses ou encore le mobilier
urbain. Il pourrait servir notamment lamnagement du territoire, aussi bien de manire
globale (amnagement de boulevard, implantation de stade...) ou de manire locale (im-
plantation darrt de bus, de poteaux tlphoniques...), pour des services aux particuliers :
calcul ditinraires pour les personnes mobilit rduite, les poussettes ou des services
pour les entreprises : planification ditinraires pour les convois exceptionnels, gabarit des
emplacements de livraisons...
Dans un contexte de mise jour et dentretien de ce RGEU, nous devons pouvoir
Thse B. CANNELLE 17
Nb. Sat.
10
8
6
4
2
t (min)
0 1 2 3 4 5 6
Nb. Sat.
10
8
6
4
2
t (min)
0 1 2 3 4 5 6 7 8 9 10 11
Nb. Sat.
10
8
6
4
2
t (min)
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
Nb. Sat.
10
8
6
4
2
t (min)
0 1 2 3 4 5 6 7 8 9 10
Nb. Sat.
10
8
6
4
2
t (min)
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14
Figure 2.13 Nombre de satellites visibles en fonction du temps pour 5 trajectoires

linaires.
recaler toutes nouvelles acquisitions avec une prcision identique lacquisition initiale,
de lordre du centimtre. Nous pouvons aussi vouloir intgrer des donnes images dutili-
sateurs privs ou publics afin de complter la base existante ou de mettre en cohrence la
base utilisateur avec le RGEU.
18 Thse B. CANNELLE
2.4. Prsentation des donnes utilises dans la thse
La section suivante prsente une analyse sur les donnes disponibles pour cette thse.
2.4 Prsentation des donnes utilises dans la thse
2.4.a Donnes vhicule

2.4.a.i Chantiers disponibles
Dans cette thse, nous avons eu accs plusieurs jeux de donnes et deux configu-
rations diffrentes du vhicule.
Le premier jeux de donnes concerne le chantier du XIIe arrondissement de Paris
acquis en 2008. Il est reprsentatif dune acquisition standard (chantier type ralis par
le vhicule). Il est compos de 46750 panoramiques 13 . Cela correspond une acquisition
de 2 jours pleins.
Le second jeux de donnes concerne le chantier de la mairie du XIIe arrondissement de
Paris. Il est compos de 1617 panoramiques acquises durant une unique journe en 2009.
Plusieurs passages successifs ont t raliss autour de la mairie du XIIe arrondissement.
2.4.a.ii Analyse des donnes
Dans la sous-section 2.2.d {page 14}, les spcifications du systme de positionnement

donnes par le constructeur ont t explicites. Maintenant une analyse des donnes relles
acquises va tre faite afin de voir si les spcifications sont valables et si les incertitudes
donnes pour chaque position sont fiables.
Nous diffrencions deux cas : le cas relatif et le cas absolu. Ces notions sont reprises de
la godsie et de la photogrammtrie. Nous donnons les dfinitions dans les paragraphes
suivants.
En relatif. La notion de "relatif" correspond la cohrence de rptitivit des donnes :

quels carts y-a-t-il lorsque le vhicule passe plusieurs fois au mme endroit (durant la
mme acquisition ou plusieurs acquisitions successives) ? Pour pouvoir rpondre, nous
avons identifi plusieurs zones dans le XIIe arrondissement de Paris (points de couleurs
sur la figure 2.14), qui sont des chantillons reprsentatifs dune acquisition.
Nous avons ensuite trac pour chaque zone des courbes reprsentant la diffrence
entre laltitude du systme de positionnement et le sol, en fonction de la distance la
zone considre pour diffrents passages (figure 2.15). Chaque passage est reli par une
ligne. Plusieurs remarques peuvent tre faites sur ces tracs :
sur une mme trajectoire, laltitude du camion est constante ce qui signifie quil
ny a pas de "saut" dans la trajectoire : elle est cohrente (lignes continues sur les
graphiques de la figure 2.15).
entre diffrents passages, on constate quil peut y avoir des carts de plusieurs mtres
entre les diffrentes trajectoires (figures 2.15.c,d,e,f,h,i et k). De gros problmes de
13. Images de toutes les camras acquises au mme instant.
Thse B. CANNELLE 19
Figure 2.14 Zones dvaluation de la prcision relative du systme. La ligne correspond

aux trajets effectus par le vhicule. Chaque point de couleurs correspond une zone
dtude.
cohrence entre les donnes provenant de diffrentes trajectoires sur une mme zone
sont donc prsents.
20 Thse B. CANNELLE
z (m) z (m)
1 1
0 d (m) 0 d (m)
0 1 2 3 4 5 a 0 1 2 3 4 5 b
z (m) z (m)
0 d (m) 0 d (m)
-1 -1
-2 -2
0 1 2 3 4 5 c 0 1 2 3 4 5 d
z (m) z (m)
2 2
1 1
0 d (m) 0 d (m)
-1 -1
0 1 2 3 4 5 e 0 1 2 3 4 5 f
z (m) z (m)
1 1
0 d (m) 0 d (m)
-1 -1
0 1 2 3 4 5 g 0 1 2 3 4 5 h
z (m) z (m)
1 1
0 d (m) 0 d (m)
-1 -1
0 1 2 3 4 5 i 0 1 2 3 4 5 j
z (m)
1
0 d (m)
-1
-2
-3
0 1 2 3 4 5 k
Figure 2.15 carts en altitude entre les diffrentes trajectoires pour chaque zone.
En abscisse : distance la zone considre. En ordonne : diffrence daltitude entre les
passages. Chaque couleur correspond une zone reporte sur le plan 2.14.
Thse B. CANNELLE 21
En absolu. La notion "dabsolu" signifie lcart entre les donnes fournies par le systme
de positionnement et des donnes externes (borne godsique, lev terrain...) dont la
prcision est matrise (ici mieux que le centimtre, cf section 2.4.b {page 24}).
La figure 2.16 prsente la diffrence altimtrique entre la position du camion et des
passages piton levs par topomtrie (z) et la distance planimtrique entre le vhicule
et les points de rfrence (dplani ). On remarque que mme lorsque le vhicule passe la
verticale dun point connu, la diffrence est loin dtre nulle. Elle est souvent dcimtrique,
voir mtrique.
z (m)
2
1
0 dplani (m)
-1
0 1 2 3 4 5
Figure 2.16 carts entre la position du Stropolis et les points de rfrences.
La figure 2.17 reprsente les mmes donnes que la figure 2.16 mais en affichant les
panoramiques successives par une mme couleur et en les reliant par une droite. On
constate quau sein dune mme acquisition, les carts altimtriques sont constants, ce
qui montre que le systme est cohrent sur un intervalle de temps restreint (quelques
secondes). Lors de passages conscutifs, on peut avoir des carts qui peuvent atteindre
deux mtres (courbes la plus haute et la plus basse).
Pour conclure, on peut prendre la solution fournie par le systme de positionnement
comme quasi parfaite pour deux panoramiques successives dans une mme acquisition,
mais il peut y avoir un cart significatif avec la ralit (jusqu un mtre).
z (m)
2
1
0 dplani (m)
-1
-5 -4 -3 -2 -1 0 1 2 3 4 5
Figure 2.17 cart entre la position de Stropolis et les points de rfrence en tenant
compte de la continuit temporelle. Chaque couleur reprsente une acquisition temporelle
continue.
Lors du post-traitement, nous avons accs aux incertitudes qui sont calcules pour
chaque position. Malheureusement, celles ci ne sont pas suffisamment fiables pour pou-
voir tre utilises. La figure 2.18 reprsente lcart entre la position de points connus et
22 Thse B. CANNELLE
laltitude vraie. Nous avons indiqu la barre dincertitude en vert lorsquelle est fiable et
en rouge lorsquelle ne lest pas. dplani correspond la distance planimtrique entre le
vhicule et les points de rfrence.
z (m)
dplani (m)
-1
-2 -1 0 1 2
Figure 2.18 Reprsentation de lcart et de son incertitude entre la position de Stro-

polis et les points de rfrence. La barre dincertitude est reprsente par un trait vertical.
Il est vert lorsque la barre dincertitude est fiable, en rouge sinon.
La figure 2.19 reprsente lcart de laltitude du systme de gorfrencement en fonc-

tion de lincertitude donne par le logiciel de post-traitement. Les points sont en vert
lorsque lincertitude est suprieure lcart entre laltitude vraie, autrement dit lincer-
titude est fiable tandis que les points sont en rouge lorsque lincertitude est infrieure
lcart entre laltitude vraie autrement dit lincertitude nest pas fiable. Nous constatons
quil ny a aucune corrlation entre la prcision annonce et lcart constat.
incertitude (m)
1
z (m)
0 1
Figure 2.19 Reprsentation de lcart en fonction de lincertitude.
Au final, les deux figures prcdentes illustrent que dans plus de la moiti des cas,
lincertitude nest pas fiable. Elle ne pourra donc pas servir comme source de donnes
pour nos traitements.
Thse B. CANNELLE 23
Ainsi le systme de positionnement peut avoir des carts de lordre du mtre. Les
incertitudes fournies par le systme de positionnement ne sont pas suffisamment fiables
pour pondrer les observations lors du calcul de compensation. En relatif, le systme de
positionnement est cohrent : on peut donc localement considrer la trajectoire comme
rigide.
2.4.b Donnes externes

Les donnes externes utilises dans ces travaux sont principalement des points connus
avec une grande prcision. Pour une position millimtrique, les points ont t mesurs
par des mthodes de topomtrie traditionnelles : utilisation de tachomtres 14 sur diff-
rentes stations avec redondances des mesures. Toutes ces mesures ont t ensuite com-
penses par moindres carrs [Gauss et Bertrand, 1855], afin destimer la meilleure posi-
tion de ces points. Les passages pitons qui ont servi pour la qualification des donnes
(2.4.a.ii {page 19} et au chapitre 10) ont une prcision centimtrique. Ce travail a t
ralis par les Travaux Spciaux de lIGN [TS, 2013].
2.5 Problmatiques
Le vhicule de numrisation mobile de lIGN est capable dacqurir des milliers dimages
sur des priodes dacquisition courtes.
Comme nous lavons constat dans la section prcdente, nous nous heurtons de
nombreux problmes :
la solution fournie par le systme de positionnement nest pas toujours prcise (cart
parfois mtrique avec la vrit terrain),
les donnes ne sont pas cohrentes entres elles lors de passages successifs au mme
endroit ( partir de quelques minutes),
les indicateurs de prcision fournis par le systme ne sont pas fiables.
Pour constituer le nouveau rfrentiel grande chelle centimtrique, nous utiliserons
uniquement :
les trajectoires fournies par le systme de positionnement,
les images acquises par le vhicule.
Nous pourrons aussi utiliser quelques 15 points connus en 3 dimensions, en quantit limi-
te : leur cot (matriel et humain) de production tant lev.
La section suivante prsente lapproche que nous allons suivre ainsi que lorganisation
du manuscrit, afin de rpondre la problmatique qui vient dtre expose.
2.6 Approche propose et organisation du manuscrit

Lapproche que nous allons suivre dans cette thse consiste tudier la chane qui
permet de produire une image gorfrence prcise acquise partir dun vhicule de
14. appareil permettant de mesurer des angles (avec une prcision proche 0.0001 ) et les distances.
15. Le nombre de points ncessaire sera quantifi dans cette thse.
24 Thse B. CANNELLE
2.6. Approche propose et organisation du manuscrit
Partie III
Gestion des donnes Mesures homologues
Chapitre 5 Chapitre 6
Partie II Partie IV
Compensation par
Calibration de camra Recalage interne
faisceaux
Chapitre 3 Chapitre 9
Chapitre 7
Calibration de vhicule Recalage sur des points Recalage

de numrisation mobile dappuis externes interne et externe
Chapitre 4 Chapitre 8 Chapitre 10
Pose(s) du vhicule dtermine(s)

Vhicule calibr
relative et/ou absolue
Figure 2.20 Organisation de la thse.
numrisation mobile. Lorganigramme prsent la figure 2.20 prsente les diffrents l-

ments et permet de les situer dans le manuscrit.
La partie II dmontre lutilit dune calibration fine des capteurs. Le chapitre 3 sint-
resse la faon de calibrer une camra en utilisant la gomtrie panoramique. Il prsente
aussi un tat de lart sur les diffrentes mthodes de calibration ainsi que les diffrents
types de modlisation de distorsion. Le chapitre 4 est consacr aux diffrentes mthodes
permettant de positionner de faons fines des camras sur un vhicule.
La partie III est consacre la compensation par faisceaux qui est une mthode de
recalage fine utilisant uniquement limage. Le chapitre 5 prsente deux mcanismes com-
plmentaires permettant la gestion de gros volume de donnes. Le chapitre 6 propose un
processus dappariement de mesures homologues permettant dliminer un grand nombre
derreurs. Finalement le chapitre 7 explique la manire de raliser la compensation par
faisceaux.
La partie IV est consacre au recalage de donnes trajectographiques. Le chapitre 8
sintresse des mthodes de recalages utilisant des donnes externes connues. Le cha-
pitre 9 propose des mthodes de mise en cohrence relative des donnes en utilisant limage
pour recaler les diffrents tronons de trajectoire. Le chapitre 10 propose une mthode
permettant dutiliser la fois linformation de trajectoire du systme de positionnement
Thse B. CANNELLE 25
et les mesures images sur des objets.

Les parties peuvent tre lues de manire indpendante par le lecteur. Des renvois sont
fait vers les diffrents chapitres/sections/sous-sections lorsque cela est ncessaire afin que
le lecteur puisse suivre facilement les diffrents raisonnements prsents.
26 Thse B. CANNELLE
Deuxime partie
Calibration de systmes de
numrisation mobile bass images
Thse B. CANNELLE 27
Dans cette partie, nous nous intressons aux mthodes de calibrations.
Le chapitre 3 tudie une mthode particulire de calibration de camra. : l auto-
calibration panoramique. Ce composant est le premier lment de notre vhicule de nu-
mrisation mobile.
Le chapitre 4 prsente deux mthodes permettant de dterminer avec prcision la
position des camras sur le vhicule.
Thse B. CANNELLE 29
30 Thse B. CANNELLE
3. Calibration intrinsque de camra
Chapitre 3
Calibration intrinsque de camra
Nous allons tout dabord passer en revue ltat de lart, trs riche dans ce domaine,
concernant la modlisation dune camra. Nous prsenterons diffrents modles de distor-
sion qui permettent de pallier les dfauts de loptique puis nous nous intresserons aux
diffrentes mthodes de calibration qui existent.
Nous prsenterons alors une mthode qui peut tre utilise pour talonner nos cam-
ras : lautocalibration panoramique. Pour cela nous utilisons un dispositif particulier :
le Cyclopolis (prsent dans la section 3.2.a {page 41}) dvelopp par le MATIS. Nous
expliciterons les spcificits de la mthode puis nous tudierons sa sensibilit au bruit sur
les mesures et aux dfauts de montage de la camra sur le dispositif Cyclopolis, grce
des simulations. Enfin nous prsenterons le protocole dacquisition de donnes relles, les
rsultats obtenus et la validation de notre mthode.
3.1 tat de lart
Le domaine de la calibration de camra a t tudi depuis que des mesures sont faites
partir des images notamment des fins cartographiques. En effet, plus nous nous rappro-
cherons de la gomtrie dacquisition de limage, plus la qualit des objets restitus sera
grande. On peut citer le manuel de photogrammtrie [McGlone et al., 2004] ralis par
lASPRS 1 . Il y a aussi de nombreux tats de lart raliss par la communaut photogram-
mtrique [Clarke et Fryer, 1998] et ceux de la communaut de la vision par ordinateur
[Tsai, 1986]. [Sturm et al., 2011] prsentent en plus des mthodes de calibrations pour des
systmes complexes (multi-camras, camra et miroir hmisphrique par exemple).
Nous allons dabord tudier la modlisation dune camra dun point de vue optique et
photogrammtrique. Ensuite nous ferons un tat de lart des modles de distorsion ainsi
que des mthodes de calibration.
1. American Society of Photogrammetry and Remote Sensing. Cet ouvrage est r-dit rgulirement,
tous les 5 10 ans
Thse B. CANNELLE 31
Chapitre 3. Calibration intrinsque de camra
3.1.a Modlisation dune camra

Le modle le plus simple et le plus souvent utilis est le modle stnop. La principale
hypothse pour lutilisation de ce modle est que le systme optique respecte les conditions
de Gauss 2 . La figure 3.1 reprsente le modle dune camra stnop avec un point M sur
le terrain qui a pour image m dans limage. Nous allons complter ce schma par quelques
dfinitions :
le plan image est caractris par sa hauteur (H) et sa largeur (L). On dfinit le repre
image tel que les deux premiers axes appartiennent ce plan (i et j sur la figure
3.1) et le troisime est dfini pour que le repre soit orthogonal direct (k sur la
figure 3.1). Dans le cas dune camra numrique, on le dfinit tel que le premier axe
soit dans le sens des colonnes croissantes, le second axe soit dans le sens des lignes
croissantes et le dernier est construit pour que le repre soit orthogonal direct.
la focale note p, est la distance entre le centre de perspective et le plan image.
le centre de perspective est le point de convergence des rayons issus de lobjet. Ce
point, not S, a pour coordonnes t (XS , YS , ZS ) dans le repre terrain, not F , qui a
pour coordonnes t (cP P A , lP P A , p) dans le repre camra. Dans le modle stnop,
S etF sont confondus.
le point principal dautocollimation not P P A. Il est situ sur la droite orthogonale
au plan du capteur et qui passe par le centre de perspective. Il a pour coordonnes
t
(cP P A , lP P A , 0) dans le repre camra.
M
k
L
H
m
F
S PPA
i
j
Figure 3.1 Modlisation dune camra (modle stnop).
Les distances caractristiques dune camra sont gnralement exprimes en milli-

mtres ou en pixels depuis larrive du numrique. Le choix de lunit na aucune impor-
tance sur les quations et sur les notations utilises. Par contre, elle doit tre spcifie
afin dviter toute source derreur. Dans ce manuscrit, comme les camras utilises sont
numriques, nous utiliserons le pixel comme unit de mesure.
Lquation de colinarit (quation 1) relie un point terrain M sa position dans
limage m [Schmid, 1959] et [McGlone et al., 2004]. R est la matrice rotation qui permet
2.
angle faible entre les rayons incidents et laxe optique,
les rayons lumineux passent par le centre optique.
32 Thse B. CANNELLE
3.1. tat de lart
de passer du repre terrain au repre image, c et l donnent la position du point image m

respectivement la colonne et la ligne.

c cP P A 1 0 0 R (M S)
m= = p (1)
l lP P A 0 1 0 t kR (M
S)
R et S sont appels les paramtres extrinsques tandis que cP P A , lP P A et p sont appels

les paramtres intrinsques.
Nous avons choisi le modle stnop parce quil convient parfaitement pour nos cam-
ras comme nous le verrons par la suite du manuscrit.
Dautres travaux introduisent des modles de camras beaucoup plus complexes, avec
par exemple la notion de raxels [Sturm et Ramalingam, 2004],[Grossberg et Nayar, 2005]
qui reprsentent directement le rayon incident pour chaque pixel, ce qui permet de mo-
dliser plusieurs types de camra.
3.1.b Modles de distorsion
3.1.b.i Problme physique
Lhypothse qui vient dtre faite pour la modlisation dune camra est loin dtre
vrifie. En effet, les conditions de Gauss ne sont pas respectes : le champ dune camra
est de plusieurs dizaines de degrs et tous les rayons ne passent pas forcment par un point
unique. Lobjectif contient plusieurs lentilles qui affectent le trajet des rayons de manire
individuelle : cette complexit de loptique est difficilement modlisable. La figure 3.2.a
prsente une image acquise par une camra ayant de la distorsion. Les joints de btiments
sont courbes alors quils devraient tre droits. La figure 3.2.b prsente la mme image
corrige de la distorsion. Nous pouvons remarquer que, dans le cas dune image sans
distorsion, les joints de btiments sont droits.
(a) (b)
Figure 3.2 Illustration de la distorsion dans les images. (a) Image avec distorsion, (b)
Image sans distorsion.
Thse B. CANNELLE 33
3.1.b.ii Modlisation
Mme si la distorsion provient de diffrentes sources qui sont difficiles modliser de

manire individuelle, il est quand mme possible de faire une modlisation globale de tous
ces phnomnes. Il suffit de dfinir une fonction mathmatique permettant de passer des
mesures brutes (celles mesures directement sur limage) aux mesures corriges (celles
correspondant au modle stnop parfait).
Il existe de nombreuses familles de modles de distorsion que lon peut regrouper en
trois catgories :
Modle de distorsion radiale : il ne permet de corriger que les dfauts radiaux de la

distorsion. Les lentilles tant symtrie de rvolution, les dfauts sont pratiquement
radiaux. Ce type de modle a t dcrit dans de nombreux articles dont [Brown,
1971], [Tsai, 1987], [Fraser, 1997], [Hartley et Zisserman, 2004], [Parian et Gruen,
2010], [Pierrot-Deseilligny et Clry, 2011]. La figure 3.3 prsente la dformation
dune grille rgulire en prsence de distorsion radiale.
(a) (b)
Figure 3.3 Illustration de la distorsion radiale. (a) Image sans distorsion. (b) Image
avec distorsion radiale.
Modle de distorsion radiale et tangentielle : il arrive que le modle radial ne soit

pas suffisant : des rsidus aprs calibration sont trop levs, la rpartition des rsidus
est non alatoire. Dans ce cas, on ajoute une composante tangentielle la distorsion.
Ce modle a t dcrit dans notamment[Li et Lavest, 1995], [Fraser, 1997], [Lavest
et al., 1998], [Bradski, 2000], [Heikkil, 2000] et [Pierrot-Deseilligny et Clry, 2011].
La figure 3.4 prsente la dformation dune grille rgulire en prsence de distorsions
radiale et tangentielle.
(a) (b)
Figure 3.4 Illustration des distorsions radiale et tangentielle. (a) Image sans distorsion.
(b) Image avec distorsion radiale et tangentielle.
Modle mathmatique "pur" : la diffrence des modlisations prcdentes qui se

basent sur des fonctions qui ont une signification physique, dautres choisissent duti-
liser des fonctions mathmatiques pures. Par exemple [Tang et al., 2012b] utilisent
une dcomposition en srie de Fourier, [Tang et al., 2012a] les polynmes de Le-
gendre, et [Pierrot-Deseilligny et Clry, 2011] un polynme gnral dordre 7. Le
34 Thse B. CANNELLE
3.1. tat de lart
principal intrt de ces mthodes est de modliser tout type de distorsion (radiale,
tangentielle et plus complexe). Le principal inconvnient est le nombre de paramtres
estimer qui est trs important. Il faut donc beaucoup dobservations pour talon-
ner une camra avec cette famille de modle. La figure 3.5 prsente la dformation
dune grille rgulire en prsence de distorsion complexe.
(a) (b)
Figure 3.5 Illustration de la distorsion complexe. (a) Image sans distorsion. (b) Image
avec distorsion complexe avec une formule base de sinus et cosinus.
Le tableau 3.1 prsente des formules mathmatiques correspondant aux trois familles
de modles.
Thse B. CANNELLE 35

x X x xcor = xmes + x
+S x = 2 2
y = R Y On pose : z
y , r= (x xP P S ) + (y yP P S ) et
y = z
z Z ycor = ymes + y
La notion de Point Principal de Symtrie nexiste pas toujours (de coordonnes t (xP P S , xP P S , 0) dans le repre image). Certains le confondent avec le PPA,
dautres le placent au milieu du capteur et tandis que dautres lestiment dans leur processus de calibration.
Famille Modle Inconnues
M
x = m=1 am rm
radial (1) an
Radiale
M
y = m=1 am rm
M
x = m=1 am r2m
radial (2) an
M
Thse B. CANNELLE
2m
y = m=1 am r

x = 1 + ar2 + br4 + cr6 x + 2dx y + e(r2 + 2x2 )
Radiale et Tangentielle a, b, c, d, e

= 1 + ar2 + br4 + cr6 y + d(r2 + 2y 2 ) + 2ex y
y
N
x = M
(a cos(mu + nv) + bm,n sin(mu + nv))
c
u = + W 2 N n=N m,n
m=1
+ (a cos(mu + nv) + b0,n sin(mu + nv))
Srie de Fourrier M n=1N 0,n am,n , bm,n
Mathmatique

y = m=1 (a cos(mu + nv) + bm,n sin(mu + nv))
v = + l 2
H n=N m,n
N
+ n=1 (a0,n cos(mu + nv) + b0,n sin(mu + nv))
i
Pi (x) = 21i k=0 Cki (x 1)ik (x + 1)k
c M N
u = 1 + 2 W
x = m=0 n=0 (am,n Pm (u)Pn (v))
Polynme de Legendre M N am,n , bm,n
y = m=0 n=0 (am,n Pm (u)Pn (v))
v = 1 + 2 Hl
M N
x = m=0 n=0 (am,n xm y n )
Polynme M N am,n , bm,n
y = m=0 n=0 (bm,n xm y n )
Table 3.1 Formules gnrales des familles de distorsion.
36
3.1. tat de lart
Pour conclure, il ny a pas de modle de distorsion universel, il y a seulement des

modles qui sont plus ou moins appropris pour une camra donne. Si le modle est bien
choisi et que le processus de calibration prsente des rsultats satisfaisants : rsidus images
faibles, bien rpartis et sans systmatisme, alors le modle est adapt la camra. Sinon
il est prfrable changer de modle car il nest pas adapt la distorsion de la camra.
Pour illustrer cette remarque, nous avons choisi de calibrer une camra avec la mme
mthode et les mmes donnes mais en utilisant trois modles de distorsion diffrents. Ils
sont tous les trois radiaux. Le premier comporte un unique paramtre en r3 , le second
en a deux en r3 et r5 tandis que le dernier en comporte trois r3 , r5 et r7 . Le tableau 3.2
prsente les rsultats des calibrations pour chaque modle.
Nous pouvons constater que lhistogramme de rpartition des rsidus sur les mesures
est beaucoup plus troit (centr en 0) pour le modle ayant trois paramtres de distorsion.
Le modle ne prsentant quun seul paramtre radial est lui beaucoup plus rparti sur des
plages de valeurs leves ce qui signifie que le modle nabsorbe pas tous les dfauts de la
camra.
Lorsquon observe les rsidus images dans le plan du capteur, il y a des systmatismes
et des erreurs non modlises dans les deux premiers modles (la direction des rsidus nest
pas alatoire et la norme des rsidus est importante). Ensuite, la moyenne des rsidus pour
les deux premiers modles est leve (suprieure au pixel) ce qui indique que les mesures
faites dans limage ne seront pas correctement corriges. Le troisime modle lui prsente
un champs de rsidus de norme faible (infrieur au demi pixel) et de rpartition alatoire.
Cest donc le troisime modle qui est le mieux adapt notre camra.
Thse B. CANNELLE 37
Modle
Radial 6 paramtres
Radial 7 paramtres
Radial 8 paramtres
cc
= cb + (cb cP P S ) ar 3 cc
= cb + (cb cP P S ) ar 3 + br 5 cc
= cb + (cb cP P S ) ar 3 + br 5 + cr7
quation lc = lb + (lb lP P S ) ar 3 lc = 3
lb + (lb lP P S ) ar + br
5 lc = lb+ (lb lP P S ) ar 3 + br5 + cr 7

r
r
r
= (cb cP P S )2 + (lb lP P S )2 = (cb cP P S )2 + (lb lP P S )2 = (cb cP P S )2 + (lb lP P S )2
Inconnues p, cP P A , lP P A ,cP P S , lP P S , a p, cP P A , lP P A ,cP P S , lP P S , a, b p, cP P A , lP P A ,cP P S , lP P S , a, b, c
Nb Nb Nb
150 150 150
125 125 125
100 100 100
75 75 75
50 50 50
25 25 25
Histogramme 0 2,5 5 10 15
Pix.
0 2,5 5 10 15
Pix.
0 2,5 5 10 15
Pix.
Thse B. CANNELLE
des rsidus
Champs des
rsidus dans
le plan image
10 pixels 10 pixels 10 pixels
Focale (pix.) 1045,428 1039,998 1038,469
PPA (pix.) 1023,590 1092,696 1033,393 1122,405 1025,934 1129,284
EMQ (pix.) 5,7871 1,2705 0,4817
Table 3.2 Diffrence de calibration par rapport au choix du modle de distorsion.
38
3.1. tat de lart
Le modle que nous avons utilis est celui prsent dans lquation 2. Il comporte une
modlisation de la distorsion radiale (a, b et c) ainsi quune inconnue de positionnement
du point principal de symtrie (cP P S et lP P S ). Ce modle est inspir de celui de [Fraser,
1997] prsent dans la partie "standard eight parameter model". Il est utilis depuis
longtemps lIGN [Thom et Souchon, 1998] et[Paparoditis et al., 2006] et est appropri
pour les camras ariennes et pour les camras utilises au MATIS (sur le vhicule et sur
le Cyclopolis). Toutes les camras calibres avec ce modle prsentent des rsidus faibles
et du mme ordre de grandeur que la prcision de la mesure et une rpartition alatoire
du champs de rsidus.
3 5 7
cc = cb + (cb cP P S ) (ar3 + br5 + cr7 )

+ (lb lP P S ) (ar + br + cr )
lc = l b (2)

r = (cb cP P S )2 + (lb lP P S )2
3.1.c Mthodes de calibration

Maintenant que nous avons vu la manire de modliser le faisceau dune camra ainsi
que ses dfauts, il faut maintenant la "calibrer" : cest dire dterminer ses paramtres
intrinsques 3 . Il existe de nombreuses techniques pour les dterminer et nous allons ici en
dtailler quelques unes :
Mesure directe : trs ancienne technique qui permet, grce un ou plusieurs collima-
teurs, de mesurer directement la distorsion. La camra talonner est place dans
le plan orthogonal laxe du collimateur [Karren, 1968] et des rayons lumineux sont
envoys dans la camra.
Utilisation dun rseaux de cibles 3D ou polygone dtalonnage : il suffit de prendre
en photos des cibles dont les coordonnes sont trs prcisment connues en 3D et de
les mesurer dans limage [Ameller et al., 2002], [Triggs, 1999] et [Thom et Souchon,
2001].
Utilisation de formes gomtriques particulires dans limage : avoir une gom-
trie particulire connue dans limage permet dajouter des contraintes mathma-
tiques dans le calcul de calibration.
droites : [Brown, 1971] utilise des fils lests de plomb quil place devant une ca-
mra avant de les prendre en photos. Dautres ajoutent des mires [Alvarez
et al., 2009] ou prennent des photos de scnes contenant des segments [Dever-
nay et Faugeras, 2001],[Lourakis et Deriche, 2000b] pour faire cette calibration.
Quand [Tang, 2011], il utilise une harpe dont il prend des photos sous diff-
rents angles.
plan : [Tsai, 1987] propose une mthode qui peut tre utilise avec une seule image
de points coplanaires. [Zhang, 1999] utilise plusieurs photos dun mme plan
qui peut tre soit une mire soit des objets 3D sur un plan.
mires : [Zhang, 1999] et [Triggs, 1998] utilisent des mires comportant un damier.
Des mires avec des motifs circulaires peuvent tre aussi employes soit en utili-
sant le centre des cercle [Heikkil, 2000] et [Lavest et al., 1998], soit en utilisant
3. Dans certaines mthodes, la notion de calibration interne ne concerne que le point principal dau-
tocollimation ainsi que la focale, tandis que dautres incluent aussi un modle de distorsion. Pour nous,
la calibration consiste dterminer aussi bien le PPA et la focale que le modle de distorsion
Thse B. CANNELLE 39
les orientations des cercles dues la projection [Tarel, 1994]. Un comparatif

entre diffrents types de motif (cercle et carr) a t fait dans [Datta et al.,
2009].
point de fuite : [Caprile et Torre, 1990],[Beardsley et Murray, 1992] exploitent les
points de fuite de limage 4 .
Autocalibration de type panoramique : cette technique permet une mise en qua-
tion efficace sappuyant uniquement sur la minimisation des rsidus entre les fais-
ceaux tandis que toutes les autres mthodes minimisent les rsidus entre la projec-
tion dobjets 3D connus et leur reprsentation dans limage. [Hartley, 1994], [Agapito
et al., 2001] et [Parian et Gruen, 2010] utilisent cette mthode. Son principal intrt
est de ne pas tenir compte de la position 3D des points homologues.
Auto calibration : cette mthode prsente lavantage de ne pas ncessiter dobjet par-
ticulier (mire, segment...) ou de condition dacquisition spcifique pour calibrer une
camra [Faugeras et al., 1992], [Lavest et al., 1998], [Triggs et al., 2000] et [Pierrot-
Deseilligny et Clry, 2011]. La calibration est faite en utilisant uniquement des
points communs entre plusieurs images dune mme scne. Cette technique permet
de calibrer ou de r-estimer la calibration dune camra avec un jeu de donnes
quelconque.
Il faut noter que toutes les mthodes ne sont pas valables pour toutes les camras.
Par exemple, une camra grand champ avec une mire de un mtre de ct ne pourra pas
tre utilise : la surface de la mire tant toute petite par rapport au champ de la camra.
De mme que la configuration des prises de vues, par rapport la mthode utilise peut
introduire des corrlations entre les diffrents paramtres du modle, donc conduire une
mauvaise estimation de ceux-ci [Li et Lavest, 1995]. Pour toutes ces raisons, ltat de
lart est trs riche et de nombreux travaux sont encore mens afin de trouver la ou les
technique(s) permettant de calibrer le plus grand nombre de camras.
Dans tous les travaux cits prcdemment, les paramtres intrinsques des camras
sont considrs comme constants. Cest--dire que la focale, le PPA et le modle de dis-
torsion ne varient par pour une mme squence dimages. [Willson, 1994],[Lourakis et
Deriche, 2000a] et [Park et Hong, 2001] prsentent diffrentes manires de calibrer des
camras en considrant que les paramtres intrinsques peuvent varier. Cela correspond
notamment aux camras munies dun focus automatique modifiant notamment la focale.
Dans notre cas, nous navons pas constat de variabilit sur les paramtres intrinsques des
camras durant une acquisition ce qui fait que nous navons pas utilis cette modlisation.
Nous avons choisi dutiliser la mthode de calibration en gomtrie panoramique pour
diffrentes raisons : la mise en quation est simple (cf. sous-section 3.2.b) et elle ne dpend
que de la qualit des mesures homologues. La section suivante dtaille cette mthode.
3.2 Autocalibration panoramique

Pour raliser une calibration en gomtrie panoramique, il faut tout dabord avoir
un dispositif adapt. Il est dtaill dans une premire sous-section. Ensuite, nous prsen-
tons des simulations permettant de mesurer la prcision pouvant tre atteinte par cette
4. Les points de fuite sont les intersections des reprsentations dans limage de droites parallles sur
le terrain.
40 Thse B. CANNELLE
3.2. Autocalibration panoramique
technique. Enfin nous validerons notre processus en travaillant sur des donnes relles
produites lors dune phase dexprimentation.
3.2.a Systme dacquisition

Le systme complet dacquisition utilis sappelle Cyclopolis et a notamment t pr-
sent dans [Cannelle et al., 2010] et [Cannelle et al., 2011]. Il contient diffrents lments :
un dispositif tournant sur deux axes, la camra talonner et un ordinateur qui permet
la fois de piloter le dispositif et de dclencher la prise dimages. La figure 3.6.a montre
le systme lors dune acquisition et la figure 3.6.b prsente le dispositif pan-tilt muni de
la camra qui est situe lintersection des axes de rotation. Cyclopolis a t conu afin
dtre compact et lger pour une utilisation simple et rapide dans tout type de milieux.
(a) (b)
Figure 3.6 Le systme Cyclopolis. (a) Dispositif complet. (b) Systme tournant +
camra.
Le principal intrt du dispositif pan-tilt est de permettre la rotation autour de deux

axes orthogonaux. Il suffit de positionner le centre perspectif de la camra que lon veut
talonner lintersection des axes de rotations du dispositif pour acqurir les images avec
une gomtrie panoramique sans parallaxe.
Un moyen pratique, mais efficace, permet de placer le centre optique lintersection
des axes de rotations. Pour cela, il suffit de prendre deux images contenant un objet
proche et un objet loign puis de vrifier si les objets sont la mme place dans les deux
images. Par exemple la figure 3.7 prsentent deux images contenant un fil (au premier
plan) et une antenne (btiment au second plan). Pour deux images successives, (figures
3.7.a et 3.7.b). Lantenne est gauche du fil dans la premire, mais droite du fil dans
la seconde. La camra nest donc pas parfaitement monte sur le dispositif parce quil y
a un changement dordre entre les objets. En pratique, on arrive centrer la camra
environ 2 millimtres 5 , ce qui est suffisant pour obtenir une calibration correcte (cf. suite
du chapitre).
5. Le processus tant itratif jusqu lannulation de la parallaxe, cette valeur a t dtermine en
faisant la diffrence des positions sur les deux dernires itrations.
Thse B. CANNELLE 41
(a) (b)
Figure 3.7 Illustration de la prsence de parallaxe avec le Cyclopolis. Les images (a)
et (b) comportent des objets proche et loin dans la partie de gauche (a) et la partie droite
(b). Il y a une inversion entre lantenne au second plan et le fil au premier plan. Ainsi la
camra nest pas parfaitement centre.
3.2.b Mise en quation de la compensation par faisceaux
Im1 M
Im2
Figure 3.8 Configuration de deux images en gomtrie panoramique.
En gomtrie panoramique, les images ont (quasiment) le mme centre (S sur la fi-
gure 3.8). En dfinissant la rotation RIm,pano de limage par rapport lorigine du dispositif
et M un point terrain, un faisceau dune image acquise en gomtrie panoramique scrit
selon lquation :

c cP P A
RIm,pano l lP P A
p
SM = (3)
(c cP P A )2 + (l lP P A )2 + p2
Un mme dtail de la scne vu dans deux images diffrentes reprsente le mme vecteur
en 3D. Ce vecteur passe par le sommet (qui est commun grce la gomtrie panora-
mique) et le dtail. Si on tablit cette quation pour deux faisceaux issus de deux images
distinctes, et que lon considre que les images sont prises du mme sommet (hypothse
dune acquisition panoramique), on peut crire lquation 4 qui relie deux mesures homo-
logues.
42 Thse B. CANNELLE

cIm1 cP P A
lIm1 lP P A faisceau exprim pour limage 1
SM =
p

cIm2 cP P A
lIm2 lP P A faisceau exprim pour limage 2
SM =
p

cIm1 cP P A cIm2 cP P A
RIm1,pano lIm1 lP P A RIm2,pano lIm2 lP P A
p p
= (4)
(cIm1 cP P A )2 + (lIm1 lP P A )2 + p2 (cIm2 cP P A ) + (lIm2 lP P A )2 + p2
2
En introduisant la fonction f correspondant au modle de distorsion retenu, on a :

cIm1,cor cIm1,b
=f
lIm1,cor lIm1,b

cIm1,cor cP P A cIm2,cor cP P A
RIm1,pano lIm1,cor lP P A RIm2,pano lIm2,cor lP P A
p p
2 2 = 2 2 (5)
cIm1,cor cP P A + lIm1,cor lP P A + p 2 cIm2,cor cP P A + lIm2,cor lP P A + p2
Pour calibrer une camra il suffit de :

1. Prendre des images du mme point de vue, avec un fort recouvrement (plus de 50 %)
afin que chaque dtail soit vu dans au moins deux images,
2. Calculer les couples dimages ayant du recouvrement (on note N bC le nombre de
couples),
3. Extraire les mesures homologues pour chaque couple. On note
N bM le nombre de mesures homologues,
(cA(i),j , lA(i),j ) et (cB(i),j , lB(i),j ) la jeme mesure image du faisceau homologue du
ieme couple dimages (Ai ,Bi ).
Avec ces conventions, le systme minimiser peut scrire comme dans lquation :

cA(i),j cP P A cB(i),j cP P A
RA(i),pano lA(i),j lP P A RB(i),pano lB(i),j lP P A
N
bC N bM
p p
= 0
2 2 2 2
i=0 j=0 c cPPA + l l PPA + p 2 c c PPA + l l PPA + p 2
A(i),j A(i),j B(i),j B(i),j
(6)
Nous pouvons constater que seule lorientation relative des images et les paramtres
intrinsques, sont dterminer tandis que les autres mthodes doivent en plus dterminer
la position des images.
3.2.c Rsultats sur donnes synthtiques

Afin de valider le processus de calibration en gomtrie panoramique avec le modle de
distorsion choisi, nous avons dcid de travailler dans un premier temps sur des donnes
synthtiques. Ainsi le processus peut tre valid. Une mesure de lcart entre le rsultat
Thse B. CANNELLE 43
obtenu 6 et le rsultat attendu 7 est donne. Tout type de camras peut de plus tre simul
(arienne, terrestre, grand public, industrielle).
Nous prsenterons tout dabord les diffrents types de capteurs simuls, puis le proto-
cole mis en uvre lors de nos simulations. Nous tudierons linfluence du bruit de mesure
et limpact de la parallaxe due un mauvais centrage de la camra sur le dispositif.
3.2.c.i Prsentations des capteurs simuls
Nous avons choisi de simuler quatre capteurs rpondant diffrentes applications :

Camra 1 : un appareil photo grand public avec un objectif quivalent 20 mm (courte
focale),
Camra 2 : un appareil photo grand public avec un objectif quivalent 50 mm (longue
focale),
Camra 3 : une camra haute dfinition avec obturateur lectronique pouvant tre uti-
lise pour faire des acquisitions trs rapides 8 ,
Camra 4 : une camra numrique champ large utilise pour la prise de vue arienne
traditionnelle.
Le tableau 3.3 rcapitule les caractristiques numriques des quatre camras utilises
pour la simulation. Les valeurs de distorsion dans la simulation sont reprsentatives de
cas rels. La premire ligne indique la convention de lgende utilise dans les figures.
Camra 1 Camra 2 Camra 3 Camra 4
Largeur 3000 3000 1920 7256
Hauteur 2008 2008 1080 5450
Focale 2610 6627 1400 11775
1498 1511 961 3657
PPA
985 985 542 2728
1481 1721 961 3697
PPS
971 1145 542 3709
a -1.7 108 -6.2 1010 -4.6 108 -2.8 1011
b 3 1015 6.1 1017 -3.1 1014 -4.2 1019
c -2.2 1022 -8.2 1024 -1.2 1021 9.7 1027
Correction en bords
59.7 4.2 14.9 3.1
de champ
Table 3.3 Caractristiques des quatres camras simules (en pixels).
La figure 3.9 reprsente les corrections dr appliquer aux mesures images afin de tenir
compte de la distorsion pour chaque camra.
3.2.c.ii Simulation des mesures
Dans toutes les exprimentations suivantes, nous avons estim au sein du mme pro-
cessus tous les paramtres intrinsques (focale, PPA, PPS et coefficients du polynme
6. Caractristiques de la camra calcules la fin du processus.
7. Caractristiques de la camra simule.
8. Celle utilise sur le vhicule Stropolis
44 Thse B. CANNELLE
0 1000 2000 3000 4000

r (pixels)
-10
Lgende
-20
Camra 1
-30
Camra 2
-40
Camra 3
-50
Camra 4
-60
dr (pixels)
Figure 3.9 Polynmes de distorsion des camras simules (cf tableau 3.3).
de distorsion) ainsi que lorientation de chaque image. Les conditions initiales lors de la
compensation sont :
Focale gale 80% de la valeur relle 9 ,
PPA et PPS au centre de limage,
Coefficients du polynme de distorsion mis zro.
Les mesures ont t simules en utilisant une rpartition de points sur une sphre 10
autour des images en gomtrie panoramique. La rpartition a t ralise en utilisant
les points dun maillage godsique qui a comme lment de base le ttradre [Kenner,
1976]. La figure 3.10.a reprsente llment de base du dme, la figure 3.10.b prsente le
dme aprs une tape de division et la figure 3.10.c reprsente les points ayant servi la
simulation des mesures.
(a) (b) (c)
Figure 3.10 Points servant pour la simulation de mesures homologues. (a) lment de
base du dme. (b) Premire division. (c) Rsultat aprs 4 divisions.
3.2.c.iii Influence du bruit
Notre mthode ne ncessitant aucun point dappui, elle est totalement tributaire de
la qualit des mesures homologues entre les images. Nous avons donc simul un bruit
9. En gnral, la valeur de la focale est connue de manire approche que ce soit grce aux donnes
EXIF des images ou grce la documentation des objectifs.
10. La sphre a t choisie afin de pouvoir valuer linfluence dun dfaut de centrage par rapport au
rayon de celle ci cf 3.2.c.iv {page 47}.
Thse B. CANNELLE 45
alatoire de type Gaussien sur les mesures dans les images afin dvaluer limpact de
celui-ci sur la calibration. La fonction utilise est une gaussienne centre sur la "vraie"
mesure et dont lcart type dpend de la simulation.
Les figures 3.11, 3.12 et 3.13 prsentent les carts sur la focale, le PPA et la distorsion
en prsence de bruit.
Diffrence entre la focale vraie et la focale estime

(pixels)
14
13
12
11
10
9
8
7
6
5 Lgende
4 Camra 1
3 Camra 2
2 Camra 3
1 Camra 4
Bruit (pixels)
0 0,5 1 1,5 2 2,5 3
Figure 3.11 Influence du bruit sur la dtermination de la focale.
Diffrence entre le PPA vrai et le PPA estim

(pixels)
9
8
7
6
5 Lgende
4 Camra 1
3 Camra 2
2 Camra 3
1 Camra 4
Bruit (pixels)
0 0,5 1 1,5 2 2,5 3
Figure 3.12 Influence du bruit sur la dtermination du PPA.
Plusieurs constatations peuvent tre faites sur ces exprimentations :

Lerreur sur la calibration est proportionnelle lcart-type du bruit sur les mesures
et ce quel que soit le type de camras,
Entre 0 et 0,5 pixel de bruit, la calibration des camras est quasiment parfaite,
46 Thse B. CANNELLE
Diffrence maximale entre la fonction de distorsion

vraie et la fonction de distorsion estime (pixels)
6
5
4 Lgende
3 Camra 1
2 Camra 2
1 Camra 3
Bruit (pixels) Camra 4
0 0,5 1 1,5 2 2,5 3
Figure 3.13 Influence du bruit sur la dtermination du modle de distorsion.
Lorsque le bruit de mesure dpasse 2 pixels, la calibration obtenue peut tre signi-
ficativement loigne de la "vraie" calibration.
Afin dutiliser notre processus dans des conditions optimales, nous devrons donc nous
assurer que le bruit sur les mesures est faible. Pour cela il faut utiliser une mthode
dextraction de points homologues prcise (cf. chapitre 5). En gomtrie panoramique,
toutes les images "voient" la scne du mme point de vue ce qui permet de minimiser les
erreurs et les biais lis aux changement de relief et de point de vue.
3.2.c.iv Influence de la parallaxe
La calibration panoramique repose sur lhypothse que la camra tourne autour de

son centre perspectif et donc que toutes les images ont le mme centre de prise de vue.
Cette hypothse est fondamentale car sous-jacente lquation 4 {page 43}. Il est donc
important dtudier le comportement de notre mthode si lhypothse initiale nest pas
totalement vrifie. Dans la simulation suivante, nous avons considr que toutes les me-
sures homologues taient faites sur des points situs une distance fixe (ici 10 mtres) du
centre perspectif de notre systme 11 . Ensuite, nous avons simul une parallaxe comprise
entre 1 mm et 10 cm selon les 3 axes.
11. Le paramtre important est le rapport parallaxe/distance fixe mais pas la valeur de la distance
elle-mme
Thse B. CANNELLE 47
X Y Z
diffrence en pixels diffrence en pixels diffrence en pixels
103 103 103
102 102 102
101 101 101
Focale
100 100 100

101 101 101
102 102 102
Thse B. CANNELLE
102 101 100 101 102 101 100 101 102 101 100 101

(1mm 10m) (1cm 10m)(10cm 10m) (1m 10m) (1mm 10m) (1cm 10m)(10cm 10m) (1m 10m) (1mm 10m) (1cm 10m)(10cm 10m) (1m 10m)
103 103 103
102 102 102
101 101 101
PPA
100 100 100

101 101 101
102 102 102
102 101 100 101 102 101 100 101 102 101 100 101

48
Figure 3.14 Influence de la parallaxe sur la dtermination de la focale et du PPA.
49
Lgende
Camra 1 Camra 2 Camra 3 Camra 4
X Y Z
103 103 103
Thse B. CANNELLE
102 102 102
101 101 101
Distorsion
100 100 100

101 101 101
102 102 102
102 101 100 101 102 101 100 101 102 101 100 101

Figure 3.15 Influence de la parallaxe sur la dtermination du modle de distorsion.
Les figures 3.14 et 3.15 rcapitulent tous les rsultats de lexprience. Nous pouvons
en extraire trois conclusions :
Une erreur de centrage de 1 cm (en pratique, la camra peut tre positionne
2 millimtre cf. sous-section 3.2.a {page 41}) entrane sur des cibles 10 mtres
une erreur de calibration de 2 pixel sur la focale, le PPA et la distorsion. Ceci est
relativement faible.
Quel que soit le type de camra, le processus converge vers les valeurs quasi exactes
lorsque la parallaxe est faible.
Lerreur sur la calibration est plus importante lorsque lerreur de positionnement se
trouve selon laxe de vise (axe Z). Plus la focale est longue, plus les effets de la
parallaxe se ressentent sur la qualit de la calibration.
La simulation permet de voir si un processus est fiable et sensible au bruit et/ou
aux dfauts de mcanique mais ne permet pas de conclure totalement quant la validit
exprimentale dune mthode dans des cas rels. En effet, la rpartition des mesures ne
sera pas forcment homogne, les mesures homologues ne seront pas parfaites et le bruit
sur les mesures ne sera pas forcment gaussien 12 .
3.2.d Rsultats sur donnes relles

Le site utilis pour les acquisitions relles est le hall de lcole Nationale des Sciences
Gographique (voir figure 3.16). Ce site a t choisi parce quil a un grand volume intrieur
ce qui permet de limiter les effets de la parallaxe rsiduelle 13 due au dfaut de centrage
de lappareil sur le dispositif.
Figure 3.16 Site dexprimentation pour la calibration de camra.
Nous allons maintenant vrifier les rsultats de nos simulations en utilisant des don-
nes relles. En ce qui concerne les mesures nous avons utilis Scale Invariant Feature
Transform (SIFT) de [Lowe, 2004] pour lextraction de points caractristiques ainsi que
son descripteur. Ce choix est argument dans le chapitre 5 et prsente un bruit faible
(infrieur au demi-pixel dans le cas gnral, mais infrieur dans le cas prsent o lon est
du mme point de vue).
12. Ou tout autre mthode de simulation de bruit.
13. Plus les objets sont loin de la camra, moins les effets de dcentrage de la camra ont une influence
sur la calibration.
50 Thse B. CANNELLE
La figure 3.17 reprsente la chane de traitement de Cyclopolis, de lacquisition la

calibration. En entre du processus, nous devons choisir les recouvrements longitudinaux
et latraux des images ainsi que le temps de pose. Les points SIFT sont extraits et lappa-
riement est fait. La phase de calibration peut avoir lieu ds que lensemble de ces processus
a t ralis (quelques minutes).
Cyclopolis
Images +
Spcifications Traitements :
recouvrement dbayerisation
temps de pose balance des blancs
flat-field
Acquisition
Camra Mtadonnes
focale approche rotation/image
taille graphe de voisinage
Appariement
Calibration SIFT
Lgende
Processus de thse Processus externe Fichiers
Figure 3.17 Traitement des donnes de Cyclopolis.
3.2.d.i Influence de la parallaxe
Pour tudier linfluence de la parallaxe, nous avons ralis deux jeux de donnes.
Le systme Cyclopolis a t plac au mme endroit, les images ont t prises aux mmes
emplacements, mais par contre, la camra a t dsaxe de 5 cm entre les deux acquisitions.
Le tableau 3.4 prsente les rsultats des deux calibrations. Les valeurs indiques com-
parent la calibration de la camra dans le cas dune panoramique parfaitement centre et
une calibration avec une camra dcentre. simu. est lcart observ lors des simulations
et reelle est lcart observ avec les donnes relles. Concernant la focale, lcart est de
3,43 pixels tandis que moins de 1 pixel de diffrence tait prvu sur les simulations. Lcart
sur le PPA est de 0,5 pixel ce qui est beaucoup mieux que les simulations (5 pixels). Pour
finir, lcart sur la distorsion est de 2,84 pixels dcart (au maximum), tandis que moins
de 1 pixel de diffrence tait prvu sur les simulations.
La figure 3.18 prsente les histogrammes des rsidus image entre la panoramique com-
pense avec la calibration panoramique centre (figure 3.18.a) et la panoramique compen-
se avec la calibration sur la panoramique dsaxe (figure 3.18.b). Les rsidus image sont
Thse B. CANNELLE 51
f ocale lP P A cP P A lP P S cP P S r3 1008 r5 1014 r7 1021

Montage Parfait 1402,58 546,47 955,24 528,84 965,84 -4,926 3,373 -4,283
Montage Dsax 1399,15 551,55 957,53 527,81 973,52 -5,111 3,455 -5,158
reelle 3,43 5,00 2,84
simu. 0,52 0,53 0,49
Table 3.4 Valeurs des calibrations avec et sans parallaxe sur les donnes relles et
simules.
plus levs en utilisant la calibration ralise avec la panoramique dsaxe mais ils restent
dans des proportions raisonnables (majoritairement infrieurs au pixel).
Nombre de mesures
300
250 Nombres de mesures
200 200
150 150
100 100
50 50
0 0,5 1 1,5 2 2,5 3 3,5 4 0 0.5 1 1.5 2 2.5 3 3.5 4
Rsidus (pixels) Rsidus (pixels)
(a) (b)
Figure 3.18 Histogrammes des rsidus aprs compensation de la panoramique en tenant

compte de la calibration de la camra centre (a) et de la calibration de la camra dsaxe
(b).
En conclusion, la parallaxe a une influence sur la calibration qui est quatre fois plus
grande sur les donnes relles que sur les simulations. Par contre, une parallaxe de 5 cm
pour le positionnement est trs exagre, en pratique on peut centrer la camra au milli-
mtre (cf. partie 3.2.a {page 41}). Ce choix a t fait pour avoir des rsultats parlant. Sur
un site comme le hall de lENSG (objets loigns de la camra de manire homogne), en
multipliant lerreur obtenue avec les simulations par quatre, une prcision de lordre du
dixime de pixel peut tre attendue.
3.2.e Conclusion
Dans cette partie, nous avons dmontr lintrt de calibrer une camra pour des
applications de mesures fines (de lordre du pixel). Nous avons vu que lacquisition de
type panoramique permet de calibrer une camra qui prsente de la distorsion mme
forte. Cette mthode prsente de nombreux avantages : elle ne ncessite pas de matriels
dacquisition coteux ni de polygone ou de mire, et na besoin que dun systme de
motorisation pan-tilt pour extraire les mesures homologues.
Il reste encore des perspectives ce travail, au niveau de lexprimentation sur diff-
rents types de camras, notamment ariennes. Nous navons pas pu le faire dans le cadre
de cette thse car cela ncessite le dveloppement de matriel spcifique : Cyclopolis ne
52 Thse B. CANNELLE
pouvant pas supporter le poids dune camra arienne. Une seconde perspective est lin-
clusion dun modle de distorsion plus complexe, par exemple un polynme gnralis,
puis de dterminer dans le processus les coefficients conserver dans la modlisation afin
davoir le modle adapt la camra. Une seconde perspective concerne lappariement.
En effet, une source derreur principale est lerreur dappariement qui est d au phasage
de lobjet dans la grille. A priori cette erreur est systmatique et alatoire. Elle peut
tre rduite significativement par des techniques de corrlation sub-pixellaires ([Craciun,
2010]).
Thse B. CANNELLE 53
54 Thse B. CANNELLE
4. Calibration de systmes multi-camras embarqu sur vhicule
Chapitre 4
Calibration de systmes multi-camras

embarqu sur vhicule
Dans le chapitre prcdent, nous avons prsent une mthode pour dterminer les para-
mtres intrinsques des camras. Nous savons donc modliser avec prcision la projection
dun point 3D dans le repre de la camra sur une image 2D. Nous allons maintenant
nous intresser aux diffrentes manires destimer la position des centres perspectifs et
des orientations des camras sur un vhicule de numrisation mobile. Cette tape est
ncessaire pour considrer le vhicule et ses camras comme un ensemble rigidement li
plutt que de considrer chaque image comme indpendante.
Dans un premier temps, nous ferons ltat de lart des mthodes existantes, puis nous
tablirons la formule image 1 pour un vhicule de numrisation mobile. Nous prsenterons
ensuite les deux mthodes que nous avons mises en uvre : la premire issue de ltat
de lart tandis que la seconde a t dveloppe dans le cadre de cette thse. Enfin nous
effectuerons une comparaison de ces mthodes et conclurons sur le protocole adapt.
4.1 Motivations
Le design photogrammtrique sur le vhicule Stropolis V2 a t dfini pour r-
pondre des besoins de diffusion (mt panoramique munis de 10 camras) et de mesures
fines (bases stroscopique avant et arrire) par modlisation sur plan dans un logiciel de
conception assiste par ordinateur [CATIA, 2013]. La ralisation des pices puis lassem-
blage ont t faits dans les ateliers de lIGN. Toutes ces tapes introduisent des carts entre
les plans thorique et sur ralisation, ce qui se traduit par des erreurs de positionnement
et/ou dorientation des capteurs qui doivent tre values.
Le schma 4.1 reprsente linfluence dune erreur de positionnement sur lorientation
dune camera. reprsente lerreur de montage et lerreur dorientation. En raisonnant
en 2 dimensions, on constate quune erreur dun dixime de millimtre (erreur de perage)
peut introduire des cart de 3 5 pixels pour deux fixations espaces de 73 mm (cette
valeur correspond aux camras qui sont sur les cts) et de 7 10 pixels pour deux fixations
espaces de 38 mm (cette valeur correspond aux camras avants et arrires). Ces erreurs
1. Par analogie avec la photogrammtrie traditionnelle, formule qui permet de passer dun point en
coordonnes terrain sa position dans une image pour une position du vhicule donne.
Thse B. CANNELLE 55
Chapitre 4. Calibration de systmes multi-camras embarqu sur vhicule
ne sont pas significatives pour des applications de navigation ou de texturation de modles

3D. Pour les applications mtrologiques que nous visons avec ce systme (prsentes dans
le chapitre 2), nous sommes tenus de dterminer prcisment les positions et orientations
des capteurs [El-Sheimy, 1996], [Cramer et Stallmann, 2002].
Corps dune camra avec une base de 73 mm. (camra avant et arrire)
Dcalage dans limage (en pixels) Dcalage dans limage (en pixels)
103 103
102 102
10 10
1 1
0.1 0.1
0,01 mm 0,1 mm 1 mm 1 cm 0,01 mm 0,1 mm 1 mm 1 cm
Erreur entre les plans et la ralit Erreur entre les plans et la ralit
Base de fixation de 38 mm Base de fixation de 73 mm
Figure 4.1 cart sur la mesure image lors dun dfaut de montage. La ligne continue
reprsente lerreur au centre de la camra tandis que la ligne en pointille reprsente
lerreur en bord dimage.
4.2 tat de lart

Diffrentes mthodes existent pour positionner de faon prcise un capteur sur un
vhicule :
La mesure directe du capteur : il sagit de mesurer directement, par des mthodes

de topomtrie classique, la position du capteur dans le repre du vhicule en se
servant de cibles facilement identifiables et dont les coordonnes sont connues dans
le rfrentiel capteur. Malheureusement, les camras ne possdent pas ce type de
dtails. Ensuite, suivant la conception du vhicule, les camras ne sont pas forcment
visibles et mesurables facilement. Ces limitations ont conduit des travaux sur des
nouvelles mthodes.
Mthodes en deux tapes : il sagit soit :
a) de calibrer les camras entres elles sur un site, puis de calibrer les autres cap-
teurs (GPS, INS) avec le groupe de camras,
b) de calculer les poses de toutes les images directement par rapport au terrain
puis en dduire les positions relatives par rapport au vhicule.
56 Thse B. CANNELLE
4.2. tat de lart
Voici quelques procdures utilisant soit la premire manire (a) soit la seconde (b) :
Mthode a : [Wang et al., 2012] ralisent une premire calibration sur polygone pour
estimer la position de toutes les camras entre elles, puis une seconde en
extrieur pour dterminer la position du GPS par rapport aux camras.
Mthode b : [Esquivel et al., 2007] proposent de calculer pour chaque camra une tra-
jectoire et ensuite de trouver lorientation relative des camras.
[Kumar et al., 2008] utilisent des miroirs pour que les camras visualisent
la mme scne soit directement soit au travers dun miroir. Pour nos ap-
plications il faudrait de nombreux miroirs (un par camra) possdant une
qualit optique parfaite, ce qui les rend trs coteux.
[Habib et al., 2011] et [Rau et al., 2011] calculent les poses de toutes les
images directement par rapport au terrain puis en dduisent les positions
relatives par rapport au vhicule.
Le principal inconvnient de ces approches en 2 tapes est quon obtient plusieurs
poses relatives des camras par rapport au vhicule. Il faut donc ensuite calculer la
pose relative optimale. Pour la translation, une moyenne peut tre faite, mais pour
les rotations le problme est plus complexe : [Schaer et al., 2003] proposent une m-
thode stochastique qui permet de dterminer la rotation en pondrant les diffrentes
orientations en fonction des rsultats des calculs intermdiaires ou plus rcemment
[Hartley et al., 2013] prsentent diffrentes mthodes permettant de "moyenner" les
rotations.
Nous avons donc cherch une autre mthode ne prsentant pas ce dfaut pour ef-
fectuer la calibration.
Mthodes en une tape : cette technique consiste injecter directement les poses re-
latives des camras dans le processus de minimisation. [Habib et al., 2011] proposent
de modifier lquation de colinarit afin de tenir compte des diffrents repres (ca-
mras, vhicule, terrain) et prsentent des rsultats sur des simulations.
[Kersting et al., 2012] prsentent des rsultats de la mthode prcdente sur des
donnes relles. Ces deux approches utilisent des cibles qui sont connues dans le
systme terrain.
[Lbraly et al., 2011] proposent une mthode qui utilise des cibles mais dont la
position nest pas connue en 3 dimensions.
Ces mthodes en une tape correspondent la ralit mcanique du systme mais
complexifient la mise en quation du problme.
Dans notre cas, nous avons choisi dutiliser une mthode en une tape. Elle correspond
la ralit du systme : une pose par camra par rapport au vhicule et une pose du
camion par rapport au terrain. Dans un premier temps, nous utiliserons des cibles dont
les coordonnes sont connues en 3D. Dans un second temps, nous prsentons une variante
par auto-calibration qui a t dveloppe dans le cadre de cette thse et qui prsente
plusieurs avantages :
ne ncessite pas de cible,
ne ncessite pas de points dfinis en 3D,
ne ncessite pas dacquisition spcifique,
cohrente avec la mission.
Thse B. CANNELLE 57
4.3 Formulation du problme
4.3.a Formule image

La formule image ou quation de colinarit est la formule qui permet de passer dun
point M en 3 dimensions sa mesure dans limage en colonne et en ligne (c et l) [Schmid,
1959], [McGlone et al., 2004] . Cette formule est explicite dans lquation 1 (cP P A et lP P A
sont les coordonnes du PPA , R et S lorientation et la position de limage par rapport
au terrain) et p la distance focale.

c cP P A R (M S)
= pt (1)
l lP P A kR (M S)
Pour dterminer la formule qui permet de passer dun point en coordonnes terrain
sa position dans limage dans le cas dun vhicule de numrisation mobile, nous avons
besoin de dfinir diffrents repres :
Le repre camra : le premier axe est dirig dans le sens des colonnes croissantes, le
second est dirig dans les lignes croissantes et le dernier est dfini de manire
dfinir un repre orthogonal dans le sens direct 2 .
Le repre Stropolis : ce repre est directement li au vhicule. Nous lavons choisi
confondu avec le repre de la centrale inertielle afin dviter de rajouter un repre
intermdiaire et des bras de levier inutiles quil faudrait dterminer.
Le repre terrain : il est notre repre de travail. La position du vhicule ainsi que celle
des points 3D sont exprims dans ce repre. Il est notre repre de minimisation cest
pourquoi il doit tre orthonormal.
Lquation 2 permet de passer du repre terrain au repre Stropolis :

Mste = Rter,ste (Mter Ster,ste ) (2)
Lquation 3 permet de passer du repre Stropolis au repre camra.

Mcam = Rste,cam (Mste Sste,cam ) (3)
Les repres introduits ainsi que les matrices de changement de base associes sont
illustrs sur la figure 4.2.
En utilisant lquation de colinarit (1) et les formules de changement de repres (2)
et (3), nous pouvons tablir la formule image qui permet de passer dun point terrain
une mesure image (quation 4). Les indices i et j reprsentent la camra i et la pose j du
vhicule. Dans la suite du manuscrit, nous utiliseront la notation fi,j (M ) qui permet de
passer dun point Mter en 3D sa positon m en colonne ligne.

c cP P A Rstej ,cami Rter,stej Mter Rcami ,stej Scami + Tstej ,ter
= pi t
l i,j
lP P A i kRstej ,cami Rter,stej Mter Rcami ,stej Scami + Tstej ,ter (4)
m =fi,j (Mter )
2. il est le mme que celui dfini dans la partie 3.1.a {page 32}.
58 Thse B. CANNELLE
4.3. Formulation du problme
Repre Stropolis Rste,cam

x z
Sste,cam Repre Camra
x y
y . Mter
z
Tter,ste
Rter,ste
Repre Terrestre
Figure 4.2 Prsentation des diffrents repres utiliss.
4.3.b Systme minimiser
La calibration consiste utiliser la formule 4 en cherchant estimer les paramtres

Sste,cam et Rste,cam dcrivant respectivement la position et la rotation des camras sur le
vhicule. Pour chaque panoramique, on doit en plus dterminer la position et lorientation
du vhicule dans le repre terrestre (Ster,ste et Rter,ste ).
Dans la partie 2.2.d {page 14}, on a constat que la prcision du systme de posi-
tionnement est de lordre du dcimtre, ce qui nest pas adapt pour notre processus qui
requiert une prcision millimtrique. Il faut donc soit mesurer, soit dterminer la position
et lorientation du vhicule dans le rfrentiel terrain.
Une mthode possible serait de mettre le vhicule sur cales afin de rendre le vhicule
solidaire du sol en annulant les mouvements dus aux suspensions, puis de dterminer sa
pose par topomtrie. Pour cela, il faudrait mesurer la position de points connus sur le
vhicule et sur le terrain pour dterminer sa position et son orientation. Ce processus
tant relativement long et complexe, nous avons choisi de dterminer ces paramtres dans
notre minimisation.
Les inconnues du systme dquations sont explicites dans lquation 5. Il y en a 6
par camra (avec N bCam le nombre de camras), 6 par panoramique (avec N bP ano le
nombre de panoramiques) et 3 par point dappui (N bP ts).

X = [Tcam,ste i, Rcam,ste i]N bCam
i=0 , [T ste,ter j, R j] N bP ano
ste,ter j=0 , [M k] N bP ts
ter k=0 (5)
On remarque que lquation 4 nest pas linaire par rapport aux inconnues. Pour
rsoudre notre systme dquations, nous le linariserons et utiliserons une solution initiale
qui sera explicite ci-aprs pour les diffrents cas dutilisation. De manire itrative, nous
calculerons ensuite les valeurs des inconnues litration N + 1 en utilisant la solution
litration N du systme 6.
Thse B. CANNELLE 59

dfi,j (Mter , XN )
dX = m fi,j (Mter , XN )
dX XN
XN +1 = XN + dX (6)
Le dtail de la diffrentielle de la formule image est donne en annexe A {page 173}

Aprs avoir pos mathmatiquement notre problme, nous allons tudier dans les
sections suivantes deux techniques diffrentes pour le rsoudre : la premire laide dun
rseau de cibles mtrologiques et la seconde en les considrant comme non connues.
4.4 Calibration sur polygone dite mthode Off-Line

La premire technique de calibration prsente est inspire de la mthode en une tape
dcrite dans la section 4.2 {page 56}. Nous avons appel cette mthode la calibration
sur polygone ou Off-Line parce quelle ncessite une acquisition spcifique et un
environnement maitris (cibles connues en 3D). Le terme Off-Line a t choisi afin
de souligner le fait quune acquisition spcifique est ncessaire.
Nous allons tout dabord prsenter la zone choisie pour effectuer la calibration puis
nous expliciterons les donnes utilises. Enfin nous discuterons des rsultats et de lintrt
de la mthode.
4.4.a Notre polygone de calibration

Un polygone de calibration est un rseau de cibles 3D et/ou des dtails facilement
reprables dans les images et dont les coordonnes 3D ont t dtermines par topomtrie
classique. La figure 4.4.a prsente une cible photogrammtrique et la figure 4.3.b prsente
un dtail facilement identifiable (joint de dilatation sur les murs).
(a) (b)
Figure 4.3 Cibles et dtails mesurables par topomtrie et dans les images.
Le polygone utilis se situe dans une partie en U dun btiment de lIGN Saint
Mand (cf. figure 4.4). Le vhicule peut facilement circuler entre les trois faades dune
hauteur de 15 mtres visibles sur toutes les panoramiques. Le polygone possde 101 cibles
et 153 dtails remarquables uniformment rpartis. La mesure des points a t ralise par
lunit des Travaux Spciaux du Service de Godsie et Nivellement de lIGN. La prcision
de positionnement des points dans le systme terrain est de lordre du millimtre pour les
dtails mesurables et 0,1 millimtre pour les cibles.
60 Thse B. CANNELLE
4.4. Calibration sur polygone dite mthode Off-Line
Figure 4.4 Polygone de calibration pour Stropolis V2.
4.4.b Donnes
4.4.b.i Acquisition
Pour lacquisition, il suffit de faire voluer le vhicule dans le polygone et de capturer

des panoramiques. Afin dviter certains biais dus certaines conditions particulires 3 ,
nous veillons ce que le vhicule change dorientation entre plusieurs panoramiques. La
figure 4.5 prsente le vhicule dans le polygone ainsi que les mesures image qui sont faites
pour la calibration.
Figure 4.5 Illustration de la calibration Off-Line du vhicule Stropolis avec

les donnes acquises durant la phase de calibration. Les images des panoramiques sont
visibles sous forme de plans et les mesures dans les images sont reprsentes sous forme
de lignes.
La figure 4.6 prsente les diffrentes positions du vhicules (en rouge) chacune des-
quelles correspondent une panoramique et les points dappui (en gris).
3. Ces conditions particulires sont difficiles caractriser de faon prcise. Elles entranent une in-
stabilit mathmatique lors de la rsolution du systme. Cette instabilit peut tre dtecte (divergence
du calcul) a posteriori mais pas toujours lors de lacquisition.
Thse B. CANNELLE 61
o
o
o o
Figure 4.6 Configuration de lacquisition lors de la phase de calibration. Les points

dappui sont en gris et les positions de panoramiques en rouge.
4.4.b.ii Mesure dans les images
Une fois les donnes acquises pour effectuer la calibration, il faut mesurer les cibles
dans les images. A lheure actuelle, cette opration est manuelle. Loprateur est tout
de mme guid grce la prdiction de la position des cibles dans limage en utilisant
lquation 4 {page 58} avec comme positions et orientations initiales des camras, les plans
de conception du mt et comme position et orientation du vhicule, la solution donne
par le systme de positionnement. Lerreur de prdiction peut tre de quelques dizaines
de pixels, mais cela permet dviter toute erreur de saisie.
On pourrait trs bien automatiser cette phase en utilisant des cibles codes [Ahn et
Schultes, 1997], ou alors ne saisir que 3 points par panoramique, affiner la position et
lorientation de la panoramique puis dtecter automatiquement les autres cibles. En pra-
tique, il faut moins de trois heures de saisie pour obtenir 534 mesures image sur 231
cibles, sachant que cette tape peut tre faite en parallle des autres traitements (rcup-
ration des donnes RINEX de la station permanente la plus proche, post-traitement de
trajectoire, cration des mtas-donnes...). La phase de calibration doit tre ralise aprs
chaque modification majeure du vhicule (dmontage et remontage du mt, changement
de camras).
Aprs avoir dtaill les diffrentes donnes ncessaires, nous allons mettre en quation
notre processus de calibration.
4.4.c Formulation mathmatique

Pour notre calibration nous avons :
des panoramiques (N bP ano = 4) avec une solution initiale donne par le systme
de positionnement,
des positions de camras (N bCam = 10) par rapport au vhicule avec une solution
initiale donne par les plans de CAO,
des points dappui connus en 3 dimensions (N bP ts = 231, cibles ou dtails) avec
leurs mesures image (ck , lk ).
La fonction de cot correspond donc minimiser lcart entre toutes les mesures image
calcules par la formule image et celles mesures manuellement (voir quation 7). Dans
notre cas nous avons 462 observations pour 84 inconnues (N bP ano x 6 + N bCam x 6).
62 Thse B. CANNELLE
bP ts N
N bCam N
bP ano

2
ck
s= arg min fi,j (Mk ) (7)
N bCam lk i,j
[Scam ,Rste,cam ]i=1 k i j
N bP ano
[Tgrd,ste ,Rgrd,ste ]j=1
Le temps de calcul pour rsoudre notre problme est infrieur la seconde et le nombre
ditrations est de dix. Nous avons choisi de rsoudre notre systme non linaire (prala-
blement linaris) grce lalgorithme de Levenberg-Marquardt [Levenberg, 1944], [Mar-
quardt, 1963] qui peut tre initialis avec une solution de dpart peu prcise 4 , dans notre
cas quelques mtres sur la position du vhicule et quelques degrs sur lorientation.
4.4.d Rsultats de la calibration

Nous allons maintenant nous intresser aux rsultats en nous attardant dabord sur
les rsultats chiffrs, puis nous nous intresserons aux rsultats visuels.
Dans la suite, lorsque nous parlons de rsultats sans calibration, cela signifie que les
valeurs de pose de camras par rapport au vhicule sont issues des plans techniques.
4.4.d.i Rsultats chiffrs
Le tableau 4.1 prsente les moyennes et les carts-types avant et aprs calibration
par camra. On constate que sans calibration, les rsidus images sont de lordre de la
dizaine de pixels tandis quaprs calibration, les moyennes sont de lordre du demi-pixel.
Les carts-types sont de lordre du tiers de pixel en norme L2 . En norme L1 , lcart-type
est nul par camra ce qui signifie quil ny a pas de biais dans le processus de calibration.
Avant calibration (pixels) Aprs calibration (pixels)
Camras
Moyenne cart-type Moyenne cart-type
21 6,10 1,31 0,41 0,25
22 3,47 1,99 0,76 0,41
23 7,52 3,63 0,43 0,25 21 22 23
31 18,67 2,50 0,25 0,14 32 33
31 34
32 15,27 1,79 0,57 0,39 41 42 43
33 8,16 2,02 0,35 0,22
34 22,12 1,91 0,44 0,25 Identifiant
41 6,00 2,24 0,49 0,31 des camras
42 2,21 1,09 0,35 0,22
43 5,00 0,89 0,41 0,19
Table 4.1 Norme L2 des rsidus image par camra, avant et aprs calibration.
La figure 4.7 prsente lhistogramme des rsidus images aprs calibration pour toutes
les camras. La moyenne des rsidus est de 0,49 et lcart-type est de 0,32 pixel. Lhisto-
gramme est concentr autour de la valeur moyenne ce qui signifie que la rpartition des
erreurs est homogne et quil ny a pas de biais lors du calcul.
4. La mthode de rsolution ne change pas la formulation du problme ni sa rsolution.
Thse B. CANNELLE 63
Nombre de mesures
80
70
60
50
40
30
20
10
Rsidus (pixels)
0 0,5 1 1,5 2 2,5 3
Figure 4.7 Histogramme des rsidus sur les mesures image aprs calibration.
4.4.d.ii Qualification visuelle
Afin de vrifier la qualit de la calibration, nous avons choisi de projeter les images
du vhicule sur le modle 3D du btiment. Celui-ci comportant 3 plans principaux, cette
opration est simple et fiable raliser. Lalgorithme utilis pour texturer les faades avec
plusieurs camras est celui prsent dans [Vallet et Houzay, 2011]. Il permet de choisir
les meilleurs images pour texturer une face du modle grce diffrents critres : angles
dincidence, nombre de pixels projeter, distance la face. Nous navons volontairement
pas ralis dgalisation radiomtrique afin de pouvoir facilement identifier les raccords
entre les diffrentes images.
Les figures 4.8.a et 4.8.b permettent respectivement de faire la comparaison entre la
texturation ralise sans et avec la calibration. Sur les aperus (figures 4.8.c et 4.8.d)
on remarque que les joints des btiments, ainsi que les fentres, sont bien aligns aprs
calibration. On peut mesurer un cart de 1 pixel entre deux images plaques sur la mme
faade, ce qui est cohrent avec les rsultats numriques prsents prcdemment.
Nous avons tudi les rsultats aussi bien chiffrs que visuels aprs calibration. Pour
nous assurer de la fiabilit de notre mthode, nous avons effectu une phase de contrle
qui utilise des donnes indpendantes de celles utilises pour la calibration.
64 Thse B. CANNELLE
(a) Solution initiale
(b) Solution calibre
(c) Avant calibration (d) Aprs calibration
Figure 4.8 Comparaison de la texturation des faades des batiments avec les images
du vhicule sans tenir et en tenant compte de la calibration.
4.4.d.iii Contrle de la calibration
Pour vrifier le rsultat de notre calibration, nous avons utilis un jeu de donnes dif-
frent de celui qui a servi pour celle-ci. Ce jeu de donnes contient 2 positions du vhicule
et 188 mesures image. Nous avons utilis 3 points dappui et 92 points de contrle. Nous
avons calcul la pose du vhicule en tenant compte des mesures image sur les points dap-
pui et sur les points de contrle. La figure 4.9 prsente les diffrentes positions du vhicule
(en bleu), les points dappui (en rouge) et les points de contrle (en gris). Nous avons
Thse B. CANNELLE 65
volontairement choisi des points dappui rparti tout autour des positions du vhicule afin
de dterminer celle-ci de faon fiable 5 .
o
o
o
Figure 4.9 Configuration de lacquisition lors de la phase de contrle de la calibra-

tion. Les points dappui sont en rouge, les points de contrle en gris et la position des
panoramiques en bleu.
La figure 4.10.a reprsente lhistogramme des mesures image sans tenir compte de la
calibration tandis que la figure 4.10.b tient compte de la calibration. On constate que la
procdure de calibration permet damliorer significativement les rsidus sur les mesures
image. La moyenne des rsidus est de 1,75 pixel sans calibration et de 0,14 pixel avec.
Lcart type des rsidus est de 1,56 pixel sans calibration et de 0,11 pixel avec.
Nombre de mesures
Nombre de mesures 80
70 70
60 60
50 50
40 40
30 30
20 20
10 10
Pixels Pixel
0 1 2 3 4 5 6 7 8 9 10 0 0,2 0,4 0,6 0,8 1
(a) (b)
Figure 4.10 Histogramme des rsidus sur les mesures image sans tenir compte (a) et
en tenant compte (b) de la calibration.
La figure 4.11 reprsente lhistogramme de rpartition des rsidus sur les points de
contrle. La moyenne est de 1,6 cm et lcart-type est de 1,9 cm. On constate que quelques
points ont des rsidus un peu plus importants (suprieur 5 cm) mais ce sont des points
dont lintersection nest pas bien dtermine parce que les faisceaux sont quasiment pa-
rallles. Ils sont proximit du point dappui (en rouge) lest du plan de la figure 4.9.
5. Le lecteur peut se rfrer la section 8.1 {page 113} pour plus dinformations.
66 Thse B. CANNELLE
Nombre de mesures
50
45
40
35
30
25
20
15
10
5
Mtre
0 0,05 0,10
Figure 4.11 Histogramme des rsidus sur les points de contrle en tenant compte de
la calibration.
4.4.d.iv Conclusion
Nos rsultats montrent quune tape de calibration est ncessaire pour des applications
qui ont besoin deffectuer des mesures sur des images plus prcises que le pixel. On constate
que la mthode sur polygone est efficace pour calibrer un vhicule de numrisation mobile
et quelle est relativement rapide mettre en oeuvre lorsquun polygone de calibration est
disponible. Celui-ci doit tre suffisamment large et accessible pour que le vhicule puisse
circuler. Des cibles leves sont ncessaires pour que les camras regardant en hauteur
puissent les photographier. Enfin les cibles doivent pouvoir tre facilement mesurables
dans les images : il faut par ailleurs prendre garde la taille des cibles par rapport la
rsolution des camras.
Thse B. CANNELLE 67
4.5 Calibration par les donnes dite mthode On-

Line
La calibration sur polygone prsente plusieurs inconvnients. Le premier est quil faut
possder un polygone ce qui nest pas forcment simple et qui est assez coteux fabriquer.
En cas de modification du vhicule (changement de camra cause dune dfaillance par
exemple), il faut refaire une calibration sur le site de calibration ce qui nest pas toujours
possible. Nous avons donc dvelopp une mthode On-Line qui na ni besoin de points
dappui ni besoin dacquisition spcifique.
4.5.a Principe
Le principe de base pour raliser une calibration sans points dappui est dutiliser
seulement des points homologues, points dont les positions terrain ne sont pas connues
initialement mais estimes dans le processus de calibration.
Pour raliser une calibration sans point dappui, plusieurs panoramiques successives
sont ncessaires. Il faut ensuite extraire des points homologues entre les diffrentes images
et les appareiller tout en vitant les fautes. La succession de ces tapes est dcrite dans
le schma 4.12 et les mthodes utilises sont explicites dans le chapitre 7.
Extraction
Images de points Dtection de fautes Calibration
homologues
Lgende :
Fichiers Processus
Figure 4.12 tapes ncessaires la calibration On-Line .
4.5.b Formulation mathmatique

La calibration consiste utiliser la formule 4 {page 58} qui relie un point terrain une
mesure image sur une camra du vhicule. Pour chaque panoramique, on doit dterminer
la position et lorientation du vhicule ainsi que la positon et lorientation des camras par
rapport au camion. Contrairement la calibration sur polygone, la position des points
homologues est elle aussi inconnue.
Le systme dquation comporte trois groupes distincts dinconnues :
la position et lorientation de chaque camra,
la position et lorientation de chaque panoramique,
la position de chaque point homologue.
Pour le rsoudre, on a deux quations pour chaque mesure image selon la formule 4 {page 58}.
La fonction de cot est prsent dans lquation 8. Elle consiste minimiser les mesures
image fi,j (Mk ) des points homologues Mk dans la panoramiques j prise par la camras i :
68 Thse B. CANNELLE
4.5. Calibration par les donnes dite mthode On-Line
Np Nm Ni
Nc 2
cn
#N c ln
[Scam ,Rste,cam ]i=1 i j k n
#N p
[Tter,ste ,Rter,ste ]j=1
#N m
[Mk ]k=1
Si on laisse le systme minimiser tel quel, il ny a pas unicit de la solution. Il prsente

7 degrs de libert correspondant la position et lorientation des donnes ainsi qu
lchelle. Il faut le stabiliser en fixant 7 inconnues. Il y a diffrentes faons de procder :
fixer la position et lorientation dune panoramique ainsi que la distance entre 2
panoramiques (nimporte lesquelles),
fixer la position de deux panoramiques et un des angles de rotation,
ajouter trois points dappui non aligns,
ou tout autre combinaison dobservations permettant de fixer 7 inconnues.
Quel que soit la mthode utilise, le rsultat de la calibration doit tre quivalent.
Une autre faon de faire et de rajouter un terme dattache au donnes avec le rsultat
de litration prcdente. Cest un algorithme de Levenberg-Marquardt [Levenberg, 1944],
[Marquardt, 1963] sauf que le terme damortissement ne varie pas. Nous allons donc ajou-
ter plusieurs quations dobservations (quations 9, 10 et 11). Les premires concernent les
points homologues, les secondes les positions des panoramiques et les dernires les orien-
tations. La solution finale au niveau de la calibration est bien dtermine mais la position
et lorientation des panoramiques ne sont pas forcment cohrentes avec la ralit.
Pour un point homologue M, il suffit de rajouter lquation dobservation litra-
tion N :
MN = MN 1 (9)
Pour un sommet S, lquation dobservation litration N devient :
SN = SN 1 (10)
Pour une rotation R, lquation dobservation litration N devient :
RN = RN 1 (11)
Aprs avoir explicit le systme dquations rsoudre, nous allons maintenant nous
intresser aux rsultats de notre algorithme.
4.5.c Rsultats de la calibration On-Line

Pour raliser la calibration du vhicule, nous avons choisi 30 panoramiques le long
dune trajectoire ayant une configuration optimale (point discut en 4.5.c.ii {page 71}).
La figure 4.13.a reprsente la zone utilise. Nous avons utilis 10 756 mesures homologues
rparties sur les 300 images. Aprs avoir effectu la minimisation, nous obtenons une
Thse B. CANNELLE 69
moyenne de 0,29 pixel et un cart type de 0,40 pixel. Ces rsultats, mis en relation avec
la qualit de calibration propre chaque camra (cf chapitre 3), sont proches des valeurs
thoriques.
La figure 4.13.b reprsente la visualisation la fin du processus. En blanc nous avons
les points homologues en 3D et en noir les diffrentes positions du vhicule. En rouge,
il sagit du modle Bati3D sur la zone. Ce modle na pas servi dans le processus mais
permet de constater diffrents lments :
les points 3D se trouvent principalement sur les btiments et la route,
la solution du processus, mme sil ny a pas dappui, reste cohrente avec des
donnes gorfrences (de prcision mtrique).
(a) (b)
Figure 4.13 (a) Plan du site servant la calibration On-Line . (b) Position des
points homologues (en blanc) et modle Bati3D (en rouge). On constate que les points 3D
se trouvent principalement sur les btiments et la route et que la solution du processus
reste cohrente avec des donnes gorfrences.
4.5.c.i Contrle de la calibration
Pour vrifier le rsultat de notre calibration, nous avons utilis un jeu de donnes
diffrent de celui qui a servi pour la calibration. Ce jeux de donnes est le mme que celui
prsent au paragraphe 4.4.d.iii {page 65}.
La figure 4.14.a reprsente lhistogramme des mesures image sans tenir compte de la
calibration tandis que la figure 4.14.b en tient compte. On constate que la procdure de
calibration permet damliorer significativement les rsidus sur les mesures image. On
passe de 1,75 en moyenne et 1,56 en cart-type sans calibration 0,25 en moyenne et
0,24 en cart-type avec calibration. Notre procdure permet donc davoir une prcision au
demi-pixel.
La figure 4.15 reprsente lhistogramme de rpartition des rsidus sur les points de
contrle. La moyenne est de 2,7 centimtres et lcart-type est de 2,9 centimtres. On
constate que quelques points ont des rsidus un peu plus importants (suprieur 5 cm)
mais ce sont des points dont lintersection nest pas bien dtermine. Cette intersection
est mal dtermine car les faisceaux sont quasiment parallles. Ils sont proximit du
point dappui (en bleu) lest du plan de la figure 4.9.
70 Thse B. CANNELLE
Nombre de mesures
70 Nombre de mesures
60 60
50 50
40 40
30 30
20 20
10 10
Pixels Pixel
0 1 2 3 4 5 6 7 8 9 10 0 0,5 1
(a) (b)
Figure 4.14 Histogramme des rsidus sur les mesures image sans tenir compte de la
calibration (a) et en tenant compte de la calibration (b).
Nombre de mesures
30
20
10
m
0 0,05 0,10
Figure 4.15 Histogramme des rsidus sur les points de contrle.
4.5.c.ii Influence de la configuration
Dans la partie prcdente, nous avons dmontr que la mthode de calibration On-
Line donne des rsultats satisfaisants. La configuration choisie pour raliser la calibration
tait en forme de S et nous lavions qualifie doptimale. Pour affirmer cela, nous avons
test diffrentes configurations pour calibrer notre plate-forme puis nous avons qualifi les
diffrents rsultats de calibration sur une zone test avec des points dappui et de contrle.
Nous avons choisi dtudier plusieurs scnarii :
un virage droite et gauche,
une ligne droite (3 tailles distinctes),
une trajectoire en forme de S.
La figure 4.16 prsente les diffrentes configurations utilises pour les calibrations.
Pour chaque configuration, le processus de calibration On-Line dcrit prcdem-
ment, a t ralis. On obtient donc autant de calibrations que de configurations. Afin de
comparer nos diffrentes calibrations, nous avons choisi une seconde zone qui comporte :
21 points dappui, 142 mesures image, et 8 panoramiques. Sur ce site, nous avons dter-
min la position et lorientation du vhicule en tenant compte des diffrentes calibrations
Thse B. CANNELLE 71
Figure 4.16 Zone de tests des diffrentes configurations. Les btiments sont reprsents
en gris. Six configurations ont t testes : panoramiques jaune, panoramiques jaune +
bleu, panoramiques jaune + bleu + blanc, panoramiques rouges, panoramiques vertes,
toutes les couleurs.
issues des diverses configurations.

Le tableau 4.17 prsente les rsultats (rsidus sur les mesures image et sur les points
dappui) sur la zone de vrification de chaque calibration. Les configurations ont t
tries par ordre croissant sur les rsidus images. Tout dabord, la meilleure configuration
(celle dont les rsidus sont les plus faibles) pour calibrer le vhicule est lorsque toutes les
panoramiques sont utilises pour le calcul. Par contre, dans certains cas (ici le dernier),
on constate que la procdure peut aboutir un rsultat plus mauvais que celui obtenu
sans calibration. Lorsquon analyse ce dernier cas, on constate quil ny a pas beaucoup
de mesures image utilises pour la calibration et quelles ne sont pas bien rparties.
4.5.c.iii Conclusion
Dans cette partie, nous avons prsent une approche novatrice de calibration de v-
hicule de numrisation mobile qui nutilise que des donnes dacquisition(s) normale(s).
Cette mthode est fiable, prcise, et fonctionne dans la plupart des situations. Lutilisateur
de cette mthode devra juste sassurer de la rpartition homogne des mesures image.
Nous avons tabli deux mthodes de calibrations de notre vhicule qui amliorent
de faon significative le positionnement des camras. Nous allons maintenant faire une
comparaison de ces deux mthodes.
72 Thse B. CANNELLE
Configuration Rpartitions des mesures images Res. Images Res. Point

En bleu, portion
de trajectoire Moyenne Moyenne
utilise pour la
calibration
Ec.Typ. Ec.Typ.
Nombre de mesures
20
15
10
5
pixels
0 1 2 3 12,5 0, 72 0, 017
0, 38 0, 009
Nombre de mesures
15
10
5
pixels
0 1 2 3 12,5 1, 30 0, 021
1, 34 0, 011
Nombre de mesures
15
10
5
pixels
0 1 2 3 12,5 1, 43 0, 022
1, 07 0, 009
Nombre de mesures
15
10
5
pixels
0 1 2 3 12,5 1, 59 0, 027
1, 13 0, 016
Nombre de mesures
15
10
5
pixels
0 1 2 3 12,5 1, 83 0, 019
1, 67 0, 013
Nombre de mesures
10
5
pixels
0 1 2 3 12,5 2, 07 0, 025
1, 53 0, 016
Nombre de mesures
20
15
10
5
pixels
0 1 2 3 12,5 3, 17 0, 027
1, 59 0, 020
Figure 4.17 Rsultats des diffrentes configurations. La premire colonne indique la

portion de trajectoire ayant servi pour la calibration (en bleu).
Thse B. CANNELLE 73
4.6 Comparaison des mthodes
4.6.a Comparaison entre les processus

Le point commun entre ces deux processus est la dtermination de la pose du vhicule
et de chaque camra en utilisant des mesures image homologues. Dans le cas Off-Line
ces points sont connus en 3D tandis que dans le cas On-Line leurs positions doivent
tre dtermines dans le processus. Dans les deux cas, le processus de calibration est le
mme. On peut donc envisager une procdure de calibration comprenant et des points
homologues (non connus en 3D) et des points dappui (connus en 3D) mais en quantit
limite (parce quils cotent cher produire). Le schma 4.18 reprsente les processus de
calibration avec leurs diffrences et leurs points communs.
Points dappui Images
Mesures pt dappui Extraction homologues
Calibration Dtection de fautes
Calibration Off-Line Vhicule calibr Calibration On-Line
Lgende : Donnes Proc. Manuelle Proc. Thse
Figure 4.18 Comparaison entre les processus de calibration.
4.6.b Comparaison des rsultats de calibration du vhicule

Pour comparer les deux mthodes de calibration, nous avons choisi un site comportant
3 panoramiques conscutives et 22 points remarquables. Sur ces 22 points, 14 ont t
utiliss en point dappui et 8 en point de contrle. Nous avons mesur ces points et sur le
terrain et dans les images. Nous avons ensuite rsolu le systme dquations en cherchant
les poses du vhicule et les coordonnes des points de contrle tout en fixant la calibration
du vhicule en utilisant les rsultats de chaque procdure.
Le tableau 4.2.a prsente les rsidus sur les mesures image aprs compensation sans
calibration (plan CAO) et avec les deux mthodes de calibration. On remarque directe-
ment quune calibration est ncessaire pour pouvoir exploiter les images dun point de vue
photogrammtrique. On constate aussi que les deux mthodes prsentent des rsultats si-
milaires pour les points dappui et pour les points de contrle. Les rsidus images sont de
lordre du tiers de pixel sur les points de contrle et du demi pixel sur les points dappui.
Il est logique que les rsidus images soient plus faibles sur les points de contrle que sur les
points dappui. Pour les points de contrle, il ny a que des observations lies aux mesures
74 Thse B. CANNELLE
4.6. Comparaison des mthodes
image. Sur les points dappui, il y a la fois des observations lies aux mesures image,
mais aussi des observations lies la position des points.
Le tableau 4.2.b prsente les carts sur les points dappui et de contrle sur les coor-
donnes 3D. On constate l aussi quune calibration est ncessaire, sinon les carts sur les
positions seraient de plusieurs dizaines de centimtres. On remarque aussi que les carts
sur les points de contrle pour les deux mthodes sont de lordre de quelques centimtres.
Rsidus sur les mesures image

Points dappui Points de contrle
Max Med Moy Ec.Typ. Max Med Moy Ec.Typ.
(a) Sans calibration 11,75 2,13 3,96 3,88 6,73 1,45 2,11 1,83
Off-Line 1,43 0,52 0,54 0,27 0,95 0,26 0,30 0,19
On-Line 1,49 0,50 0,55 0,30 1,04 0,28 0,32 0,21
Rsidus sur les points

Points dappui Points de contrle
Max Med Moy Ec.Typ. Max Med Moy Ec.Typ.
(b) Sans calibration 0,125 0,020 0,030 0,029 1,034 0,269 0,396 0,350
Off-Line 0,012 0,004 0,005 0,003 0,092 0,040 0,044 0,023
On-Line 0,013 0,004 0,005 0,004 0,032 0,025 0,023 0,009
Table 4.2 Rsultats sur le site de contrle des mthodes Off-Line et On-Line .
(a) Rsidus sur les mesures image sur les points de contrle et dappui (en pixel). (b)
Rsidus sur les points de contrle et dappui (en mtre).
4.6.c Comparaison de la rpartition des mesures image

La figure 4.19 prsente la rpartition des mesures image entre les deux mthodes.
La diffrence de densit des mesures ainsi que la rpartition de celles-ci dans chacune
des camras est trs importante. La mthode On-Line a une rpartition beaucoup
plus dense et homogne des mesures que la mthode Off-Line . Cette rpartition est
due la rpartition alatoire des points homologues lie des dtails du paysage. La
mthode Off-Line ne permet pas de rpartir les cibles dans tout le plan du capteur,
notamment sur les camras qui "regardent en lair" (32 et 33), ce qui peut poser des biais
de calibration. En effet, il est difficile de trouver un site o des cibles pourrait tre places
en hauteur (tunnel, garage), o le vhicule peut circuler et manuvrer pour rpartir les
cibles dans le plan image.
Thse B. CANNELLE 75
Type de calibration Rpartition des mesures images pour chaque camra de Stropolis V2.
21 22 23 31 32
.... . . . .... .. ..
.. .. .... .... . . ...... ............ . .
.... ... . . . .. ... . . ..
.. .... .... .. . .. ... ...... .. . ..... .... ..
. .... ... . ................................................ . . ... .
.
... .
.
. .
Off-Line
(534 mesures images) 41 42 43 34 33
.... ... . ... .. .... ....... .......
Thse B. CANNELLE
. .. ... .. . 21 22 23
..... .................. ................................ . .. . .... ..... .. .. .. . .. ...
.. .... ..... ..........................................
. .
.. . .. .. . . ... .. . 32 33
31 34
21 22 23 31 32 41 42 43
................................................ .. .............................................. .................................................................. ..
.......
. ..... .... ...
. ... .... . .................................
............................. . ......................
. ..............
. ..................................................... .................................................................................. . .................. . ...... .... . .
...................................................................... .. .....................
.........................
. . .
. . ...........
. .
. ..............................................
..
...........
. Identifiant
.... ............ . . . ............. ..........
.. ......................... ... .......................... . ........ ...
On-Line des camras
(10756 mesures images) 41 42 43 34 33
.................. . . ............... ..............
.........................................
........ .... ................. ........... ... . ......... ....
... ..... ................................ . . ... . .. . .................................. . ... ...............
. ..................................... ... . ........ . ..... . . . ..
.. .. .. .. . . . . . . . . . .
....................................................................
. . . ....
... .
.......
................. ........................................ ...
.
.. ........... .......................... ............
............................................. ... ..................................................................... ........... ............ .......................................
.....
. . .. . .................. .......................
................... ... ............................. ............. .. . . ..................
Figure 4.19 Accumulation des mesures image utilises lors de la phase de calibration dans le plan image de chaque camra.
76
4.7. Conclusion
4.7 Conclusion
Les deux mthodes prsentent des rsultats similaires sur les mesures image et sur les
points. Elles convergent toutes les deux vers la mme solution et sont donc quivalentes.
Toutefois, elles prsentent des avantages et des inconvnients qui leur sont propres.
La mthode Off-Line ncessite un polygone de calibration qui nest pas simple
construire et maintenir. Par contre elle est plus simple mettre en place : les mesures
image sont manuelles et il suffit de quelques panoramiques. Un second inconvnient est que
la calibration est faite un instant donn, dans des conditions particulires qui peuvent
tre diffrentes pour une autre acquisition. Une calibration ralise en plein hiver ne
correspondra pas au montage dune acquisition faite en plein t parce que la structure
mcanique reliant les camras au vhicule peut avoir subi des dformations lies aux
variations de temprature.
La mthode On-Line utilise les mesures elles-mmes et tous les points homologues
disponibles (quelques milliers) ce qui permet davoir une rpartition des mesures par image
la plus homogne possible. Par contre, elle est tributaire de lenvironnement. Par exemple,
des zones de fort ou des routes en pleine campagne, peuvent entraner des difficults pour
dtecter suffisamment de points homologues sans risque derreur et, en milieux urbain,
la texture des faades peut tre uniforme ce qui empche dobtenir un grand nombre de
mesures homologue. Le principal avantage de cette mthode est quelle peut tre faite
sans acquisition particulire.
Nous pouvons trs bien raliser une combinaison des deux mthodes : avoir des points
dappui (cibles et/ou dtails) et des points homologues. Lide est de prendre un sous-
ensemble dune acquisition puis de lever (par des techniques classiques : GPS, topomtrie)
des points facilement mesurables et identifiables dans les images. Ainsi on bnficie la
fois des avantages de la mthode On-Line (densit de mesures importante, calibration
cohrente temporellement avec les donnes) et des avantages de la mthode Off-Line
(indicateur de qualit cart sur les points dappui et de contrle). Malheureusement, la
texture des murs sur le polygone de calibration na pas permis dextraire des points
homologues suffisants pour faire cette exprimentation(texture trop homogne).
Thse B. CANNELLE 77
78 Thse B. CANNELLE
Troisime partie
Mthodes et outils pour la mise en

gomtrie de grands blocs dimages
Thse B. CANNELLE 79
Dans cette partie nous allons tudier le mcanisme de compensation par faisceaux qui
est utilis de nombreuses fois dans cette thse.
Le chapitre 5 dtaille la cration des points homologues ainsi que les mthodes mises
en place afin dliminer les erreurs.
Le chapitre 6 explique les stratgies ncessaires pour grer les donnes utiles pour la
compensation.
Le chapitre 7 prsente le mcanisme de compensation a proprement parl.
Thse B. CANNELLE 81
82 Thse B. CANNELLE
5. Appariement et filtrage de points dintrt
Chapitre 5
Appariement et filtrage de points

dintrt
La dtermination des mesures homologues est le point le plus critique dans le processus
de compensation par faisceaux. Ce sont ces mesures qui permettent de faire le lien entre
les images.
Nous allons tout dabord tudier les points dintrt, cest dire les dtails caractris-
tiques de limage, ainsi que les descripteurs qui sont associs ces dtails. Ensuite nous
tudierons les diffrentes manires de mettre en correspondance les points dintrts. En-
fin nous prsenterons les techniques utilises pour appliquer lextraction et lappariement
de gros volume de donnes.
5.1 Points dintrts

Les points dintrt sont tudis depuis de nombreuses annes. En effet, cette tape
est ncessaire que se soit pour de la reconnaissance dobjets, de la photogrammtrie, ou
encore de la robotique.
Plusieurs critres doivent tre respects pour dfinir un bon point dintrt. Il faut
quil soit :
facilement identifiable et reconnaissable (soit par un humain, soit par un algorithme),
insensible au bruit de mesure,
invariant (au changement dchelle, la translation, la rotation),
insensible au changement dillumination.
Nous allons tout dabord prsenter les diffrentes manires de les dtecter puis nous
tudierons les descripteurs pouvant servir dans la phase dappariement.
5.1.a Dtections
On peut tout dabord citer les dtecteurs de coins de [Moravec, 1977, 1979] qui tudie
le voisinage de chaque pixel et calcule une mesure de changement dintensit, amlior par
[Harris et Stephens, 1988]. Ces dtecteurs ne prennent pas en compte la variation dchelle.
Thse B. CANNELLE 83
Chapitre 5. Appariement et filtrage de points dintrt
Des variantes existent comme le dtecteur Hessian-Laplace de [Mikolajczyk et Schmid,

2002] ou le Harris-Laplace de [Mikolajczyk et Schmid, 2004] qui appliquent diffrents
flous sur limage afin de "simuler" une variation dchelle puis le dtecteur de Harris sur
les diffrentes chelles pour extraire les points dintrts. Certains se sont aussi intresss
aux contours en gnral comme SUSAN de [Smith et Brady, 1995] ou encore lalgorithme
FAST de [Rosten et Drummond, 2006] amlior dans [Rosten et al., 2010].
Une autre approche consiste dtecter des formes et/ou des rgions dintrts. On
peut citer [Crowley et Parker, 1984] ou encore lalgorithme de MSER [Matas et al., 2004].
Une dernire mthode consiste utiliser limage comme surface, puis dtecter des
extrema au sens mathmatique : [Mikolajczyk et Schmid, 2002], [Lowe, 2004] ou encore
[Bay et al., 2006, 2008].
Un tat de lart trs complet a t ralis par [Tuytelaars et Mikolajczyk, 2008] et de
nombreux comparatifs entre les dtecteurs ont t faits comme celui de [Mikolajczyk et al.,
2005]. Certains travaux comme [Gauglitz et al., 2011] utilisent plusieurs dtecteurs puis
choisissent grce leurs algorithmes celui qui est le plus adapt. Le principal inconvnient
des travaux pour dterminer le meilleur dtecteur est le temps de calcul.
La plupart des mthodes prcdentes nutilisent quun des canaux de couleur ou
convertissent limage en image monocanal. Cette conversion peut introduire une perte
dinformation et potentiellement une sous-dtection de points dintrt. Il existe pourtant
des dtecteurs qui tiennent comptent de la couleur comme [Gouet et al., 2000]
Dans notre cas, nous avons utilis la diffrence de Gaussienne de [Lowe, 2004], appel
SIFT (Scale Invariant Feature Transform) qui est trs largement utilise aussi bien dans la
communaut photogrammtrique que dans celle de vision par ordinateur. Sur le chantier
du XIIe arrondissement de Paris, il y a eu plus de 3.5 milliards de SIFT extraits. Le tableau
5.1 prsente par camra les statistiques sur le nombre et la rpartition des points extraits.
On constate que ce sont les camras qui regardent lavant et larrire qui ont le plus
de points dintrts. Cela est logique parce quil y a le plus de varit de paysage sur ces
deux camras. Les camras ayant les moins de points dtects sont les quatre camras
latrales cause principalement du ciel et de la route.
Position Minimum Maximum Moyenne Total sur tout le XIIe

21 20 46460 8499,93 379 530 238
22 96 34727 9899,85 442 018 225
23 38 50366 8275,73 369 503 134
31 5 38006 6824,61 304 643 806 21 22 23
32 0 54203 5353,26 239 017 713 32 33
31 34
33 0 50142 7285,9 325 227 927 41 42 43
34 2 44123 6148,23 274 518 568
41 20 36980 8586,99 383 417 857
42 77 31549 10289,7 459 322 997
43 20 44038 8029,72 358 518 854
Table 5.1 Statistiques par camra sur les points dintrt extraits.
Par contre il y a une prcaution prendre avec les points dintrts qui vont servir dans
la compensation. Ces points doivent correspondre un point unique en 3D dans lespace
terrain. Lorsque les images comportent des parties du vhicule dacquisition : toit, antenne,
84 Thse B. CANNELLE
5.1. Points dintrts
galerie, cela introduit des points dintrts parasites. Ce sont de vrais points dintrt mais
qui sont solidaires du vhicule cest dire quils ne correspondent pas un point 3D de la
scne. Ils sont source de divergence du processus de compensation par faisceaux. Comme
il est trs difficile de placer des camras sans que celles-ci ne photographient une partie
du vhicule tout en imageant compltement lenvironnement, il faut tre capable de les
dtecter et de les extraire de lensemble des points dintrts. Une manire simple et
efficace de les filtrer est dtablir un masque qui comprend les parties visibles du vhicule
et de les enlever de la liste des points dintrt. Ce masque est tabli pour chaque camra,
de manire manuelle 1 . Une minute par camra suffit. Cette tape prend donc moins de 5
minutes pour toutes les camras imageant des parties du vhicule. La figure 5.1.b prsente
une image acquise par la camra avant gauche. Celle-ci contient une partie du vhicule
(coin en bas gauche). La figure 5.1.b prsente le masque qui a t saisie manuellement
et qui est associ la camra. Dans notre cas cela reprsente 2 943 284 points pour tout
le XIIe.
(a) (b)
Figure 5.1 Masque de points dintrt
Maintenant que nous sommes capables de dtecter des points caractristiques dans les
images, nous allons nous intresser aux descripteurs qui permettent de les appareiller de
manire fiable.
5.1.b Descripteurs
Une fois quun point dintrt a t dtect, il doit tre appareill dans dautres images.
Pour cela, il faut extraire un descripteur pour chaque point qui permet de les diffrencier
les uns des autres. Un bon descripteur doit remplir plusieurs critres. Il doit tre :
invariant aux changements de lumire,
invariant la translation,
invariant la rotation,
1. Cette tape pourrait tre automatise en regardant pour toutes les images dune camra les zones
qui ne varient pas par exemple.
Thse B. CANNELLE 85
invariant aux changements dchelles,

local, pour tre robuste aux occlusions,
discriminant, pour pouvoir tre retrouv parmi des milliers.
Certains descripteurs utilisent des informations concernant la forme comme [Crowley
et Parker, 1984]. Avec son dtecteur de points dintrt, [Lowe, 2004] propose un des-
cripteur qui tient compte de lchelle et de la rotation, qui est bas sur les histogrammes
dorientation du voisinage du point dintrt. Le descripteur SURF de [Bay et al., 2008]
tient compte, lui aussi, de lchelle et de la rotation. Il est bas sur les rponses du voisinage
du point aux ondelettes de Haar. ASIFT de [Morel et Yu, 2009] propose une amlioration
de SIFT en simulant des dformations aux images avant lextraction des points dintrt
ce qui permet de trouver plus de points lors dune forte dformation lie la diffrence
de perspective entre les points.
Des travaux comme [Mikolajczyk et Schmid, 2005] font des valuations de quelques
descripteurs locaux.
Dans notre cas, nous avons utilis le descripteur SIFT de [Lowe, 2004] qui est l encore
trs largement utilis aussi bien dans la communaut photogrammtrique que dans celle
de vision par ordinateur.
Une fois les points caractristiques ainsi que leurs descripteur extraits, nous allons
nous intresser la faon deffectuer la mise en correspondance.
5.2 Appariement
La phase dappariement est une tape importante pour dterminer les mesures homo-
logues.
Dans un premier temps, nous tudierons les diffrentes stratgies pouvant tre uti-
lises pour lappariement dans lespace des descripteurs. Dans un second temps, nous
prsenterons les mthodes de dtections derreurs lors de lappariement.
5.2.a Stratgies
Quel que soit le type de descripteur utilis pour un point dune image A, lapparie-
ment consiste trouver le descripteur du point de limage B qui ressemble le plus au
descripteur du point de limage A. La premire tape consiste calculer une distance
(Manhattan, Euclidienne, Minkowski,...) entre les descripteurs, puis comparer les dis-
tance entre elles. Il sagit dun problme de recherche de plus proche voisin qui est tudi
depuis de nombreuses annes. De nombreuses solutions sont proposes :
le quadtree de [Samet et Webber, 1985] en dimension 2,
loctree de [Gervautz et Purgathofer, 1990] puis amlior notamment par [Eberhardt
et al., 2010] en dimension 3,
le kd-tree de [Friedman et al., 1977] en dimension N qui prsente de nombreuses
variantes comme :
[Vaidya, 1989] qui utilise un modle darbre de dcision pour ordonner les
donnes (en O(nlog(n))),
86 Thse B. CANNELLE
5.2. Appariement
[Arya et al., 1994] qui propose une stratgie approche pour dterminer les plus
proches voisins, ce qui diminue le temps de recherche (en O(log(n))),
[Muja et Lowe, 2009] qui utilise des kd-tree alatoires multiples qui permettent
damliorer la aussi le temps de recherche.
Nous avons choisi celle implmente dans ANN (Approximate Nearest Neighbor) de
[Mount et Arya, 2013] qui permet de faire un kd-tree de [Friedman et al., 1977] ainsi que
[Arya et al., 1994].
Nous avons ralis lappariement par couple dimages plutt que sur la base de donnes
complte des points et de leurs descripteurs (3,5 milliards). En effet nous ne connaissons
pas lavance le nombre dimages dans lequel est vu un dtail caractristique, ce qui rend
le nombre de voisins potentiels non dtermin.
Ensuite, nous avons choisi les N meilleurs candidats plutt que le meilleur. En effet,
notamment sur les faades prsentant de nombreux motifs rptitifs (gardes corps, volets,
fentres...), le meilleur candidat peut tre une faute tandis que le second peut tre correct.
Pour savoir si les candidats sont potentiellement corrects, nous avons utilis le mme
critre que [Lowe, 2004] qui consiste calculer le ratio r entre les deux plus petites
distances. Si r < 0, 8 alors le candidat est considr comme correct. Dans notre cas,
comme nous conservons N voisins, nous avons adapt ce critre en calculant le ratio r par
rapport la distance au voisin N + 1.
Enfin, pour diminuer le nombre derreurs dappariement, nous utilisons une succession
de 3 tapes pour un couple dimages A et B :
recherche des plus proches voisins de lensemble des points de limage A dans len-
semble des points de limage B (cf figure 5.2.a),
recherche des plus proches voisins de lensemble des points de limage B dans len-
semble des points de limage A (cf figure 5.2.b),
intersection des rsultats des tapes 1 et 2 (cf figure 5.2.c).
Image A Image B Image A Image B Image A Image B

(a) (b) (c)
Figure 5.2 tapes de la phase dappariement. (a) Recherche des plus proches voisins
de A dans B. (b) Recherche des plus proches voisins de B dans A. (c) Intersection des
tapes (a) et (b).
Le tableau 5.2 prsente le nombre de couples de points appareills correctement en

fonction du nombre de voisins. La premire remarque concerne le nombre de bons can-
didats. En prenant les 3 meilleurs voisins, on constate quil y a deux fois plus de bons
candidats quen utilisant le meilleur. Nous avons donc deux fois plus de mesures homo-
logues ce qui rend la compensation plus prcise et sre. La seconde remarque concerne
le taux de bons appariements sur le nombre total. On aurait pu croire quen prenant les
Thse B. CANNELLE 87
meilleurs candidats plutt que le meilleur, le ratio bon appariement / appariement total
diminuerait normment. En pratique, ce taux diminue trs faiblement mme en prenant
les 4 meilleurs voisins.
En conclusion, nous avons choisi de prendre les trois meilleurs candidats lors de la
phase dappariement, cela permet davoir un nombre de bon appariement satisfaisant
tout en ayant un temps de calcul faible (infrieur 1 seconde).
Bonnes Mauvaises Ratio

1 1 52 1.4
2 3 92 2.4
3 4 132 2.3
4 7 188 3.5

1 72 97 38.5
2 134 280 29.5
3 164 457 24.5
4 190 647 22.7

1 20 41 32.2
2 42 70 36.8
3 49 95 32.8
4 57 118 32.5

1 139 20 86.3
2 167 42 78.7
3 183 82 68.0
4 193 126 60.5
Table 5.2 Nombre de mesures homologue appareilles bonnes et mauvaises en fonction

du nombre de meilleurs voisins.
Aprs avoir prsent les mthodes dextraction et dappariement, nous allons expliciter
la faon dont nous lavons fait sur de gros volumes de donnes.
88 Thse B. CANNELLE
5.3. Gestion de gros volumes de donnes
5.3 Gestion de gros volumes de donnes

Lune des principales difficults de cette thse rside dans le volume de donnes
traiter. En considrant le chantier du XIIe, chantier de taille normale pour notre vhicule,
nous avons plus de 500 000 images traiter. Il faut donc mettre en place des stratgies
pour effectuer les tches dextraction et dappariement.
Concernant lextraction de points caractristiques sur les images, puis la suppression
des points appartenant au masque, nous devons effectuer lextraction sur chaque image
quel que soit la mthode utilise. Le mme processus est appliqu chaque image de
manire indpendante, ce qui le rend paralllisable aussi bien sur un seul ordinateur que
sur plusieurs.
Concernant lappariement des points caractristiques, nous avons choisi de travailler
par couples plutt que de travailler sur lensemble des points dintrts extraits. En effet,
le nombre de points dintrts est trs important (plus de 3,5 milliards) et rechercher les
points similaires dans ce volume nest pas simple. Ensuite, nous possdons une informa-
tion de topologie dacquisition et de gorfrencement qui nous permet de restreindre le
nombres de couples appareiller. Par exemple, il est inutile dessayer dappareiller deux
images distantes de plusieurs centaines de mtres. Nous avons limit le nombre de couples
potentiels (plus de 250 milliards) en ne gardant que les images distantes de moins de 30
mtres (d sur la figure 5.3) et dont les cnes perspectifs sintersectent (cf figure 5.3).
(a) (b)
Figure 5.3 Illustration de la stratgie pour le calcul dappariement. d est la distance

entre deux panoramiques. Les triangles reprsentent les cnes perspectifs de chaque ca-
mra. (a) La camra latrale avant (en bleue) intersecte lune des camras latrales arrires
et la camra centrale (en vert) : 2 appariements sont calculs. (b) La camra avant (en
bleue) intersecte les 3 camras arrires (en vert) : 3 appariements sont calculs.
Une fois que lappariement a t fait couple par couple, il faut recrer la relation
dhomologie pour chaque point. Pour cela, nous allons utiliser la thorie des graphes : les
noeuds sont les mesures images, les artes la relation dappariement. Chaque composante
connexe de ce graphe reprsente un point homologue. Il existe de nombreux algorithmes
de recherche de composantes connexes dans les graphes [Tarjan, 1983] et [Cormen et al.,
2001], mais notre graphe comporte prs de 700 millions dartes, ce qui ne permet pas
de les utiliser sur une machine traditionnelle 2 (la taille de la mmoire vive ne suffisant
pas). Afin deffectuer cette recherche, nous avons choisi de dcomposer notre graphe en
plusieurs puis de combiner les rsultats. Cette solution est dcrite dans la figure 5.4. Cette
solution comporte trois tapes :
1. dcoupage du graphe en sous-graphes. La manire de scinder le graphe na au-
cune importance. Nous avons choisi une stratgie de dcoupe simple et qui prsente
2. 8 processeur et 8 Go de RAM lors de lcriture du manuscrit
Thse B. CANNELLE 89
lavantage dtre rapide : le dcoupage en zones rectangulaires.

2. calcul des composantes connexes pour chaque zone, mais aussi sur le graphe conte-
nant toutes les artes sur la frontire.
3. r-attribution des identifiants pour les composantes connexes et la frontire et
dans une cellule.
b k j
l
c
a h i
g
d f
e
Graphe initial
b k j
l
c
a h i
g
d f
e
Dcoupage en sous-graphes
j
a. Calcul de composantes
b k
l b k j connexes dans chaque sous-
c l
a h i c graphe
a h i
g
d f g
b. Calcul de composantes
d f
e connexes dans le graphe qui
e
ne contient que les artes
aux frontires
a b
b k j Gestion des conflits : noeuds
l
c appartenant une compo-
a h i sante connexe de la frontire
g et dun sous-graphe. Attri-
d f
bution dune nouvelle no-
e
menclature.
Figure 5.4 Illustration des tapes du calcul des mesures homologue sur un gros volume
de donnes.
5.4 limination des erreurs

La figure 5.5 prsente le rsultat dappariement entre deux panoramiques. Les appa-
riements corrects sont dessins en vert tandis que ceux errons sont indiqus en rouge
(cet tiquetage a t ralis manuellement). La premire remarque concerne le nombre
dappariements corrects par rapport au nombre dappariements errons. Il peut tre, en
fonction des zones, trs faible, malgr la stratgie prsente prcdemment.
90 Thse B. CANNELLE
5.4. limination des erreurs
Figure 5.5 Exemple dappariement entre deux couples conscutifs. Les appariements
corrects sont en vert et les appariements errons en rouge.
La figure 5.6 prsente quelques exemples dappariements. On constate que lappa-

riement fonctionne mme lors de forts changements dchelle et de rotation (figure 5.6
Vrai). Il effectue aussi lappariement dans le cadre dobjets mobiles (figure 5.6 Mobile).
Par contre sur des motifs rptitifs (marquages, poteaux, fentres), il peut y avoir des er-
reurs(figure 5.6 Faux ). Pour les deux derniers cas, ni le choix du descripteur, ni la mthode
dappariement nest incriminer, ce qui pose les limites de la stratgie retenue.
Vrai
Mobile
Faux
Figure 5.6 Exemples dappariement. Faux correspond aux erreurs, Vrai aux apparie-
ments correctes et Mobile aux objets mobiles.
Thse B. CANNELLE 91
Nous avons donc mis en place des stratgies complmentaires afin dliminer les erreurs
restantes qui sont prsentes dans les paragraphes suivants.
5.4.a Extraction de caractristiques sur les points homologues

Dans la sous section 2.4.a.ii, nous avons constat que le systme de positionnement
relatif tait fiable et prcis en relatif (entre deux panoramiques successives). Nous pouvons
donc utiliser cette information pour extraire des caractristiques sur les points homologues,
reprsents sur la figure 5.7. Les caractristiques extraites sont :
position du point dans le systme terrain (not M ),
plus petite distance entre les faisceaux (not rM ),
rsidus aprs reprojection du point dans les images (not rim ),
distances au vhicule (nots d1 et d2 ),
angle entre les faisceaux (not ).
d2
d1

rM
.
M
Figure 5.7 Caractristiques extraites pour chaque point homologue. M est la position
dans le systme terrain du point homologue. d1 et d2 sont les distances entre le point
homologue et les deux positions du vhicule. est langle fait par les faisceaux perspectifs.
rM est la plus petite distance entre les faisceaux.
Une fois ces caractristiques extraites {rM , rim , d, }, nous avons choisi dutiliser une
approche par Sparateurs Vaste Marge afin de dterminer si la mesure dappariement
est correcte ou non.
5.4.b limination des fautes par Sparateurs Vaste Marge

Dans notre processus, il ne serait pas judicieux de fixer des seuils arbitrairement pour
liminer les fautes : rsidus sur les mesures, positions des points, etc... parce que len-
vironnement dans lequel circule le vhicule est trs complexe : objets trs proches et
trs lointains, objets de tailles et de formes diffrents (voiture, piton, btiment, etc...)
pour une mme scne. Pour une mesure correcte, les rsidus images peuvent tre levs
(quelques pixels) si lobjet est trs proche cause dune faible erreur de positionnement,
ou si langle form par les faisceaux est faible (lintersection est mal dtermine). Les
rgles nonces prcdemment ne sont quun ensemble restreint de comportements quil
nest pas possible dinventorier de manire exhaustive. Par contre, il est trs facile de
92 Thse B. CANNELLE
5.4. limination des erreurs
raliser un apprentissage sur un nombre faible mais reprsentatif de cas puis deffectuer
une classification automatique.
Il existe diffrentes mthodes de classification comme les Arbres de Classification et
de Rgression ([Breiman, 1984]), les Forts Alatoires (Random Forest) ([Breiman, 2001])
ou encore les Sparateur Vaste Marge (Support Vector Machine, SVM) ([Boser et al.,
1992]). Dans notre cas, nous avons utilis les SVM qui sont largement utiliss dans la
littrature avec limplmentation propose par [Chang et Lin, 2011]. Cette thse ntant
pas un travail sur les SVM, nous rappelons ici le principe et nous nous positionnons
seulement en tant quutilisateur clair. Le lecteur pourra se rfrer [Boser et al., 1992],
[Cortes et Vapnik, 1995] et [Scholkopf et Smola, 2001] pour les concepts thoriques.
5.4.b.i Principe des classifieurs par Sparateur Vaste Marge
Pour utiliser un classifieur SVM, il faut des instances (ici, des mesures homologues)
avec des attributs (ici, ceux prsents au 5.4.a). Ensuite on fournit un sous-ensemble
dobjets dj classs qui constituent la base dapprentissage et qui, en gnral, est tablie
manuellement. Nos objets sont rpartis en deux classes : les mesures homologues correctes
et celles errones. Le classifieur dtermine, partir de cette base, la "meilleure frontire"
qui spare les classes en fonction des attributs : la vaste marge. Une fois cette frontire
dtermine, il suffit au SVM de comparer tout nouvel objet avec ses attributs aux frontires
afin de savoir sil appartient ou non une classe.
La figure 5.8 illustre le fonctionnement des SVM. Nous avons 2 classes (verte et bleue)
qui ont des attributs A et B. Elles sont reprsentes dans lespace des attributs A et B.
Plusieurs frontires sont possibles (en rouge) mais une seule est conserve par le classifieur.
Il sagit de la droite rouge pleine : elle est la frontire qui maximise la marge entre la
frontire et les objets des classes (do la notion de Vaste Marge).
Attribut B

Attribut A
Figure 5.8 Schma de la classification par SVM. En bleu et en vert, les points appar-
tenant deux classes distinctes. En rouge pointill, les diffrentes sparations possibles
pour les deux classes. En rouge plein, la frontire dtermine par SVM.
5.4.b.ii Utilisation dans le cas de dtection de fautes dappariement
Afin de savoir quelle(s) caractristique(s) est (sont) pertinente(s) pour dtecter les
fautes dappariement, nous avons test toutes les configurations possibles avec les 4 attri-
buts prsents en 5.4.a. Nous avons aussi tudi linfluence du nombre de donnes dans la
Thse B. CANNELLE 93
phase dapprentissage. Les rsultats de ces exprimentations sont recenss dans le tableau
5.3.
Plusieurs remarques sont faire sur cette exprimentation :
il nest pas ncessaire de raliser lapprentissage sur un grand nombre de donnes.
Une centaine dobjets par classe est suffisant (les rsultats sont similaires sur les
colonnes 2, 3, 4 et 5) pour estimer les marges entre les deux classes.
le taux de bonne classification est identique entre les donnes ayant servies lap-
prentissage (chiffre en italique dans le tableau) et les donnes de test (chiffre droit),
cela signifie que le modle retenu est ainsi correct.
le taux de classification est suprieur 90% partir de 2 attributs. Il reste peu
derreurs aprs ce processus.
lutilisation des 4 attributs dans la classification nest pas pertinent, les rsultats
sont moins bon quavec 3. Cela sexplique car le paramtre rim (rsidus image) et
rM (plus petit distance entre les faisceaux) sont "lis" : plus rM est grand, plus rim
lest aussi.
Nb de mesures
2040 (92) 1946 (186) 1854 (278) 1760 (372) 1666 (466)
Critres tests Bonne classification des donnes de test (en %)
rim rM d Bonne classification des donnes dapprentissage (en %)
68,7 (70,6) 68,2 (70,9) 67,7 (68,7) 68,5 (71,2) 68,5 (72,5)
70,1 (70,6) 72,8 (75,8) 72,8 (75,5) 71,3 (76,0) 72,1 (76,3)
75,6 (81,5) 75,2 (80,6) 75,1 (76,9) 77,1 (77,1) 74,9 (78,3)
83,4 (88,0) 84,5 (88,1) 85,9 (83,0) 86,0 (83,3) 85,0 (86,9)
77,2 (77,1) 75,9 (82,2) 77,6 (80,2) 78,1 (78,4) 79,1 (78,3)
83,0 (89,1) 84,6 (89,7) 86,6 (85,6) 87,6 (85,2) 86,9 (89,9)
83,3 (88,0) 86,4 (91,3) 87,3 (86,3) 87,2 (90,3) 87,0 (89,4)
84,6 (90,2) 88,1 (92,4) 88,4 (87,7) 87,7 (88,1) 87,8 (88,4)
89,7 (90,2) 90,8 (94,0) 90,8 (91,3) 90,7 (91,6) 90,7 (91,4)
89,1 (90,2) 89,6 (93,5) 91,5 (91,0) 91,1 (91,1) 91,1 (92,0)
83,2 (89,1) 90,1 (93,0) 90,7 (89,2) 91,0 (90,8) 90,8 (91,8)
88,5 (90,2) 91,0 (93,5) 91,5 (91,7) 91,0 (92,4) 91,3 (90,3)
88,9 (89,1) 92,1 (96,7) 94,1 (94,6) 93,8 (96,7) 92,5 (96,1)
90,9 (88,0) 92,1 (95,1) 93,3 (93,1) 94,2 (94,6) 93,5 (95,7)
84,4 (89,1) 91,7 (94,6) 92,6 (93,8) 93,7 (95,6) 92,1 (95,2)
Table 5.3 Rsultats de la classification des mesures bonnes et mauvaises par SVM.
Cinq jeux de donnes pour lapprentissage ont t utiliss (un par colonne) et toutes les
combinaisons de paramtres ont t testes (une par ligne). En gris le jeu de paramtres
conserv.
5.4.b.iii Conclusion
Lapproche par SVM est efficace lorsquon lutilise pour liminer les erreurs dapparie-
ment. Nous avons choisi de ne garder que trois attributs : le rsidu image, la distance du
point aux camras ainsi que langle fait par le faisceau homologue.
94 Thse B. CANNELLE
6. Gestion des mesures en base de donnes pour un passage lchelle
Chapitre 6
Gestion des mesures en base de

donnes pour un passage lchelle
Un des enjeux de cette thse rside dans la gestion de gros volumes de donnes. En effet,
nous sommes en prsence de plusieurs dizaines de milliers de panoramiques et des centaines
de milliers dimages pour un seul arrondissement de Paris (cf section 2.4 {page 19}). Nous
devons tre capable de stocker et daccder aux donnes de manire rapide, simple et
optimale. Deux solutions complmentaires ont t adoptes pour la gestion des donnes.
La premire est un systme de fichiers adapt nos donnes et la seconde est une base
de donnes ddie notre application.
6.1 Systme de fichiers

Ds lacquisition, les donnes du vhicule sont organises dans un systme de fichiers
qui permet deffectuer les diffrents traitements que se soit aux niveaux de la trajectoire,
des lasers ou encore des images. Les donnes images sont organises dans des dossiers
correspondant la date, puis la session (dbut dune acquisition), puis la section
(ensemble de panoramiques successives) et enfin par camra. Pour les produits propres
chacune des images (extraction de points dintrt, suppression des points appartenant
au vhicule et calcul des descripteurs de points, cf chapitre suivant), nous avons choisi de
structurer ces donnes dans la mme arborescence de fichiers (cf. figure 6.1). Les avantages
de ce type de rangement sont :
nombre de fichiers par dossier faible ce qui permet un accs rapide,
identification simple de larborescence grce au nom de la panoramique. Par exemple
les images avant (identifiant 22) et arrire (identifiant 42) de la panoramique, Paris_12-
080428_0727-00-00001_0002237 se trouve dans les dossiers :
Images/080428/727/1/22/Paris_12-080428_0727-22-00001_0002237.tif pour
la camra avant.
Images/080428/727/1/42/Paris_12-080428_0727-42-00001_0002237.tif pour
la camra arrire.
Ce systme permet de rcuprer quasiment instantanment toutes les caractristiques
propres une image (image brute, point dintrt, descripteur). Par contre il nest pas
Thse B. CANNELLE 95
Chapitre 6. Gestion des mesures en base de donnes pour un passage
lchelle
Serveur de donnes
Images Point dintrt Descripteur Sans Masque

Date Date Date
Session Session Session
Section Section Section
Camra Camra Camra
Figure 6.1 Schma explicatif du systme de fichiers mis en place pour un accs rapide
aux donnes.
adapt pour faire des requtes plus complexes : par exemple rcuprer toutes les pano-
ramiques une position donne. En effet, il nest pas facile de grer de manire simple
et rapide grce un systme de fichiers des mesures homologues entre plusieurs images
ou deffectuer des requtes gographiques sur des positions de vhicule par exemple. Pour
cela, nous avons choisi dutiliser une base de donnes.
6.2 Base de donnes

Une base de donnes prsente plusieurs avantages par rapport au systme de fichiers.
Elle permet :
un accs multi-utilisateurs, sans risque de conflit sur les accs aux donnes aussi
bien en lecture quen criture,
davoir une cohrence des donnes :
viter les duplicatas (cl primaire),
vrifier lexistence de liens (cl secondaire) entre les diffrents types de donnes :
une mesure, stocke dans la table Mesure, est faite entre un point, stock dans
la table Point et une image. Une cl secondaire dans la table Mesure sur la
table Point doit tre cre afin de sassurer de lexistence du point.
attribution didentifiants uniques.
un accs optimal des donnes grce aux index,
un accs prenne aux donnes grce des mcanismes de journaux internes (cou-
pures rseaux, coupure lectrique, arrt inopin du serveur de stockage...).
La seule difficult dans lutilisation dune base de donnes est de raliser le schma qui
permet de rpondre tous les besoins identifis. Ce schma est dcrit de manire dtaille
dans la sous section suivante. Le Systme de Gestion de Bases de Donnes (SGBD) qui
a t utilis durant cette thse est PostgreSQL [PostgreSQL, 2012] avec son extension
PostGIS [PostGIS, 2012] qui permet deffectuer des oprations comme le changement de
rfrentiel godsique, le calcul de surface ou lindexation spatiale.
96 Thse B. CANNELLE
6.2. Base de donnes
6.2.a Structure de la base

La structure utilise pour la base de donnes correspond celle dcrite dans la fi-
gure 6.2. On trouve diffrentes tables qui contiennent toutes les donnes ncessaires :
Table Camra contient les caractristiques intrinsques propre chaque camra : pa-
ramtres intrinsques, modle de distorsion et taille du capteur.
Table Vhicule contient les diffrentes configurations du vhicule. La date du dbut de
la configuration est indique pour avoir un historique des modifications.
Table Lien Vhicule/Capteurs permet de faire les liens entre les capteurs et le vhi-
cule. Dans notre cas, nous nutilisons que des camras mais les lasers peuvent tre
aussi grs dans cette implmentation. La position et lorientation des capteurs sur
le vhicule sont elles aussi indiques.
Table Panoramique contient les donnes de positionnement propre chaque panora-
mique ainsi que toutes les mtadonnes dacquisition (datation, prcision, nombre
de satellites GPS utilis pour le positionnement...) sont stockes dans cette table.
Lattribut ID.Vhicule permet de connatre la configuration du vhicule qui a servi
raliser la panoramique.
Concernant la gestion des mesures, nous avons choisi de faire la diffrence entre les
mesures sur des points dappui et les mesures de points homologues automatiques. En effet
les mesures de point dappui sont des mesures fiables ralises la plupart du temps de ma-
nire manuelle tandis que les mesures homologues sont issues de processus automatiques
pouvant comporter des erreurs. Stocker ces mesures dans une table part permet deffec-
tuer des processus propres ces donnes (dtection derreurs, attribution didentification
de composantes connexes dtaill dans le chapitre suivant).
Table Point dappui contient tous les points dappui avec leurs coordonnes et leurs
prcisions ainsi que leurs noms.
Table Mesures Appuis permet de stocker les mesures faites par les panoramiques sur
les points dappui.
Table Mesures Homologues permet de stocker les mesures homologues entre deux
images.
6.2.b Indexation
Une base de donnes permet dindexer les donnes afin de pouvoir y accder en des
temps trs rapides. Nous avons test deux types dindexation : larbre binaire (BTree en
anglais) de [Bayer, 1971] [Lehman et Yao, 1981] et le hachage [Knuth, 1975].
Afin de comparer les performances, nous avons utilis trois tables de donnes iden-
tiques (structure et donnes). La premire ne contient aucun index, la seconde contient
un index de type arbre binaire et la dernire un index de type hachage. Les tables utilises
contiennent des appariements de mesures images par couples. Les tables contiennent plus
de 460 millions de lignes soit plus de 26 Go. Nous avons lanc prs de 45 000 requtes
identiques sur les 3 tables, en mme temps afin que les conditions soient identiques :
charge de la machine do sont lancs les tests, charge du serveur, trafic sur le rseau.
Chaque requte rcupre en moyenne plus de 16 000 mesures.
Thse B. CANNELLE 97
lchelle
Mesure Point dappui Camera

I Identifiant I Identifiant I Identifiant
I Id. App I Nom I Nom
I Id. Pano Position Taille
Colonne Prcision Focale
Ligne PPA
Vhicule Distorsion
...
I Identifiant
Panoramique I Nom Lien Vhi-
I Identifiant Date de cule/Capteurs
I Nom cration I Id. Veh.
...
Position I Id .Cam
Rotation Mesures Ho- Position
Id. Vhi- mologues Rotation
...
cule I Identifiant
...
I Pano A
I Cam A
Colonne A
Ligne A
I Pano B
I Cam B
Colonne B
I Id CC
Figure 6.2 Implmentation du schma de notre base de donnes. indique une cl

primaire, indique une cl secondaire avec le lien vers la table et le champs. I indique
un index.
La figure 6.3 prsente les rsultats de ce test. La premire remarque est quil nest pas
envisageable de ne pas utiliser dindex (courbes violettes). Pour 500 requtes, il sest coul
prs de 60 000 secondes (16h30). On constate aussi quentre deux expriences identiques
(couleurs vives et couleurs pastel), il peut y avoir une diffrence sur les temps de calcul
de 1,5, ce qui est important. La principale raison vient du fait que le serveur contenant la
base de donnes et la machine qui effectue les requtes se trouvent dans le rseau commun
de lIGN. En fonction des priodes de la journe et des oprations lances par les services
de productions, les charges rseaux ne sont pas les mmes. Dailleurs, on peut constater
que lors de lexprience B, le systme a mis plus de temps pour renvoyer les rsultats
entre les requtes 9 000 et 12 000 (zone rouge en pointille sur la figure 6.3) que lors de
lexprience A pour revenir un temps de rponse identique. La cause la plus probable
est laugmentation de la charge rseaux de lIGN au moment du test 1 .
Concernant le choix de lindexation, celle par arbre binaire semble plus adapte
notre problme et permet de rcuprer 16 000 lignes parmi 460 000 000 en 0,5 seconde en
1. Il na pas t possible de vrifier cette hypothse parce quil aurait fallu dpouiller tous les fichiers
journaux de tous les serveurs ainsi que des baies de brassages.
98 Thse B. CANNELLE
6.3. Conclusion
Temps (en heures)

Lgende
12 Exprience A
index btree
10
index hash
8
sans index
6
Exprience B
4
index btree
2
index hash
10000 20000 30000 40000 sans index
Nb de requtes
Figure 6.3 Influence du temps de renvoi des requtes en fonction du type dindexation.
moyenne.
6.3 Conclusion
Le couplage systme de fichiers / base de donnes est adapt notre problmatique. Il
permet de connatre les caractristiques propres chaque image en des temps trs courts
tout en tant capable deffectuer des requtes complexes sur des centaines de milliers de
mesures images.
Aprs avoir mis en place les moyens ncessaires, la fois matriels et logiciels, nous
allons tudier le mcanisme de la compensation par faisceaux de manire dtaille.
Thse B. CANNELLE 99
lchelle
100 Thse B. CANNELLE

7. Mthodologie et outils
Chapitre 7
Mthodologie et outils
Dans ce chapitre, nous allons nous intresser la compensation par faisceaux Lin-
trt de la mthode sera dcrite, puis la formulation mathmatique sera prsente. Des
exprimentations sont ensuite prsentes afin de valider et de quantifier la mthode.
7.1 Principe et intrt

Le principe de la compensation par faisceaux est de dterminer dans le mme processus
la pose des panoramiques et la position des points. Dans le cas de la calibration, les poses
des camras sur le vhicule sont elles aussi dtermines. La figure 7.1 illustre ce processus.
x
.
Figure 7.1 Principe de la compensation par faisceaux. Les mesures images sur les
points sont reprsentes par des segments, les poses des panoramiques par les vhicule,
les points homologues par des . et les points dappui par des x.
Le principal intrt de la compensation par faisceaux est damliorer dune part la pose
des panoramiques et, dautre part, de limiter le nombre de points dappui ncessaires pour
obtenir un gorfrencement prcis. En effet, ces points savrent onreux produire car
ncessitent la mobilisation dune quipe de topographes et des moyens matriels cons-
quents. Afin de limiter le nombre de points dappui, les panoramiques sont relies entres
elles par des points homologues (cf chapitre prcdent) dont les coordonnes 3D sont d-
termines dans le processus de compensation par faisceaux. A titre dexemple, la figure
Thse B. CANNELLE 101

Chapitre 7. Mthodologie et outils
7.2 prsente le rsultat dune compensation par faisceaux ralise avec 20 panoramiques,
5267 points homologues et 22 points dappui.
Figure 7.2 Illustration de la compensation par faisceaux. En rouge, les points dappui,
en blanc, les points homologues. Le modle 3D textur ne sert que dillustration.
7.2 Formulation mathmatique

Nous dtaillons tout dabord les inconnues de notre systme puis nous prsentons
ensuite les diffrentes observations. Enfin nous prsenterons la manire choisie pour le
rsoudre.
7.2.a Les inconnues
Les premiers types dinconnues sont ceux concernant la position et lorientation des
camras sur le vhicule : Tcam,ste et Rcam,ste dans lquation 1. Ces donnes peuvent tre
considres comme inconnues, dans ce cas, la calibration est recalcule (cf chapitre 4).
Sinon la calibration peut avoir dj t ralise lors dun prcdent chantier, dans ce cas
l, elle nest pas considre comme inconnue ( et napparat donc pas dans le systme
dquation. La solution initiale est fournie par les plans ou par une calibration prcdente
dans le cas dun nouveau calcul de calibration.
Ensuite, il y a ceux concernant la position et lorientation du vhicule par rapport au
terrain : Tste,ter et Rste,ter dans lquation 1. La solution initiale est fournie par le systme
de positionnement.
Enfin il y a les inconnues de positions de points homologues, dappui ou de contrle,
Mter dans lquation 1. Ces trois types de points jouent un rle diffrent dans le processus :
points homologues : leurs coordonnes approches sont calcules en utilisant linter-
section de faisceaux dcrite dans lannexe C.
points dappui : leurs coordonnes sont dj dtermines dans le systme terrain et ne
ncessitent pas de calculs de coordonnes approches.

7.2. Formulation mathmatique
points de contrle : leurs coordonnes, bien que connues dans le systme terrain, voient
leurs coordonnes approches recalcules avant le dbut du calcul. En effet, les points
de contrle sont considrs comme points homologues dans tout le processus. Lcart
de position entre la "vraie" position et celle dtermine la fin du calcul est un
indicateur de la qualit de la compensation.

X= [Tcam,ste i, Rcam,ste i]N bCam
i=0 , [Tste,ter j, Rste,ter j]N bP ano
j=0 , [Mter k]N bP ts
k=0 (1)
7.2.b Les observations

Plusieurs types dobservations interviennent dans le processus de compensation par
faisceaux. Il y a :
la formule image : elle permet de lier les diffrents type de points aux images prises
par la camra i de la panoramique j. Cette formule est tablie au 4

= pi t
l i,j
lP P A i kR ste j ,cam i
R ter,ste j
M ter R cam i ,ste j
S cam i
+ T ste j ,ter
m =fi,j (Mter )
(2)
le point dappui : un point dappui est un point dont les coordonnes sont connues
dans le systme terrain Mter,connue avec une prcision .
Mter = Mter,connue (3)
lorientation du vhicule : lorientation donne par le systme de positionnement

(Rste,ter,systeme_de_positionnement ) est dtermine avec une prcision .
Rste,ter = Rste,ter,systeme_de_positionnement (4)
la position du vhicule : si la prcision de position du vhicule tait fiable, on pour-

rait ajouter une quation dobservation de la position avec la position donne par le
systme de positionnement (Tste,ter,systeme_de_positionnement ). En pratique, nous ne le
faisons pas car elle nest pas suffisamment fiable (cf sous section 2.4.a.ii {page 19})
Tste,ter = Tste,ter,systeme_de_positionnement (5)
7.2.c Rsolution du systme

Le systme qui doit tre minimis nest pas linaire. Il doit donc tre linaris autour
dune solution initiale (explicit pour chaque inconnue dans la section 7.2.a). Nous avons

choisi de rsoudre notre systme grce lalgorithme de Levenberg-Marquardt [Levenberg,

1944] et [Marquardt, 1963] qui est plus stable que celui de Gauss-Newton et peut tre
initialis avec une solution de dpart peu prcise. La mthode de rsolution ne change pas
la formulation du problme ni sa rsolution.

dfi,j (Mter , X)
dX = m fi,j (Mter , XN )
dX XN
XN +1 = XN + dX (6)
Afin doptimiser la structure et la rsolution de systme, nous avons utilis la formali-

sation en matrice creuse (cf. annexe B) qui permet de ne stocker quun nombre restreint
de coefficients. Une seconde optimisation, prsente dans la sous section 9.2.c {page 132},
est aussi utilise dans le processus : la rorganisation des inconnues. Il sagit de trouver
une permutation 1 des inconnues qui permet de diminuer encore, en fonction du type de
rangement creux, le nombre de coefficients stocks. Nous avons utilis lalgorithme de [Cu-
thill et McKee, 1969] qui est rapide et qui permet une rsolution du systme galement
rapide (cf 9.2.c {page 132}).
7.2.d Exemple de remplissage de la matrice

La figure 7.3 illustre la faon de remplir la matrice des observations pour une configura-
tion donne (schma en haut). Une zone grise correspond un bloc. La configuration du
vhicule comporte deux camras, une gauche et lautre droite (notes Cg et Cd ) (non
reprsentes sur la figure). Il y a 3 panoramiques (notes P1 , P2 et P3 ), ainsi que 2 points
dappui (M1 et M4 ) et 2 points homologues (M2 et M3 ). Chaque relation entre un point et
une camra dune panoramique ( 1 10 sur la figure) ajoute deux lignes dans la matrice.
Cela correspond la diffrentielle de la fonction image fi,j (Mter ) avec i lidentifiant de
camra et j celui de la panoramique. Concernant les points dappui, chaque point ajoute
3 observations (une pour chaque coordonne). Pour rappel, chaque camra Cj comporte 6
inconnues (Tcam,ste i et Rcam,ste i), chaque panoramique Pi galement (Tste,ter j et Rste,ter j)
et chaque point Mk 3 .
7.3 Droulement des processus

La figure 7.4 prsente le droulement global de la compensation par faisceaux. La pre-
mire tape consiste dterminer les inconnues du systme et recenser les observations.
Une phase de rorganisation des inconnues peut tre effectue afin doptimiser le range-
ment du systme. Les observations sont filtres en utilisant soit la solution initiale, soit
la solution de litration prcdente ; permettant ainsi dliminer une grande majorit de
fautes restantes.
Le processus de rsolution lieu tant que la norme des rsidus est suprieure un seuil,
ou tant que le nombre maximum ditrations nest pas atteint. Cette dernire condition
permet darrter le calcul si celui-ci diverge : trop derreurs, solution initiale trop loigne,
manque dobservations entre certaines inconnues.
1. Il peut exister plusieurs permutations pour un systme donn

7.4. Exemples de processus
M3
. M4
.
Configuration terrain
6 7 8
9 10
P1 P2 P3
3 4 5
1 2
.
M2
.
M1
Inconnues
P1 P 2 P3 M 1 M 2 M 3 M 4 C g C d
1
3
6
Matrice des observations
Formule Image
2
4
Observations
7
9
5
8
10
Pts dappui
Figure 7.3 Illustration du remplissage de la matrice dobservation. Les panoramiques

sont identifies par P1 , P2 et P3 , les points par M1 , M2 , M3 et M4 et les camras par Cg
et Cd .
7.4 Exemples de processus
7.4.a Calibration du vhicule
La premire mthode de calibration, dite Off-Line , prsente dans la section

4.4 {page 60}, comporte trois types dinconnues : celles concernant la pose des cam-
ras sur le vhicule (10 camras et 6 inconnues par camra), celles concernant la pose du
vhicule par rapport au terrain (4 poses et 6 inconnues par pose) et celles concernant les
points dappui (231 points soit 693 inconnues). Concernant les observations, il ny a que

Inconnues Observations
Panoramique Tste,ter j Rste,ter j Formule image (2 par mesures)
Points Mk Points dappui (3 par points)
Camras Tcam,ste i Rcam,ste i Contraintes entre Pano (dpend
du type de contrainte)
Rangement Filtrage
Rsolution
Mise jour des inconnues res < s Mise jour des rsidus
et
Non Non
N biter < n
Oui
Rsultats
Panoramique Tste,ter j Rste,ter j
Points Mk
Camras Tcam,ste i Rcam,ste i
Figure 7.4 Schma expliquant lenchanement des tapes
celles utilisant la formule image, qui lie un point dappui sa position dans limage pour
une camra et une pose du vhicule (534 mesures, soit 1068 observations, 2 par mesures).
Il y a aussi celles concernant les points dappui au nombre de 231 soit 693 observations
supplmentaires. La phase de filtrage est inexistante car les mesures sont ralises ma-
nuellement. La phase de rarrangement napporte pas de rduction significative du temps
de calcul qui est infrieure la seconde pour une vingtaine ditration. Concernant les
rsidus, ils taient suprieurs 10 pixels avant calculs, pour diminuer autour de 0,49 pixel
la fin du processus.
7.4.b Relvement
La procdure de relvement, qui sera prsente au 8.1 {page 113} avec seulement 3
points comporte 15 inconnues : 6 pour la panoramique et 9 pour les points dappui (3 par
points). Ce processus comporte 15 observations : 6 pour les mesures images (2 observations
par mesure par point) et 9 pour les points dappui. L encore, la phase de filtrage est
inexistante parce que les mesures sont ralises manuellement. La phase de rarrangement
ici est totalement inutile devant le faible nombre dinconnues et dobservations. Le nombre
ditration est infrieur 5 pour un temps de calcul infrieur au dixime de seconde.

7.5. Conclusion
7.4.c Processus complexe

Dans la section 10.2 {page 144}, une mthode de recalage comportant des points dap-
pui, des points homologues, des contraintes entre panoramiques successives ainsi quaux
intersections sera prsente.
Concernant les inconnues, il y a les poses des 44 633 panoramiques, les positions des
points homologues (ici de contrle) et dappui. Nous avons plusieurs familles dobserva-
tions. La premire concerne la formule image : 4075 mesures sur 46 points de contrle et
299 points dappui. La seconde concerne les points dappui qui reprsentent 897 observa-
tions. La troisime concerne les contraintes entre panoramiques successives au nombre de
44 593. La quatrime et dernire famille concerne les contraintes entre panoramiques aux
intersections qui reprsente 78703 observations.
La phase de filtrage est inexistante parce que les mesures sont ralises manuellement,
par contre ltape de rarrangement dinconnues est ncessaire afin doptimiser le stockage
et la rsolution du systme mathmatique.
7.5 Conclusion
Dans ce chapitre nous avons dtaill le processus de compensation par faisceaux, trop
souvent jug comme acquis et simple dans la littrature mais qui ncessite une succession
dtapes importantes que nous avons jug utile de rappeler.
La partie suivante prsente plusieurs techniques utilisant le principe de la compensa-
tion par faisceaux qui permettent de recaler aussi bien en relatif comme en absolu des
donnes acquises par un vhicule de cartographie mobile.


Quatrime partie
Localisation relative et absolue de

systmes de numrisation mobile base
image

Dans cette partie nous allons tudier diffrentes faons damliorer la trajectographie
du vhicule en utilisant la fois limage et aussi la solution initiale fournie par le systme
de positionnement.
Cette partie est compose de trois chapitres regroupant des mthodes permettant
damliorer :
le positionnement du vhicule par rapport au terrain, chapitre 8 ;

la gomtrie relative des trajectoires lors de multi-passages, chapitre 9 ;
la gomtrie la fois interne et par rapport au terrain, chapitre 10 ;
Le dernier chapitre (chapitre 11) rcapitule les diffrentes mthodes et permet didenti-
fier la meilleure en fonction : des besoins, des donnes disponibles et des prcisions internes
et absolues souhaites.

8. Recalage de trajectoire sur des points dappui externes
Chapitre 8
Recalage de trajectoire sur des points

dappui externes
Ce chapitre permet de sintresser deux mthodes permettant damliorer la position

du vhicule par rapport au terrain. La premire, la plus prcise, ncessite au moins trois
points dappui. La seconde permet dextrapoler ce relvement individuel un trs grand
nombre de panoramiques mais avec une prcision moindre.
8.1 Relvement
Cette premire mthode permet de positionner le vhicule avec une prcision centim-
trique en absolu (i.e., par rapport au terrain) sur des points spcifiques mesurs par des
gomtres ou par repiquage sur un plan ou une base de donnes topomtrique.
Nous allons tout dabord prsenter son fonctionnement, puis sa formalisation math-
matique. Enfin, les rsultats sur les exprimentations seront discuts.
8.1.a Principe
Cette procdure consiste dterminer la position et lorientation du vhicule en utili-
sant des points connus la fois dans le systme terrain et dans les images (cf figure 8.1).
Le terme de relvement a t choisi par analogie avec la procdure photogrammtrique qui
consiste dterminer la position et lorientation dune image grce des points connus.
Points dappui
Relvement Pose du Vhicule
Mesures images
Figure 8.1 Principe du relvement.
Cette mthode propose diffrentes applications :

le recalage absolu de toutes les images acquises au mme instant par le vhicule avec
seulement 3 points, et ce, quel que soit le nombre de camras,
le recalage des images sur un modle 3D pour la texturation,

Chapitre 8. Recalage de trajectoire sur des points dappui externes
la mise en cohrence de donnes issues de station terrestre laser avec des images.
Les points connus peuvent tre des cibles mais aussi des points naturels facilement
mesurables et sur le terrain et dans limage (joints de pierre, marquages au sol, balcons,
etc...).
La diffrence avec les algorithmes de relvement classique vient du fait que les mesures
sur les points dappui peuvent tre faites sur nimporte quelle camra.

Pour tablir la formulation mathmatique, nous utilisons la fonction image tablie
dans la section 4.3.a {page 58} fi,j (M ) qui relie un point terrain M une mesure image
m. Cette formule ncessite :
la position et la rotation des camras par rapport au vhicule (Scami et Rcami ,ste )
qui ont t pralablement dtermines par la calibration du vhicule (chapitre 4)
la position et la rotation du vhicule par rapport au terrain (Tste,ter et Rter,ste )
dtermines dans le processus de relvement.
Pour effectuer le relvement, il faut donc minimiser lcart entre les positions des
mesures images dtermines et celles issues de la formule image. Le systme minimiser
scrit selon lquation 1 (avec N le nombre de points dappui).
N

2
ck
lk
[Tgrd,ste ,Rgrd,ste ] k i,j
Effectue par un oprateur humain, cette mthode lavantage dtre robuste, extr-
mement simple et rapide mettre en oeuvre : le risque de faute dans les mesures est
minime.
8.1.c Sensibilit de la mthode la configuration des points dap-

pui
Pour que notre mthode fonctionne, il faut au minimum 3 points dappui. Pour valuer
la fiabilit du relvement ainsi que sa sensibilit la configuration des points dappui, nous
avons calcul avec 17 points dappui une position de rfrence (cf figure 8.2). Ensuite toutes
3
les configurations possibles avec 3 points ont t calcules (C17 soit 680 combinaisons).
Trois comportements se dgagent de cette exprimentation : les cas de divergence (cf
figure 8.3.a), les cas de convergence avec mauvaise prcision (cf figure 8.3.b), et les cas
de convergence avec une prcision meilleure que le dcimtre (cf figure 8.3.c). Ces trois
familles sont dtailles individuellement.
Cas de divergences Dans 71 cas (10%), le systme ne converge pas. Ces cas de diver-
gence se produisent lorsque les points dappui sont aligns (cf figure 8.3.a). En effet, avec
3 points aligns, plusieurs solutions mathmatiques sont possibles, donc le systme ne

8.1. Relvement
Figure 8.2 Configuration pour tester le processus de relvement. La position du vhicule

est reprsente par x et les positions des points dappui sont reprsentes par le symbole .

x x
x
(a) (b) (c)
Figure 8.3 Illustration du processus de relvement.(a) Exemple de divergence. (b)

Exemple de cas de convergence avec prcision dgrade. (c) Exemple de cas de convergence
avec bonne prcision.
peut pas converger. Si la prcision fournie par le systme de positionnement tait fiable,
elle pourrait tre intgre dans le calcul et il ny aurait pas de divergence. Malheureuse-
ment ce nest pas notre cas (cf sous-section 2.4.a.ii {page 19}). Dans des conditions relles
dacquisition, il faut donc prendre garde viter cette configuration.
Cas de convergence avec prcision dgrade Moins de 3% des relvements qui

convergent sont moins prcis que 10 cm et 7% que 5 cm. Cette dgradation est principa-
lement due une configuration des points dappui dfavorable par rapport la position
du vhicule. Celle ci se traduit par un angle faible entre deux points dappui et le vhicule
(cf figure 8.3.b)
Cas de convergence optimaux Dans les 93% des relvements qui convergent mieux
que 5 cm, prs de 50% convergent mieux que le centimtre. Lhistogramme du nombre
de solutions par rapport la distance en planimtrie est prsent sur la figure 8.4.a et
lhistogramme du nombre de solutions par rapport la distance en altimtrie est prsent
sur la figure 8.4.b. Pour que les cas de convergence soient optimaux, il faut que langle
form par les points dappui et la panoramique soit suprieur 20 degrs.
8.1.d Conclusion
Le processus de relvement est facile mettre en oeuvre et permet datteindre une
prcision centimtrique lorsque les points dappui sont correctement rpartis : non aligns
et angle avec le vhicule mieux que 20 degrs. La figure 8.5 prsente un cas concret

Nombre de Relvements
500
400
Nombre de Relvements
300 300
200 200
100 100
012345 10 15 012345 10
Distance XY la position de ref. (en cm) Distance selon Z la position(cm)
(a) (b)
Figure 8.4 Histogramme de rpartition de la prcision du relvement. (a) en planimtrie

et (b) en altimtrie.
dutilisation. Le vhicule a t recal grce des points dappui. Le modle 3D ne sert

qu se rendre compte de leffet du recalage mais ne sert en aucun cas dans le processus.
Sa prcision est dcimtrique.
(a) (b)
Figure 8.5 Illustration de la procdure de relvement. (a) Avant le processus, le vhicule

est "en dessous" de la chausse. (b) Aprs le processus, le vhicule est sur la chausse. Le
modle 3D prsent sur lillustration nest l que pour aider la comprhension (prcision
dcimtrique). Le vhicule est lchelle du modle.

8.2. Extrapolation des relvements individuels lensemble de la trajectoire
8.2 Extrapolation des relvements individuels len-

semble de la trajectoire
Cette section explique la faon de grer la trajectoire fournie par le systme de posi-
tionnement. Nous allons dans un premier temps expliquer le principe, puis dans un second
temps, nous prsenterons sa formulation mathmatique.
8.2.a Principe
Daprs les spcifications et nos constatations (cf. section 2.4.a.ii {page 19} et section
2.2.d {page 14}), la drive du systme de positionnement est faible (infrieure au cm) sur
un intervalle de temps relativement court (quelques secondes). La trajectoire peut tre
considre comme une succession de positions et dorientations dont lcart entre chaque
pose est mesur par le systme de positionnement de faon fiable. Cela se rsume une
chane dont les maillons sont les panoramiques. La figure 8.6 illustre le principe de la
gestion de trajectoire.
Modle de Trajectoire
Gestion de Panoramiques
trajectoire recales
Panoramiques releves
sur points dappui
Figure 8.6 Principe de la gestion de trajectoire.
Grer la trajectoire comme une chane se prsente mathmatiquement sous la forme de

deux quations. La premire, lquation 2, concerne la position. La diffrence entre deux
positions successives correspond la translation mesure par le systme de positionne-
ment, ST raj dans lquation. La seconde, lquation 3, concerne lorientation. La variation
dorientation entre deux orientations successives correspond la variation mesure par le
systme de positionnement, RT raj dans lquation.
Si Si1 = ST raj (2)

t
Ri1 Ri = RT raj (3)
Les incertitudes fournies par le systme de positionnement ntant pas fiables (cf. sous-
section 2.4.a.ii {page 19} ), nous pondrerons chaque maillon de la chane de manire
identique. Dans le cas contraire, le systme dquations devrait alors tre pondr en
tenant compte de ces incertitudes.

8.2.c Applications
Cette formulation ne peut pas tre utilise indpendamment. Elle permet seulement
de conserver la forme de la trajectoire.
Voici deux cas dutilisations possibles :
recaler une trajectoire en fixant une panoramique (par relvement par exemple) (cf
figure 8.7.a). Toutes les panoramiques sont dcales dune mme translation.
contraindre une trajectoire en fixant deux panoramiques (cf figure 8.7.b). La rpar-
tition des carts se fait alors de manire homogne sur toutes les panoramiques.
Cette dernire mthode est prsente dans la section suivante.
Avant Aprs
(a)
(b)
Figure 8.7 Exemples dutilisations de la gestion de trajectoire. Les panoramiques sont

reprsentes par des . (a) Mise en rfrence dun ensemble de panoramiques grce un
relvement local. (b) Dilatation dun ensemble de panoramiques en fixant la position de
deux panoramiques aux extrmits.
8.3 Recalage ponctuel de trajectoire
8.3.a Principe
Une application possible pour le recalage en absolu consiste effectuer quelques re-
lvements de panoramiques le long dune trajectoire puis de recaler la trajectoire en la
contraignant sur ces panoramiques de passage. Le schma 8.8 prsente le principe de
lalgorithme.
Trajectoire
Panoramiques
Panoramiques Gestion de
Panoramiques Relvement recales en
recales trajectoire
absolu
Figure 8.8 Principe de lutilisation du relvement pour le recalage en absolu.

8.3. Recalage ponctuel de trajectoire
8.3.b Rsultats
Afin de vrifier la validit et la prcision de notre processus, nous avons choisi une
zone urbaine sur une boucle (2 passages faits par le vhicule). Nous avons 2 zones avec
des points dappui (A et B sur la figure 8.9). Les positions des panoramiques qui nous
servent de rfrence sont les positions dtermines par relvement de manire individuelle.
Figure 8.9 Trajectoire pour lexprimentation (en rouge). Les panoramiques calcules
par relvement sont en bleu et les panoramiques de contrle sont en noir.
Nous avons lanc notre algorithme en utilisant successivement les zones en appui et
en contrle. Le tableau 8.1 prsente les diffrents rsultats sur les jeux tests. A1 , B1 , A2 ,
B2 et A3 sont respectivement les passages aux points A et B a lissue des 2 tours.
Configuration cart entre la position estime et la vraie position

(m) % (m) % (m) % (m) % (m) %
A 1 B1 A2B2 A3
(2,38) (4,13) (1,60) (1,24) (0,68)
(1,28) 46% (-) - (-) - (-) - (-) -
(-) - (0,70) 82% (-) - (-) - (-) -
(-) - (-) - (0,70) 56% (-) - (-) -
(-) - (-) - (-) - (0,53) 57% (-) -
(-) - (-) - (-) - (-) - (1,03) -50%
(1,69) 29% (0,59) 85% (-) - (-) - (-) -
(-) - (0.88) 78% (0.80) 50% (-) - (-) -
(-) - (-) - (1,00) 37% (0,64) 48% (-) -
(-) - (-) - (-) - (0,72) 41% (1,48) -115%
(1.23) 48% (0.19) 95% (0.72) 54% (-) - (-) -
(-) - (1,19) 71% (1,53) 4% (1,05) 15% (-) -
(-) - (-) - (0,59) 63% (0,19) 84% (1,01) -47%
(0,68) 71% (1,01) 75% (1,48) 7% (1,03) 16% (-) -
(-) - (1,28) 69% (1,69) -5% (1,23) 1% (0,68) 0%
Table 8.1 carts de positions sur les points de contrle. La premire colonne permet de
spcifier les panoramiques releves en appui (gris). Les poses des panoramiques utilises
en contrle (vert) sont estimes dans notre processus. Les valeurs entre parenthses sont
les carts (en mtre) entre la position estime par notre processus et celle calcule par
relvement (centimtrique). Les valeurs en % sont le gain de prcision entre la position
sans recalage et celle estime par notre processus.

La premire constatation concerne la solution initiale : elle peut tre loigne de plus
de 2 mtres, ce qui est trs important (1ere ligne du tableau).
Dans tous les cas, les zones de contrle avant et aprs une panoramique fixe ont
une amlioration de positionnement denviron 50%, except la dernire position. Cette
position tait la plus prcise par rapport la solution initiale. En voulant amliorer le
positionnement des autres panoramiques, on a dgrad cette position. Plus on sloigne
de la panoramique fixe, moins lamlioration est visible.
Le principal inconvnient de cette mthode est le nombre de points dappui ncessaires
(au moins 3 par panoramique releve). En effet, ceux-ci sont trs coteux produire :
quipe envoyer sur le terrain et techniques de positionnement prcis mettre en oeuvre.
Un second inconvnient est la prcision, qui est dcimtrique, alors que les relvements ont
une prcision centimtrique. Le dernier inconvnient est quil nest pas possible de prvoir
la prcision finale de notre algorithme : nous ne pouvons pas utiliser lincertitude donne
par le systme de positionnement qui nest pas fiable. La figure 8.10 reprsente lerreur
de positionnement dune panoramique en fonction de la distance une panoramique
releve. On constate quil ny a aucune fonction mathmatique qui permet de dterminer
la prcision de positionnement en fonction de la distance une panoramique connue.
Erreur (en m)
2 ..
.. . .
1 . .
... .. .
.
Distance une panoramique releve (en km)
1 2
Figure 8.10 Reprsentation de lerreur de positionnement en fonction de la distance

une panoramique connue.
A cause de ces difficults, nous avons dvelopp des mthodes permettant damliorer
la prcision relative. Celles-ci sont explicites dans les chapitres suivants.

9. Recalage multi-passages de la trajectoire
Chapitre 9
Recalage multi-passages de la
trajectoire
Lors dune acquisition, il est frquent que le vhicule passe plusieurs fois au mme
endroit. Nous pouvons donc amliorer la trajectographie relative sur ces zones de recou-
vrement en recalant nos donnes images.
La premire section prsente le recalage lors de passages multiples sur une mme zone,
une intersection par exemple. La seconde explicite la fabrication et la gestion du graphe
de panoramiques qui permet de lier les panoramiques les unes aux autres. Enfin, une
section dexprimentations et de validations des rsultats sera prsente.
9.1 Gestion individuelle des intersections et passages

multiples
Lors de passages multiples dans une mme zone, des carts importants peuvent tre
constats cause des drives du systme de positionnement qui sont dpendantes de
la constellation GNSS et de la dure des masques (cf 2.4.a.ii {page 19}). Il faut donc
dvelopper une mthode de recalage capable de pallier ces carts sinon cela provoque des
anomalies dans la gnration de produits en aval : nuages lasers entre deux passages non
cohrents, dfauts de textures : raccords entre images imparfaits etc.
Nous prsentons ici plusieurs stratgies pouvant tre mises en place dans le cas de
passages multiples sur une mme zone (intersections, rue parcourue plusieurs fois). Le
but est de dterminer la stratgie la plus simple, rapide et surtout fiable afin de recaler les
donnes. Cette mthode doit tre automatique avec des paramtrages pouvant tre utili-
ss pour le plus grand nombre de cas possibles afin de pouvoir travailler sur des chantiers
de grandes tailles (plusieurs kilomtres dacquisitions avec plusieurs centaines dintersec-
tions). Nous avons volontairement restreint le nombre de panoramiques recaler quatre
(deux conscutives deux instants distincts). Un plus grand nombre de panoramiques en-
tranerait des stratgies beaucoup plus complexes mettre en place, qui sont explicites
dans la partie III {page 81} tandis quun nombre plus restreint ne permet pas de mettre
en place des stratgies fiables et efficaces.

Chapitre 9. Recalage multi-passages de la trajectoire
9.1.a Recalage 3D-3D

La premire mthode utilise est le recalage 3D/3D. Il suffit de prendre deux pano-
ramiques conscutives acquises au mme instant puis deux autres panoramiques acquises
au mme endroit mais une priode diffrente. En extrayant des points homologues
communs aux quatre panoramiques (mthode dcrite dans le chapitre 5), nous pouvons
calculer deux jeux de coordonnes 3D pour ces points : chaque couple de panoramiques
permet de calculer la position 3D du point homologue en intersectant les faisceaux. En-
suite, il suffit de calculer la transformation rigide entre ces deux jeux de coordonnes pour
obtenir la diffrence de position entre les deux acquisitions du vhicule. Nous avons test
cette mthode sur deux jeux de donnes. Le premier prsente une rue o le vhicule a
circul en deux fois dans la mme rue tandis que le second est un carrefour o le vhicule
est pass dans deux rues perpendiculaires. La figure 9.1 reprsente les deux configurations
avec la solution initiale fournie par le systme de positionnement.
(a) (b)
Figure 9.1 Recalage 3D/3D. (a) Passages multiples dans une mme rue. (b) Passages
une intersection.
Les figures 9.2 et 9.3 prsentent les rsidus issus du processus de recalage 3D/3D pour
les deux jeux de donnes. En bleu et en vert sont reprsents chacun des couples de pano-
ramiques issues des deux acquisitions (une couleur par couple). En gris sont reprsents
les rsidus sur chacun des points 3D aprs estimation de la transformation rigide entre les
deux jeux de coordonnes. Pour ces cas dutilisations, nous avons volontairement limin
les erreurs (manuellement) dans lappariement 3D. La prcision des mesures est meilleure
que le pixel.
2 .
1,5 .
1
..
..
0 ..
2 ..
4 -1 .
6 -1,5
Rsidus (en mtre) dans le plan (OXY) Rsidus (en mtre) selon (0Z)
Figure 9.2 Rsidus 3D aprs recalage 3D/3D sur lexemple (a).
Dans la figure 9.2, les deux couples sont dans la mme direction et on constate que
les rsidus sur les points le sont aussi. En effet, les coordonnes des points sont calcules
par intersections de faisceaux avec la technique prsente dans lannexe C {page 179}.

9.1. Gestion individuelle des intersections et passages multiples
Pour des faisceaux quasi parallles, lintersection est difficile estimer de faon fiable et
lerreur de positionnement du point se trouve principalement dans laxe des deux faisceaux.
Cela signifie quun lger cart sur les mesures et/ou sur la pose du vhicule entranera
des dfauts de positionnement des points en 3D pouvant tre trs importants (plusieurs
mtres) ce qui ne permet pas de calculer de manire fiable une transformation. On constate
aussi que les rsidus sont en majorit plus importants que le mtre (de 2 6 m).
1 .
.
.
...
0 ..
..
1
2 -1
Rsidus (en mtre) dans le plan (OXY) Rsidus (en mtre) selon (0Z)
Figure 9.3 Rsidus 3D aprs recalage 3D/3D sur lexemple (b).
Pour le second cas (figure 9.3), les rsidus aprs calculs sont rpartis de manire plus
homogne. En effet, les couples nayant pas la mme direction, les incertitudes de posi-
tionnement des points ne sont pas dans la mme direction ce qui se traduit aprs com-
pensation par un champ de rsidus alatoire. L encore, les rsidus sur les points peuvent
tre mtriques.
Dans les deux exemples que nous avons prsents, nous avons constat que cette tech-
nique ne pouvait pas tre utilise, malgr labsence derreurs dappariement, cause prin-
cipalement de lincertitude de positionnement sur lintersection des faisceaux. Les rsidus
sur les points tant mtrique (aussi bien sur des points loin ou proche des camras), la
position relative des panoramiques nest pas assure.
On aurait pu utiliser les paires stroscopiques avant et arrire en extrayant des points
homologues directement en 3D, mais l encore, lintersection des faisceaux est mal d-
termine. Ensuite, les paires stroscopiques nimagent que les parties avant et arrire.
Hors, lors de changement de trajectoire, il arrive quil ny ait pas de recouvrement entre
les diffrentes poses du vhicule entre les paires stroscopiques.
Pour pallier ce problme, nous avons choisi de dvelopper notre propre mthode qui
est explicite dans la section suivante. Elle exploite la panoramique, qui permet dimager
tout ce quil y a autour du vhicule, et ainsi, garantit du recouvrement entre diffrentes
poses quelle que soit lorientation du vhicule.
9.1.b Notre processus de recalage 2x2

9.1.b.i Principe
Les principaux inconvnients de la mthode prcdente sont : les intersections de points

ne sont pas bien dtermines par chaque couple de panoramiques et la solution initiale
pas suffisamment prcise. Dans la sous section 2.4.a.ii {page 19}, nous avons valid la

prcision relative du systme de positionnement. Nous pouvons ajouter une hypothse de

travail qui consiste considrer les panoramiques successives comme un ensemble rigide.
Ainsi, il ne reste plus qu dterminer les positions relatives des couples de panoramiques
et des points homologues.
Le principe de notre mthode consiste :
considrer les couples de panoramiques comme rigides deux deux,
extraire des points homologues intra et inter couples (le choix dextraction et dap-
pariement de points est argument dans le chapitre 5),
compenser la position des points, la position relative des couples et les mesures
images dans un mme processus.
La figure 9.4 prsente le fonctionnement de notre mthode.
Pano A
Couple 1
Pano B
SIFT Appariement Points
Pano C
Couple 2
Pano D
Poses Relatives
Recalage dIntersection
des Panoramiques
Figure 9.4 Principe de notre mthode de recalage 2x2
Nous avons volontairement limit le nombre dimages 4 (2x2) parce quun nombre
dimages plus lev ncessite des stratgies plus complexes : appariement de points triples
ou plus, dtection de fautes plus complexes, choix des points homologues entre deux
acquisitions non conscutives non triviales. Le problme est la fois plus simple et plus
rapide en ne considrant que deux paires de couples.
9.1.b.ii Formulation du problme
Notre processus comporte diffrentes quations (cf. quation 1). Les quations 1.a1 et
1.a2 servent stabiliser notre systme dquations en fixant le premier couple compos
des panoramiques A et B. SA (resp. SB ) tant la position de la panoramique A (resp. B)
litration courante et SA,ini (resp. SB,ini ) sa position issue du systme de positionnement.
Lquation 1.b permet de rigidifier le deuxime couple constitu des panoramiques C et D
durant le calcul du recalage. La valeur de , translation entre les deux panoramiques, est
celle mesure par le systme de positionnement. Lquation 1.c correspond aux mesures
pour chaque point homologue. Pour un point homologue, quatre quations dobservations
sont poses. Elles correspondent la mesure dun mme point mesur dans les quatre
panoramiques.


SA = SA,ini (a1 )

SB = SB,ini (a2 )

SD SC = S CD (b) (1)

N m ck

k=0 fi,j (Mk ) = lk i,j
(c)
Pour rsoudre ce systme dquations, nous le linariserons en utilisant une solution

initiale fournie par le systme de positionnement. Ensuite, de manire itrative, nous
calculons les valeurs des inconnues litration N + 1 en utilisant la solution litration
N par moindres carrs [Sillard, 2001].
9.1.b.iii Description de lalgorithme
Afin dliminer les erreurs dappariement qui peuvent se produire, nous avons dve-
lopp un algorithme comportant plusieurs paramtres :
deux seuils smax et smin qui permettent dliminer les mesures errones. Le premier
pour liminer les erreurs grossires avant le calcul et un second pour liminer les
mesures errones durant le processus.
un nombre ditrations maximum afin dviter la non convergence dun calcul
cause dun trop grand nombre derreurs.
Cette mthode est dcrite de manire dtaille par lalgorithme 9.1
Algorithme 9.1 : Recalage 2x2

entre :
M es, les mesures images sur les points homologues communs aux 4 panoramiques
smax et smin seuils dlimination des rsidus maximum et minimum
itermax , le nombres maximum ditrations
sortie : Panoramiques recales
s = smax pour i = 1 a itermax faire
pour m = 1 a Card(M es) faire
si Residus(M es(m))<s alors
Suppression(M es(m))
fin
fin
Moindres Carres
Mise a jours des inconnues
s = smax (smax smin ) i/itermax
fin
En pratique, 20 itrations suffisent pour obtenir une solution et lvaluer, smax a t

fix 200 pixels et smin 3 pixels. Les choix de ces valeurs sont arguments dans le
paragraphe suivant.

9.1.b.iv Exprimentations
Afin de tester la sensibilit et la fiabilit de notre algorithme, nous avons ralis plu-
sieurs exprimentations. La premire consiste tester la sensibilit aux seuils smax et smin .
La seconde consiste tudier linfluence de la calibration sur le processus et le dernier est
un test de fiabilit sur un grand nombre de cas.
Valeurs des paramtres Afin de dterminer la sensibilit au seuil de rsidus, nous

avons test notre algorithme avec des valeurs de seuils minimales allant de 1 100 pixels.
La valeur maximale a t fixe 200. Cette valeur est volontairement leve afin de
conserver toutes les mesures possibles. La figure 9.1.a prsente le nombre de mesures
valides en fonction du seuil minimum et la figure 9.1.b les valeurs des rsidus en pixel.
Nb de mesures actives
700
600
500
400 Rsidus image (en pixel)
300
200 2
100 1
0 0
25 20 15 10 5 25 20 15 10 5
Seuil minimum (pixels) Seuil minimum (pixels)
(a) (b)
Figure 9.5 Influence de la valeur du seuil minimum sur le module 2x2. En vert, avec
le jeu de donnes 1 et en bleu, avec le jeu de donnes 2. (a) Nombres de mesures valides
en fonction du seuil minimum et (b) valeurs des rsidus (en pixel) en fonction du seuil
minimum.
Le comportement le plus intressant noter est que linfluence du seuil devient im-
portant lorsquil est infrieur 5 pixels. Cela sexplique par le fait que notre processus de
slection (chaque point doit tre vu dans les 4 images) permet dliminer un maximum
de fautes avant mme la compensation.
Le tableau 9.1 prsente le nombre de mesures fausses encore actives et le nombre de
mesures correctes limines en fonction du seuil bas. Il permet de fixer la valeur du seuil
choisi. 3 pixels, peu derreurs sont conserves dans le calcul et peu de mesures correctes
sont limines.
Influence de la Calibration Nous avons test les calculs en ne tenant pas compte de
la calibration du vhicule afin de vrifier la convergence et linfluence de la calibration.
Les rsultats sont prsents sur la figure 9.6. On constate que le processus converge vers la
mme solution quelques centimtres prs (cf figure 9.6.a). Le nombre de mesures valides
(cf figure 9.6.b) est un peu plus faible (la calibration tant moins prcise, les rsidus
images sont plus importants) mais suffisants (plus de 600 mesures), tandis que les rsidus
sur les mesures sont un peu plus levs (2 pixels, selon la figure 9.6.c). La position relative

Exemple 1 : Exemple 2 :
passages multi-temporels intersection
Seuil (pix.) Mes. fausses Mes. vraies Mes. fausses Mes. vraies
Actives Inactives Actives Inactives
1 6 110 1 26
2 8 17 2 18
3 7 10 4 5
4 9 1 3 3
5 9 1 2 4
6 10 5 2 2
7 10 2 2 0
Table 9.1 Statistiques sur les mesures la fin du processus 2x2 en fonction du seuil
minimum.
des camras ntant pas prcise, cela se traduit par des incertitudes plus grandes sur les
faisceaux.
Notre algorithme, bien quinitialement dvelopp pour un vhicule calibr, converge
mme lorsque le dispositif ne lest pas. On pourra effectuer un recalage, certes moins prcis,
mais suffisant, pour une mise en cohrence des donnes plus prcise que celle fournit par
le systme de positionnement.
700
600
500
400 2
300
200 1
100
0 0
1 cm 25 20 15 10 5 25 20 15 10 5
(a) (b) (c)
Figure 9.6 Influence de la calibration sur le processus de recalage. (a) cart de posi-
tionnement entre le vhicule calibr (en vert) et non calibr (en rouge), (b) nombre de
mesures valides durant le processus et (c) rsidus sur les mesures images en fonction du
seuil dlimination des fautes
Passage lchelle Les configurations o le vhicule passe plusieurs fois au mme en-
droit sont nombreuses lors dune acquisition traditionnelle (passages multiples aux carre-
fours et obligation de repasser plusieurs fois dans les mmes rues cause de sens uniques).
Nous avons test notre algorithme sur plus de 100 000 intersections potentielles 1 pour d-
finir des critres de convergence. Les rsidus chaque itration doivent diminuer et plus
de 20 mesures doivent tre actives la fin du processus pour garantir suffisamment de
redondance pour le calcul. Avec ces critres, plus de 70 % des calculs ont converg. Pour
les 30% restants, il y a 3 causes possibles de divergence :
1. Le choix des intersections est dtaill en sous-section 9.2.a {page 129}

83,3 % qui nont pas de mesures communes,

8,4 % qui ont entre 1 et 20 mesures communes,
8,3 % qui ne convergent pas (faisceaux homologues mal rpartis et aligns avec les
couples).
Les cas dabsence de mesures communes sont identifiables en amont du processus et
peuvent tre pralablement rejets. On peut donc dire que notre algorithme prsente un
taux de 93,3 % de convergence.
Lhistogramme (cf. figure 9.7) reprsente le nombre de calculs en fonction du nombre
de points homologues actifs aprs compensation. La trs grande majorit des processus
contient plus dune centaine de points actifs aprs compensation rendant lestimation des
paramtres recherchs (pose relative des panoramiques) optimale en raison dun nombre
bien plus lev dobservations que dinconnues.
Nombre de calculs
12000
11000
10000
9000
8000
7000
6000
5000
4000
3000
2000
1000
0 500 1000 1500 2000 2500 3000 3500 4000 4500
Nombre de points actifs aprs calculs
Figure 9.7 Histogramme reprsentant le nombre de points homologues actifs aprs

compensation par couples.
Un autre critre intressant observer est le nombre de mesures actives conserves par
rapport aux nombres de mesures initiales (cf histogramme 9.8) qui est largement suprieur
80%. Il sexplique par le fait quil ne reste que trs peu derreurs.
9.1.c Conclusion
La meilleure solution pour effectuer un recalage de faon fiable et rapide est dutiliser
lalgorithme que nous avons dvelopp. Il est performant, facile paramtrer, et fonctionne
mme lorsque le dispositif nest pas calibr. Ainsi, il sera utilis pour chaque recalage
effectuer aux intersections.
9.2 Graphe de panoramiques

La seule information que nous avons concernant les connections entre panoramiques
sont les donnes dacquisition : pour une panoramique donne, seules les panoramiques

9.2. Graphe de panoramiques
Nombre de calculs
12000
10000
8000
6000
4000
2000
0 10 20 30 40 50 60 70 80 90 100
Ratio du nombre de points actifs aprs calculs sur le nombre de points total
Figure 9.8 Histogramme reprsentant le ratio entre le nombre de points homologues

actifs aprs compensation et le nombre de points homologues initial.
suivantes et prcdentes sont connues. Le manque de prcision du systme de positionne-

ment ne permet pas de travailler directement avec les donnes initiales de manire simple
(diffrence daltitude entre panoramiques, carts planimtriques) pour savoir quelles sont
les panoramiques voisines les unes des autres. Diffrentes stratgies ont t envisages
pour dterminer les liens entre panoramiques afin de crer "un graphe de panoramique"
pouvant servir :
la visualisation immersive de type Google Street View [Anguelov et al., 2010],
de la cartographie,
du recalage.
Dans notre cas, il sert identifier les zones o plusieurs trajectoires ont t acquises afin
de les recaler.
9.2.a Stratgies possibles

Nous allons prsenter deux stratgies pouvant tre utilises.
La premire stratgie possible est de calculer la distance entre toutes les panoramiques
et de ne garder que les panoramiques qui sont distantes de moins quune distance d. Le
principale inconvnient de cette technique est le nombre dartes du graphe qui est trop
important et inutile. Les caractristiques dacquisition sont de prendre une panoramique
tous les 4 mtres ou toutes les 10 secondes 2 . Si une rue a t parcourue dans les deux
sens, une panoramique est donc connecte un grand nombre de panoramiques dont la
plupart sont inutiles (cf. figure 9.9.a).
Une seconde stratgie permet dliminer des artes inutiles en utilisant une triangu-
lation sur les positions du vhicule et de ne garder que les artes dont la longueur est
infrieure une distance d. Le nombre dartes est normment rduit (au moins un
facteur 3), mais il est difficile de savoir si les artes sont utiles ou non (cf. figure 9.9.b).
Ces stratgies "simples" ne rpondant pas exactement notre problmatique, nous
avons tendu notre recherche la communaut de vision par ordinateur. Nous avons
2. Caractristiques dtermines pour chaque acquisition. Ces donnes correspondent aux caractris-
tiques des chantiers utiliss durant cette thse.


(a) (b)
Figure 9.9 Stratgies possibles pour la cration du graphe de panoramiques. (a) Graphe
bas uniquement sur la distance entre panoramiques. (b) Graphe bas sur une triangula-
tion et un critre de distance.
identifi une autre stratgie possible : lutilisation dAlpha Shape, qui permet la trian-
gulation et la classification les artes. Cette stratgie est dtaille dans la sous-section
suivante.
9.2.b Utilisation dAlpha Shape

Lalgorithme dAlpha Shape ([Edelsbrunner et Mcke, 1994] et [Bernardini et Bajaj,
1997]) a t dvelopp pour trouver la surface qui approxime au mieux un nuage de
points, aussi bien en 2D quen 3D. La figure 9.10 prsente lutilisation traditionnelle de
lalgorithme dAlpha Shape. La figure 9.10.a montre les donnes initiales et la figure 9.10.b
prsente le maillage obtenu.
(a) (b)
Figure 9.10 Algorithme dAlpha Shape (source : [Da et Yvinec, 2012]). (a) Donnes
initiales et (b) rsultat de lalgorithme.
La premire tape de lalgorithme consiste calculer une triangulation partir des

points. Dans notre cas nous avons choisi la triangulation de Delaunay [Delaunay, 1934].
Il faut dfinir un rayon (not ), unique paramtre de lalgorithme. Il permet de savoir
si les artes, les faces et les ttradres de la triangulation appartiennent ou pas lAlpha
Shape :
une arte appartient lAlpha Shape si sa longueur est plus petite que 2,
une face appartient lAlpha Shape si le rayon du cercle circonscrit est plus petit
que ,
une ttradre appartient lAlpha Shape si le rayon de la sphre circonscrite est
plus petite que .
Une fois cette classification binaire faite, on peut laffiner en triant les artes suivant
4 catgories :
extrieure : larte nappartient pas lAlpha Shape,
intrieure : larte appartient lAlpha Shape et toutes les faces la contenant ap-
partiennent lAlpha Shape,

frontire : larte appartient lAlpha Shape et aucune face la contenant nappartient

lAlpha Shape,
normale : (toutes les autres) larte appartient lAlpha Shape et certaines faces la
contenant appartiennent lAlpha Shape et dautres non).
Dans le cadre de cette thse, nous avons choisi dutiliser limplmentation de [Da et
Yvinec, 2012] dans [The CGAL Project, 2012] qui est la fois rapide et optimise pour
lutilisation de gros volume de donnes (plusieurs dizaines de milliers de panoramiques).
La figure 9.11 prsente les classifications des artes issues de lalgorithme sur les po-
sitions des panoramiques. Chaque couleur reprsente un type dartes : en rouge, les
intrieures, en bleu les normales et en vert les frontires. Les artes extrieures nont pas
t reprsentes pour allger la figure et parce quelles sont inutiles.
Figure 9.11 Illustration de lalgorithme dAlpha Shape avec les panoramiques. A

gauche, rpartition des panoramiques avant classification. A droite, rsultat de lalgo-
rithme. Chaque couleur reprsente un type darte : rouge intrieure, bleue frontire et
verte normale. Les artes nappartenant pas lAlpha Shape ntant pas reprsentes.
Pour dterminer la meilleure valeur de , seul paramtre de lalgorithme, nous devons

prendre trois choses en compte :
la distance entre deux panoramiques successives. Si est trop petit, les panora-
miques ne seront relies que par des artes de type extrieur. On perd donc lintrt
de la classification.
la distance planimtrique maximale entre deux panoramiques. Il faut que soit
suffisamment grand pour relier deux panoramiques dune mme rue sur deux pas-
sages diffrents, notamment aller-retour (par exemple, sur les Champs Elyses, cette
distance est de prs de 20 mtres).
la distance altimtrique. Si est trop faible, sur deux passages dans une mme rue,
les panoramiques ne seront pas relies tandis que si est trop lev, deux trajectoires
distinctes peuvent tre relies alors quelles sont indpendantes (une route passant
au dessus dune autre). La hauteur maximale pour relier deux panoramiques est de
4 mtres (hauteur du vhicule (3m) + paisseur du pont (1m)).
La figure 9.12 illustre linfluence du paramtre de lalgorithme dAlpha Shape pour
les panoramiques sur 3 zones distinctes. Un trop faible (2m par exemple), le graphe nest
pas connexe tandis quun trop grand (22m par exemple) introduit des artes inexistantes
dans la ralit.
La zone 1 reprsente des rues o le vhicule est pass plusieurs fois : un petit ne
permet pas de relier les diffrents passages. La zone 2 reprsente des rues voisines o le

vhicule est pass : un petit ne permet pas de relier ensemble des rues voisines. La zone
3 reprsente deux routes passant lune au dessus de lautre : un trop grand les relie alors
quil nexiste aucun lien entres elles dans la ralit.
(en m) Zone 1 Zone 2 Zone 3
15
22
Figure 9.12 Influence du paramtre sur le graphe de panoramiques. Un trop petit

(2) rend le graphe non connexe tandis quun trop important (22) cre des artes inutiles.
Lalgorithme dAlpha Shape utilise des distances euclidiennes. Seulement, les distances
dappariement en planimtrie et en altimtrie nont pas les mmes valeurs de seuils pour
. Nous devons donc dans un premier temps changer de repre de travail et appliquer
un coefficient de dilatation sur la troisime composante. Ce facteur sobtient simplement
en faisant le rapport des distances maximales pour lesquelles nous voulons joindre les
panoramiques (cf. quation 2). XYmax reprsente la plus grande distance entre 2 panora-
miques successives (dpend directement de lacquisition) et Zmax reprsente la diffrence
de hauteur entre deux panoramiques Dans notre cas, ce facteur dchelle (eZ ) a pour
valeur 5.
eZ = XYmax /Zmax (2)
Aprs avoir prsent la constitution du graphe de panoramiques, nous allons prsen-

ter une seconde application qui est loptimisation du rangement lors de la minimisation
mathmatique de nos processus.
9.2.c Optimisation du rangement des panoramiques

Dans les systmes que nous devons minimiser, nous avons plus de 45 000 panoramiques,
engendrant plus de 270 000 inconnues. Concernant les observations (dont le nombre peut
aller jusqu 250 000 observations), il y a celles correspondantes la trajectoire entre deux
panoramiques conscutives et celles correspondantes aux intersections. Sans prcautions,
le systme, mme rang sous forme de matrices creuses ([Tewarson, 1973] et [Pissanetzky,
1984]), dpasse les capacits mmoires de lordinateur. Il faut donc organiser les inconnues
de manire optimiser la structure de la matrice normale.
Nous allons dabord reformuler notre problme laide de graphes, puis nous prsen-
terons diffrents algorithmes qui permettent doptimiser le rangement.

9.2.c.i Systme dquations et graphe
Le systme dquations peut tre vu comme un graphe dont les inconnues sont les
sommets et les observations (trajectoire, contraintes relatives et absolues) sont les artes.
La figure 9.13 illustre une acquisition de 20 panoramiques (a,b,...,t) avec des liens entre
les panoramiques le long de la trajectoire mais aussi aux intersections.
q o
r n
a b c d e f g
s m
t l
k j i
Figure 9.13 Exemple de graphe de panoramiques. Chaque lettre reprsente une pano-
ramique et une arte signifie que les panoramiques ont des dtails communs.
9.2.c.ii Algorithmes de rangements
Les algorithmes de rangements sont tudis depuis de nombreuses annes. De nom-

breux comparatifs ont t fait notamment en physique dans le calcul dlments finis.
[Gibbs et al., 1976] comparent 6 algorithmes de rangements dans le cadre de calcul par
lments finis, [George et al., 1993] qui proposent diffrentes mthodes dimplmentation
de matrices creuses (symtrique et non symtrique), ainsi que des mthodes de rsolutions
de systme.
Le principe de base de ces mthodes est de rorganiser lordre des inconnues dans le
calcul. Dans notre cas, nous avons test plusieurs algorithmes utiliss dans la littrature :
Cuthill-McKee [Cuthill et McKee, 1969] : le principe de lalgorithme est de rduire la
largeur de bande1 dun graphe. Il est bas sur lalgorithme de parcours en largeur
(Breadth First Search ou BFS) [Moore, 1959] qui calcule le degr des sommets. Le
nouvel ordonnancement des sommets est lordre dapparition dans lalgorithme de
BFS.
Sloan [Sloan, 1986] : le principe de lalgorithme est de rduire le profil2 et le front donde
dune matrice. La diffrence avec lalgorithme prcdent est la prise en compte du
voisinage du sommet lors du r-arrangement des sommets tandis que Cuthill-McKee
fonctionne plutt de manire globale.
Limplmentation de ces algorithmes a t choisi dans [Siek et al., 2001].
1. Nombre maximum de sommets entre deux sommets adjacents.

2. Le profil correspond la somme de toutes les distances maximales entre le i-me sommet et lun de
ses voisins avec un indice j> i.

9.2.c.iii Comparaisons
En utilisant le graphe de la figure 9.13, on peut visualiser leffet des diffrents al-
gorithmes sur la structure de la matrice normale. La figure 9.14.a prsente la matrice
dadjacence sans rorganisation, la figure 9.14.b prsente la matrice dadjacence aprs
rangement grce lalgorithme de Cuthill-McKee et la figure 9.14.c aprs rangement
grce lalgorithme de Sloan. On constate que les effets du rangement sont similaires :
les coefficients sont regroups le long de la diagonale.
a b c d e f g h i j k l mn o p q r s t
(a)
t q a p s r b o c n d me l f k g j h i g k f h i j l emn d o p q t c r s b a
(b) (c)
Figure 9.14 Influence de la rorganisation des sommets sur la matrice normale. (a)
Sans renumrotation, (b) algorithme de Cuthill-McKee et (c) algorithme de Sloan.
Aprs avoir prsent et visualis les diffrents algorithmes, nous examinons maintenant
les temps de calcul de la rorganisation et de la rsolution du systme mathmatique. La
librairie mathmatique utilise durant cette thse est Eigen [Guennebaud et al., 2010]. Les
rsultats prsents dans le tableau 9.2 sont valables pour lassociation du rangement et de
la rsolution du systme dquations. La taille de notre systme est de 267 798 inconnues.
Sans rangement, lordinateur utilis navait pas assez de mmoire (4 Go) pour le r-
soudre tandis quavec les deux algorithmes tests le systme est rsolu et dans un laps de

9.3. Algorithme de dcoupages
temps trs court (2 diximes de seconde). Lalgorithme de Sloan est plus lent que celui de
Cuthill-McKee (trois fois) mais son temps de calcul est infrieur la seconde ce qui est
largement suffisant pour nos applications.
Sans rangement Cuthill-McKee Sloan

Positionnement (en s) 0 0,23 0,9
Rsolution du systme (en s) - 0,25 0,26
Largeur de bande1 43 601 301 13 013
Profile2 73 662 248 4 952 528 3 671 653
Table 9.2 Influence de la rorganisation des sommets sur la matrice normale.
9.2.c.iv Conclusion
Loptimisation de la structure de la matrice normale est ncessaire afin de pouvoir

procder son inversion. Les algorithmes de Cuthill-McKee et Sloan utiliss prsentent
des rsultats similaires (temps de rangement et de rsolution) pour notre problme. Celui
de Cuthill-McKee tant plus rapide, nous avons choisi de lutiliser afin de rorganiser nos
systmes minimiser (mthodes prsentes aux chapitres 9, 10 et 7).
9.3 Algorithme de dcoupages

Maintenant que nous avons notre graphe de panoramiques, nous devons dterminer
les zones pour lesquelles nous allons calculer un recalage local afin de mettre en cohrence
les diffrentes trajectoires.
Dans notre graphe, il y a des zones qui ne ncessitent pas de recalage. Ce sont les zones
qui ne contiennent que des panoramiques conscutives. Notre algorithme ne remettant
pas en cause la pose relative et le systme de positionnement tant priori satisfaisant
en relatif, il est donc inutile de calculer un recalage locale dans ces zones. Il se trouve que
les panoramiques successives ne sont relies que par des artes de type frontire. Nous
pouvons donc travailler uniquement dans le sous-graphe ne contenant que les artes de
type intrieure et normale (cf. figure 9.15.a en bleu).
A partir de ce sous-graphe, nous extrayons toutes les composantes connexes (cf. fi-
gure 9.15.b, une couleur par composante connexe) qui sont susceptibles de ncessiter un
recalage relatif.
Ensuite, pour chaque composante connexe, nous trions les panoramiques par identi-
fiants puis nous dfinissons une distance maximale entre des identifiants de panoramique
dcons . Il se peut quune composante connexe ne contienne que des panoramiques issues
dune mme session (le vhicule a effectu une marche arrire par exemple). Si cette com-
posante est suffisamment petite (contient moins de dcons panoramiques) alors il ny a pas
de recalage effectuer (cf. figure 9.15.c, en rouge). Si cette composante est plus grande
alors on effectue un recalage tous les dcons panoramiques (cf. figure 9.15.c, en bleu).
Lorsquune composante connexe contient plusieurs tronons acquis des instants diff-
rents, chaque tronon est tudi. Si le tronon est de petite taille (contient moins de dcons
panoramiques) un recalage au milieu du tronon est calcul avec tous les autres tronons

(a) (b)
(c)
Figure 9.15 tapes de lalgorithme pour calculer le recalage relatif. (a) Alpha Shape
initiale. (b) Identification des composantes connexes du sous-graphe ne contenant que les
artes de type intrieure et normale. (c) Identification des zones de recalage.
(cf. figure 9.15.c, en vert). Si le tronon est grand, on effectue un recalage tous les dcons
panoramiques avec les autres (cf. figure 9.15.c, en bleu).
Le schma global de notre algorithme est dcrit dans lalgorithme 9.3.

9.3. Algorithme de dcoupages
Algorithme 9.3 : Algorithme de dtection des zones dintrts.

entres :
Positions de panoramique P de taille Np
Distance entre panoramiques maximum dmax
Distance entre panoramiques conscutives dcons
sortie : Panoramiques dintrts PI
G(N , A)=AlphaShape3D(P )
G(N , A) = G(N , A \ T ype(A) = Exterieur)}
CC= ComposanteConnexes(G)
pour i = 1 a Card(CC) faire
GCC (N , A) = G(N \ NCC (i), A \ (NCC (i) NCC (i)))
d=max(Id(NGCC )) min(Id(NGCC ))
Petite CC
si Card(NGCC ) < dcons alors
si d < dcons alors
continue
sinon
PI =PI NGCC (0)
fin
Grande CC
sinon
T =Troncon(NGCC )
pour j = 1 a Card(T ) faire
si Card(Tj ) < dcons alors
PI =PI Tj (0)
sinon
PI =PI Decoupage( Tj )
fin
fin
fin
fin

9.4 Evaluation de la qualit de recalage

Dans cette section, nous allons tester la sensibilit aux paramtres de notre algorithme
ainsi que la qualit du recalage obtenu.
9.4.a Influence des paramtres

La figure 9.16 prsente linfluence de dcons sur le nombre dintersections 2x2 calculer.
Le graphe de panoramiques contient toutes celles du chantier XIIe ce qui reprsente plus
de 45 000 panoramiques. On constate quune distance trs faible entrane un nombre
dintersections calculer trs important (plus de 80 000 si un calcul dintersection est
lanc tous les 3 panoramiques). Aprs 30 panoramiques conscutives, il ny a plus que 17
500 recalages effectuer.
Nb de couples
80 000
70 000
60 000
50 000
40 000
30 000
20 000
10 000
10 20 30 40 50 60 70 80 90
Intervalle entre couples dcons (mtres)
Figure 9.16 Nombre de recalage 2x2 calculer en fonction de la distance entre pano-
ramiques.
Dans la suite de notre expos, diffrents paramtres vont tre tests. Afin dvaluer nos
rsultats, nous avons effectu 4 218 mesures manuelles dans des images sur les passages
pitons (objets facilement mesurables dans limage et sur le terrain). Ces mesures sont
de contrle et ne sont donc pas utilises dans le calcul et ne servent qu lvaluation de
notre algorithme posteriori.
Voici quelques chiffres significatifs pour analyser les rsidus images. Un rsidu image
de 10 pixels correspond :
une erreur de rotation de 0,4 degr,
une erreur en translation de 3,5 cm pour un objet 5 m,
une erreur en translation de 7 cm pour un objet 10 m
Pour le recalage, nous utilisons deux systmes dquations distinctes (quations rela-
tives la trajectoire et quations relatives aux recalages intermdiaires) que nous minimi-
sons dans le mme systme mathmatique. Il faut aussi dterminer la pondration relative
entre ces systmes. Pour cela, nous avons lanc notre algorithme avec diffrentes pond-
rations et nous avons slectionn le meilleur jeu de paramtres en fonction des rsultats.
Le tableau 9.3 prsente les rsultats des diffrents calculs.

9.4. Evaluation de la qualit de recalage
Ratio Recalage/Trajectoire Rsidus images moyens (pix.)

10000 14,385
1000 14,385
100 14,384
10 14,333
1 12,603
0,1 10,942
0,01 11,500
0,001 24,818
0,0001 40,970
Table 9.3 Ratio optimal entre les recalages 2x2 et la trajectoire.
On constate quun ratio trop important dans un sens ou dans lautre entrane des
rsidus images importants. Par contre la valeur du paramtre nest pas trs sensible. Par
exemple entre 0,01 et 1, les rsidus images naugmentent que de 2 pixels ce qui nest pas
trop important. Le ratio que nous avons retenu est 0,1 qui est le meilleur compromis.
Une fois le meilleur ratio intersection/trajectoire trouv, il reste dterminer la dis-
tance entre chaque intersection optimale. Pour cela nous avons examin les rsidus images
en fonction de diffrents intervalles de distance. Le tableau 9.4 prsente les diffrents r-
sultats.
min max med moy ect

sans recalage 0,197906 313,515 22,0071 36,04 36,0078
3 0,217733 82,1101 9,61794 10,9421 7,37349
5 0,207441 58,5634 9,66482 10,8088 6,84517
10 0,131583 55,1738 9,52297 10,673 6,6801
15 0,0834072 63,7257 9,17118 10,5089 6,79139
20 0,220293 86,2084 9,67259 11,3309 8,04332
25 0,23123 92,3281 9,7357 11,2073 7,92393
30 0,155811 91,0758 9,37589 10,7748 7,60748
Table 9.4 Rsidus sur les points de controle aprs recalage en fonction de la distance
entre panoramiques (en pixels).
La premire chose est que, quelle que soit la distance choisie, notre processus est utile
et permet de mettre en cohrence nos donnes. En effet, un facteur 3 est gagn sur la
moyenne des rsidus et un facteur 5 sur lcart-type.
Une seconde remarque concerne limpact de la distance. Une distance courte, comprise
entre 3 et 5 mtres, a des rsidus un peu plus levs quune distance moyenne parce quil
ny a pas de vrification de cohrence entre les recalages relatifs. Une distance longue a
des rsidus un peu plus levs quune distance moyenne.
Nous avons donc choisi dutiliser la distance de 15 mtres.

9.4.b Rsultats
La figure 9.17 prsente la zone de 6 cas dtudes dont les rsultats sont prsents dans
le tableau 9.5.
f
d
e
a c
Figure 9.17 Zones dtudes choisies pour tester notre algorithme de recalage.
Le tableau 9.5 reprsente les rsultats de notre algorithme sur 6 zones du XIIe qui ont
t choisies parce que le vhicule est pass de nombreuses reprises. Pour chacun des cas,
notre algorithme a permis de remettre en cohrences les passages successifs sur une mme
zone.
9.5 Conclusion
Dans ce chapitre, nous avons non seulement prsent une mthode de recalage en
relatif qui permet de mettre en cohrence aussi bien des donnes dune mme trajectoire
que de diffrentes. Elle est fiable et ncessite peu de paramtres. Le choix de ceux-ci ne
prsente pas une grande sensibilit ce qui en fait une mthode robuste.

9.5. Conclusion
Avant Recalage Relatif Aprs Recalage Relatif

z (m) z (m)
2 2
(a) 1 1
0 d (m) 0 d (m)
-1 -1
0 1 2 3 4 5 0 1 2 3 4 5
z (m) z (m)
1 1
(b) 0 d (m) 0 d (m)
-1 -1
0 1 2 3 4 5 0 1 2 3 4 5
z (m) z (m)
1 1
0 d (m) 0 d (m)
(c)
-1 -1
-2 -2
0 1 2 3 4 5 0 1 2 3 4 5
z (m) z (m)
1 1
(d) 0 d (m) 0 d (m)
-1 -1
0 1 2 3 4 5 0 1 2 3 4 5
z (m) z (m)
2 2
(e) 1 1
0 d (m) 0 d (m)
-1 -1
0 1 2 3 4 5 0 1 2 3 4 5
z (m) z (m)
2 2
(f) 1 1
0 d (m) 0 d (m)
-1 -1
0 1 2 3 4 5 0 1 2 3 4 5
Table 9.5 carts en altitude entre les diffrentes trajectoires pour chaque zone (prsen-
te sur la figure 9.17. En abscisse : distance la zone considre. En ordonne : diffrence
daltitude entre les passages.


10. Recalage interne et externe de la trajectoire
Chapitre 10
Recalage interne et externe de la

trajectoire
10.1 Utilisation conjointe de contraintes relatives et de

relvement
Les chapitres prcdents ont prsent des mthodes de recalage soit en absolu (externe)
soit interne. Nous allons maintenant voir comment combiner les diffrentes techniques.
10.1.a Principe
Le principe de la mthode est dutiliser le relvement et la gestion de trajectoire dans
le mme processus. Le schma 10.2 explique cette solution.
Trajectoire
Panoramiques
Panoramiques Gestion de
Panoramiques Relvement recales en
recales trajectoire
absolu
Recalage d
Intersection
Figure 10.1 Principe de lutilisation du relvement et de contraintes relatives pour le

recalage en absolu.
10.1.b Rsultats
En utilisant les mmes donnes que dans la sous section 8.3.b {page 119}, nous avons
utilis notre algorithme successivement en fixant les zones en appui et en contrle. Le
tableau 8.1 prsente les diffrents rsultats sur les jeux tests. La premire colonne permet
de spcifier les panoramiques releves en appui (gris) et celles utilises en contrle (vert).

Chapitre 10. Recalage interne et externe de la trajectoire
Configuration cart entre la position estime et la vraie position

(m) % (m) % (m) % (m) % (m) %
(2,38) (4,13) (1,60) (1,24) (0,68)
(0,44) 81% (-) - (-) - (-) - (-) -
(-) - (0,90) 78% (-) - (-) - (-) -
(-) - (-) - (0,33) 79% (-) - (-) -
(-) - (-) - (-) - (0,81) 34% (-) -
(-) - (-) - (-) - (-) - (0,68) 65%
(0,43) 81% (0,89) 78% (-) - (-) - (-) -
(-) - (0,91) 77% (0,35) 77% (-) - (-) -
(-) - (-) - (0,32) 79% (0,81) 34% (-) -
(-) - (-) - (-) - (0,81) 34% (0,22) 66%
(0,38) 83% (0,90) 78% (0,16) 89% (-) - (-) -
(-) - (0,88) 78% (0,37) 76% (0,53) 57% (-) -
(-) - (-) - (0,40) 74% (0,81) 35% (0,35) 48%
(-) - (0,95) 76% (0,47) 70% (0,56) 54% (0,40) 40%
(0,95) 60% (-) - (0,75) 52% (0,95) 23% (0,76) -10%
(0,47) 79% (0,75) 81% (-) - (0,55) 55% (0,07) 88%
(0,56) 76% (0,95) 76% (0,55) 65% (-) - (0,55) 18%
(0,40) 82% (0,76) 81% (0,07) 95% (0,55) 55% (-) -
Table 10.1 carts de positions sur les points de contrles.
L encore, notre processus amliore le gorfrencement en absolu de nos panora-

miques. On constate que le gain en prcision est suprieur au processus prcdent, ce qui
est logique car on rajoute des contraintes de cohrence interne des donnes. Par contre la
prcision relle est de plusieurs dcimtres. Enfin, pour le relvement nous avons besoin
de 3 points dappui sur un mme site ce qui est coteux.
10.2 Utilisation de points dappui le long de la trajec-

toire
10.2.a Principe
Le principal inconvnient des mthodes prcdentes est le calcul du relvement qui
ncessite au minimum 3 points par panoramique. En utilisant les mesures image plutt
que le relvement, 3 points dappui par panoramique ne sont plus ncessaires. Les points
dappui peuvent tre rpartis le long dune ou plusieurs trajectoires et tre incorpors
dans la compensation. Le schma 10.2 explicite le processus.
Mesures de points Compensation de

dappui Mesure Image
Panoramiques recales
Panoramiques Recalage dIntersection
en absolu
Trajectoire Gestion de trajectoire
Figure 10.2 Principe de lutilisation des mesures images pour le recalage en absolu.

10.2. Utilisation de points dappui le long de la trajectoire
10.2.b Rsultats
La figure 10.3 prsente notre zone dtude pour valider notre algorithme. Les points
bleus reprsentent les 45 000 panoramiques et les sept zones de vrits terrain sont re-
prsentes en jaune. Ces zones sont des passages pitons qui ont t mesurs avec une
prcision centimtrique. Chaque passage piton est constitu dune vingtaine de points.
22
14 9
8
20
7
Figure 10.3 Zone dexprimentation pour lutilisation de points dappuis le long de la

trajectoire. En bleu, les panoramiques utilises, en jaune les zones dintrts.
Nous avons utilis notre algorithme sept fois, en prenant un des passages pitons en
contrle et les six autres en appui.
Deux variantes ont t ralises :
Variante 1 : les mesures images du passage piton de contrle ninterviennent pas dans
la compensation et les rsidus sont calculs en prenant les positions des panora-
miques aprs compensation.
Variante 2 : les mesures images du passage piton de contrle interviennent dans la
compensation, mais par leurs positions terrain qui sont dtermines dans le proces-
sus.
Le tableau 10.2 prsente les rsultats obtenus. Dans 70% des cas, nos deux algorithmes
amliorent la prcision de positionnement jusqu 40%. Par contre, pour les zones 7 et
8, nos algorithmes namliorent pas les rsultats. En tudiant ces 2 zones, on constate
quelles ne sont pas situes sur des intersections de trajectoires. Lalgorithme de recalage
na donc aucun effet.
La diffrence entre les algorithmes 1 et 2 est linclusion des mesures images dans la
compensation. Cela se constate dans le tableau 10.2 dans la colonne rsidus images : ils
sont plus faibles dans la variante 2, celle o les mesures sont inclues dans la compensation.
On constate aussi que cela une influence significative sur lcart-type en 3D. En effet,
pour toutes les zones, mme celles o la prcision en absolu est dgrade, lcart-type sur
les points est de lordre du centimtre.
Dans un contexte de production (restitution et/ou extraction de donnes), il est tout
fait envisageable deffectuer la saisie dobjets, puis deffectuer une phase de compensation

Chapitre 10. Recalage interne et externe de la trajectoire
Zone Rsidus 3D (m) Rsidus Images (pix) Solution

moyenne cart type moyenne cart type
0,42 0,054 12,49 7,27 Initiale
1 0,22 0,072 13,76 8,03 Variante 1
0,06 0,005 0,37 0,23 Variante 2
0,44 0,036 5,16 3,10 Initiale
7 0,70 0,038 5,57 3,13 Variante 1
0,59 0,007 0,43 0,27 Variante 2
0,23 0,055 18,46 8,77 Initiale
8 0,31 0,037 10,77 6,05 Variante 1
0,30 0,026 1,50 1,44 Variante 2
0,48 0,133 63,49 43,40 Initiale
9 0,25 0,024 10,01 7,38 Variante 1
0,23 0,011 0,73 0,59 Variante 2
0,84 0,096 7,28 5,03 Initiale
14 0,61 0,076 7,03 4,83 Variante 1
0,55 0,021 1,56 1,19 Variante 2
0,86 0,240 10,13 4,55 Initiale
20 0,68 0,157 9,11 3,12 Variante 1
0,31 0,017 0,37 0,25 Variante 2
0,83 0,218 47,22 27,7 Initiale
22 0,36 0,126 9,08 3,59 Variante 1
0,33 0,028 0,52 0,53 Variante 2
Table 10.2 Rsidus sur les zones de contrle terrain et image. Les zones sont celles
indiques sur la figure 10.3.
en incluant les mesures ralises afin damliorer la qualit de la saisie.

11. Conclusion sur lamlioration de trajectoire
Chapitre 11
Conclusion sur lamlioration de

trajectoire
11.1 Rcapitulatif des mthodes

Le tableau 11.1 prsente un rcapitulatif de toutes les mthodes prsentes ainsi que
les diffrentes manires de les combiner.
Par exemple, des fins de texturation sur un modle gorfrenc en absolu, on pourra
utiliser la technique qui utilise des points dappui le long de la trajectoire. La figure 11.1
prsente une texturation avant recalage (a) et aprs recalage (b). La zone en pointill
illustre un cart daltitude entre le modle et les images : le trottoir se retrouve projet
sur la faade, tandis quaprs le recalage, la texture dmarre au pied du btiment. La zone
en trait plein illustre un problme de recalage en planimtrie : un morceau du btiment
gauche se retrouve textur sur la btiment droit.
(a) (b)
Figure 11.1 Illustration de lintrt de recaler la trajectoire. (a) sans recalage et (b)
avec recalage.
11.2 Bilan
La principale faiblesse de toutes les mthodes prsentes prcdemment est la qualit
de la trajectoire fournie par le systme de positionnement. En effet, malgr les spcifica-
tions constructeurs, on constate que le systme peut driver fortement. Certains de ces

Chapitre 11. Conclusion sur lamlioration de trajectoire
Relv. Traj. M.Ap. 2 x 2 M.Im. Commentaires Prcision

Abs.(m) Rel.(m)
Solution Initiale 1,50 0,50
Permet de remettre les pa-
noramiques dans la gom-
1,00 0,50
trie du terrain avec seulement
quelques relevements
Idem que prcdemment avec
la cohrence interne assure 0,50 0,05
par le recalage intermdiaire.
Permet de mettre les donnes
en cohrence sans source ex- - 0,05
terne de donnes.
Permet de mettre les don-
nes en cohrence en relatif et
0,30 0,05
en absolu avec peu de points
dappui
Amliore la prcision rela-
tive et absolue sur des ob-
0,30 0,01
jets mesurs uniquement dans
limage
Permet une mise en cohrence
prcise des donnes sur une 0,01 -
toute petite zone
Table 11.1 Rcapitulatif des diffrentes techniques de recalages possibles. Relv. cor-
respond au processus de relvement, Traj. correspond la gestion de trajectoire, M.Ap.
correspond la mesure image sur des points dappui, 2 x 2 correspond au recalage 2x2
et M.Im. correspond la mesure image sur des points homologues dont les coordonnes
3D ne sont pas connues.
problmes, dus lalgorithme de calcul, sur lequel nous navons pas la main, peuvent
tre dtects lors dune phase de pr-traitement (utilisation de MNT par exemple) mais
dautres sont difficilement dtectables.
A cause de problmes de calcul de trajectoire qui empchent davoir une prcision
centimtrique, la stratgie qui consiste utiliser uniquement limage prsente dans la
partie III peut tre utilise.

Cinquime partie
Conclusion et perspectives

12. Conclusion
Chapitre 12
Conclusion
12.1 Contributions marquantes
Dans cette thse, plusieurs lments sont des contributions pour la communaut. Le
premier concerne la calibration des capteurs la fois de manire individuelle, et aussi de
faon combines. Le second concerne une succession de mthodes de recalages pouvant
tre utilises de manires individuelles et/ou combines. Le dernier concerne la gestion de
gros volume de donnes.
Calibration des capteurs Cette thse dtaille deux processus pour calibrer un v-
hicule de cartographie mobile. Le premier ncessite lintervention dun oprateur et un
site ddi tandis que le second fonctionne avec une aquisition traditionnelle. Ces proces-
sus ont des prcisions quivalentes et peuvent tre utiliss indiffremment ou de manire
complmentaire (mesures sur points dappui + mesures homologues). Ils ont lavantage
dutiliser une mise en quation cohrente avec le dispositif de mesure sans approximation
ni simplification.
Mthodes de recalages Dans la partie recalage, nous avons prsent diffrentes m-

thodes amliorant la prcision absolue de gorfrencement et des mthodes amliorant
la prcision relative. Les mthodes prsentes peuvent aussi se combiner dans le mme
processus ce qui permet de rpondre la plupart des besoins des usagers.
Gestion de gros Volumes de Donnes Dans la littrature, ce point est trs peu
abord. Beaucoup considre le passage lchelle comme un point non bloquant et facile
mettre en place. On peut citer [Agarwal et al., 2009] qui fait de la compensation par
faisceau avec des milliers dimages avec des ordinateurs de calculs de 32Go de RAM
(en 2009). Nous avons choisi de dvelopper des stratgies utilisables sur des ordinateurs
"traditionnels", sans architecture ni configuration particulires.

Chapitre 12. Conclusion
12.2 Points amliorer

A lissue de cette thse, il reste encore quelques points amliorer. Le premier concerne
la dtection des erreurs et leurs traitements, le second concerne lvaluation de la trajec-
toire.
Stratgies de dtection des erreurs Lors de la compensation par faisceaux, ds

quune erreur est dtecte sur un ensemble de mesures homologues, nous liminons le
groupe parce que nous avons suffisamment de mesures. Il faudrait dvelopper des stratgies
plus fines comme par exemple subdiviser un groupe de mesures errones en sous groupes,
puis les introduire nouveaux dans la compensation. Ainsi toutes les mesures correctes
seraient conserves.
Une seconde stratgie dvelopper est dutiliser des lois de pondration dans le calcul.
Par exemple, si une mesure est considre comme potentiellement fausse, un poids plus
faible pourrait lui tre attribu plutt que de lliminer purement du calcul.
valuation de la trajectoire Le plus grand problme de notre travail est le calcul de

la trajectoire. En effet, celui ci est effectu par un logiciel propritaire qui possde peu de
paramtres et dont les algorithmes ne sont pas connus de manire prcise. De plus, les
prcisions indiques tant peu fiables, cela ne permet pas de les utiliser sereinement. Nous
ne pouvons donc pas savoir priori ou sont les zones de faiblesses (i.e. zones de prcisions
dgrades) afin dutiliser nos algorithmes.

13. Perspectives
Chapitre 13
Perspectives
Nous allons finir ce manuscrit avec quelques perspectives ce travail de thse. La

premire concerne lamlioration du calcul de trajectoire en utilisant limage. La seconde
prsente une mthode permettant dutiliser des techniques de compensation la fois locale
et globale afin de raliser les calculs sur une ville entire.
13.1 Amlioration du processus de calcul de trajectoire

A plusieurs reprises, nous avons constat que le principal dfaut du systme de po-
sitionnement est de ne pas grer les passages multiples sur une mme zone. En effet les
capteurs GPS, inertielle et dodomtrie ne peuvent pas mesurer cette information. Par
contre, comme nous lavons dmontr dans la partie IV, lajout dinformations aux zones
de passages multiples amliore grandement la prcision de la trajectoire. Dans notre thse,
nous effectuons cette correction en utilisant la trajectoire dj calcule, cest dire aprs
une tape de fusion de donnes. Une perspective est dutiliser limage part entire lors
du calcul de trajectoire dans un algorithme de fusion de donnes. Certains travaux, no-
tamment dans la robotique, utilisent en partie cette information comme [Lhuillier, 2011]
et [Lhuillier, 2012]. "En partie" parce que ces travaux utilisent une trajectoire issue du
post-traitement de donnes GPS mais pas les donnes brutes. Ce post-traitement filtre
les erreurs dues aux multi-trajets, fixe les ambiguts mais peut comporter des erreurs.
Une piste intressante serait de faire de la fusion de donnes avec tous les capteurs (GPS,
INS, odomtre et camras) dans un seul et mme processus. Cela permettrait dvaluer
les multi-trajets GPS et les fautes des autres capteurs de manire simultane ce qui se
traduit par une meilleure fiabilit des rsultats. Le schma 13.1 propose un systme idal
la fois destimation de pose et de calcul de trajectoire.

Chapitre 13. Perspectives
GPS2 Cap Odomtre
GPS1 Filtre de Kalman
Centrale Inertielle Contrle derreur Calculs de poses relatives
Dtection de
Navigation Inertielle
zones communes
Solution ltape i
Figure 13.1 Systme idal destimation de pose et de calcul de trajectoire.
13.2 Passage lchelle

Dans la partie III, nous avons prsent un ensemble de mthodes pour traiter de grands
volumes de donnes pour faire de la compensation par faisceaux. Malheureusement, pour
une ville comme Paris par exemple, le systme ne pourra pas tre minimis dans un mme
processus parce quil y a trop dinconnues (500 000 panoramiques ce qui fait 3 millions
dinconnues). En sinspirant du travail fait dans la partie IV, on peut mettre en place des
stratgies de dcoupages pour compenser les sous ensembles, appels blocs, de manires
spares (cf figure 13.2). Ensuite dans une seconde tape, chaque bloc sera compens
dans un processus, avec pour objets de liaisons qui peuvent tre des points, mais aussi des
panoramiques communes plusieurs blocs. Lavantage dutiliser la panoramique comme
objet de liaison est davoir une information dorientation par rapport au point. La figure
13.2 prsente le fonctionnement dun tel systme.
Compensation de blocs
Chantier
Bloc 1 Bloc 2 Bloc N

Compensation par faisceaux
Pano 1 Pano i Pano N Pano j Pano M
Point 1 Point i Point N
Figure 13.2 Principe de la compensation par blocs.

13.3. Utilisation de primitives
13.3 Utilisation de primitives

Dans cette thse nous avons seulement utilis des points dappui. Aujourdhui, de plus
en plus de travaux sont fait pour extraire des objets caractristiques (passages pitons,
poteaux, bords de trottoirs... cf sous section 2.2.c.ii {page 14}) partir des donnes Li-
DaR. On pourrait donc inclure directement ces objets extraits avec leurs prcisions dans
la mthode de compensation. Il y aura une amlioration de la prcision interne, le proces-
sus ayant le mme fonctionnement que 10.2 {page 144} : utilisation de mesures images,
utilisation dintersections et utilisation de trajectoires. On pourra galement utiliser lin-
formation gomtrique issue de modle 3D et de bases de donnes.

Chapitre 13. Perspectives

BIBLIOGRAPHIE
Bibliographie
Agapito, L., Hayman, E., Reid, I., 2001. Self-Calibration of Rotating and Zooming Ca-
meras. International Journal of Computer Vision 45 (2), 107127. Cit page 40
Agarwal, S., Snavely, N., Simon, I., Seitz, S. M., Szeliski, R., 2009. Building Rome in
a day. In : Proceedings of the Twelve International Conference on Computer Vision.
ICCV 09. IEEE Computer Society, pp. 7279. Cit page 151
Ahn, S., Schultes, M., 1997. A new circular coded target for the automation of photo-
grammetric 3D-surface measurements. In : Optical 3-D Measurement Techniques IV :
Applications in architecture, quality control, robotics, navigation, medical imaging and
animation. Zrich, Suisse, pp. 225234. Cit page 62
Alvarez, L., Gmez, L., Sendra, J. R., Sep. 2009. An Algebraic Approach to Lens Distor-
tion by Line Rectification. Journal of Mathematical Imaging and Vision 35 (1), 3650.
Cit page 39
Ameller, M.-A., Quan, L., Triggs, B., 2002. Le calcul de pose : de nouvelles mthodes
matricielles. In : Reconnaissance des Formes et Intelligence Artificielle. Vol. 1. Angers,
France, pp. 3947. Cit page 39
Anguelov, D., Dulong, C., Filip, D., Frueh, C., Lafon, S., Lyon, R., Ogale, A., Vincent, L.,
Weaver, J., 2010. Google Street View : Capturing the World at Street Level. Computer
43 (6), 3238. Cit pages 2, 5, 10 et 129
Applanix, 2012. POSLV Specifications. Trimble. Cit page 16
Arlicot, A., Soheilian, B., Paparoditis, N., 2009. Circular Road Sign Extraction from Street
Level Images using Colour, Shape and Texture Database Maps. International Archives
of Photogrammetry, Remote Sensing and Spatial Information Sciences XXXVIII (Part
3/W4), 205210. Cit page 14
Arya, S., Mount, D. M., Netanyahu, N. S., Silverman, R., Wu, A. Y., 1994. An Optimal
Algorithm for Approximate Nearest Neighbor Searching in Fixed Dimensions. In : Pro-
ceedings of the Fifth Annual ACM-SIAM Symposium on Discrete Algorithms. ACM,
pp. 573582. Cit page 87
Barlier, F., 2008. Galileo, Un enjeu stratgique scientifique et technique. Perspectives

stratgiques. LHarmattan. Cit page 2
Bay, H., Ess, A., Tuytelaars, T., van Gool, L., June 2008. Speeded-up Robust
Features (SURF). Computer Vision and Image Understanding 110 (3), 346359.
Cit pages 84 et 86

BIBLIOGRAPHIE
Bay, H., Tuytelaars, T., van Gool, L., 2006. Surf : Speeded up robust features. In : ECCV.
pp. 404417. Cit page 84
Bayer, R., 1971. Binary B-trees for virtual memory. In : Proceedings of the 1971 ACM
SIGFIDET (now SIGMOD) Workshop on Data Description, Access and Control. SIG-
FIDET 71. ACM, New York, NY, USA, pp. 219235. Cit page 97
Beardsley, P., Murray, D. W., 1992. Camera Calibration Using Vanishing Points. In :
BMVC. Leeds, Royaume-Uni. Cit page 40
Bnitez, S., Denis, E., Baillard, C., 2010. Automatic Production of Occlusion-Free Recti-
fied Facade Textures Using Vehicle-Based Imagery. In : Proc. of the ISPRS Commission
III PCVIA. Paris, France, pp. 275280. Cit page 2
Bentrah, O., Paparoditis, N., Pierrot-Deseilligny, M., 2004. Stereopolis : an image ba-
sed environments modeling system. In : International Symposium on Mobile Mapping
Technology. Kunming, Chine. Cit page 8
Bernardini, F., Bajaj, C. L., 1997. Sampling and Reconstructing Manifolds Using Alpha-
Shapes. In : Proceeedings of the Ninth Canadian Conference on Computational Geo-
metry. Cit page 130
Boser, B. E., Guyon, I. M., Vapnik, V. N., 1992. A training algorithm for optimal mar-
gin classifiers. In : Proceedings of the fifth annual ACM workshop on Computational
Learning Theory. ACM Press, pp. 144152. Cit page 93
Bradski, G., 2000. The OpenCV Library. Dr. Dobbs Journal of Software Tools.
Cit page 34
Breiman, L., 1984. Classification and regression trees. Wadsworth International Group,
Belmont, tats-Unis. Cit page 93
Breiman, L., Oct. 2001. Random Forests. Machine Learning 45 (1), 532. Cit page 93
Brown, D. C., 1971. Close-range camera calibration. Photogrammetric Engineering 37 (8),

855866. Cit pages 34 et 39
Cannelle, B., Paparoditis, N., Boldo, D., Sep. 2010. Panorama-based camera calibration.
In : International Archives of Photogrammetry, Remote Sensing and Spatial Information
Sciences. Vol. XXXVIII (Part 3 A). pp. 7378. Cit page 41
Cannelle, B., Paparoditis, N., Papelard, J.-P., 2011. Calibration de camra par acquisition
de type panoramique. Revue Franaise de Photogrammtrie et de Tldtection 2 (194),
1624. Cit page 41
Caprile, B., Torre, V., 1990. Using vanishing points for camera calibration. International
Journal of Computer Vision 4, 127139. Cit page 40
Carto3D, 2012. Carto 3D - cartographie 3D en ligne - IGN et Virtuel City.

http ://www.carto3d.fr/, acced le : 08/10/2012. Cit page 2
CATIA, 2013. CATIA - logiciel de conception CAO 3D - Dassault Systmes. http://

www.3ds.com/fr/products/catia/, acced le : 20/01/2013. Cit page 55

BIBLIOGRAPHIE
Chang, C.-C., Lin, C.-J., May 2011. LIBSVM : A library for support vector ma-
chines. ACM Transactions on Intelligent Systems and Technology 2 (3), 27 :127 :27.
Cit page 93
Clarke, T. A., Fryer, J. G., 1998. The Development of Camera Calibration Methods and
Models. The Photogrammetric Record 16 (91), 5166. Cit page 31
Cormen, T. H., Stein, C., Rivest, R. L., Leiserson, C. E., 2001. Introduction to Algorithms,
2nd edition. McGraw-Hill Higher Education. Cit page 89
Cortes, C., Vapnik, V., Sep. 1995. Support-Vector Networks. Machine Learning 20 (3),
273297. Cit page 93
Craciun, D., 2010. Numrisation conjointe image/laser pour modlisation 3D des envi-
ronnements complexes construits ou habits. Thse de Doctorat, Telecom Paris Tech.
Cit page 53
Cramer, M., Stallmann, D., 2002. System Calibration for Direct Georeferencing.
In : ISPRS Comm. III Symposium Photogrammetric Computer Vision. pp. 913.
Cit page 56
Crowley, J. L., Parker, A. C., Feb. 1984. A Representation for Shape Based on Peaks
and Ridges in the Difference of Low-Pass Transform. IEEE Transactions on Pattern
Analysis and Machine Intelligence 6 (2), 156170. Cit pages 84 et 86
Cuthill, E., McKee, J., 1969. Reducing the bandwidth of sparse symmetric matrices. In :
Proceedings of the 1969 24th national conference. ACM 69. ACM, New York, NY, E.U,
pp. 157172. Cit pages 104 et 133
Da, T. K. F., Yvinec, M., 2012. 3D Alpha Shapes. In : CGAL User and Reference Manual,
4.0 edition. CGAL Editorial Board. Cit pages 130 et 131
Datta, A., Kim, J., Kanade, T., 2009. Accurate camera calibration using iterative refi-
nement of control points. International Conference on Computer Vision, 12011208.
Cit page 40
Delaunay, B. N., 1934. Sur la sphre vide. Bulletin of Academy of Sciences of the USSR,
793800. Cit page 130
Demantk, J., Vallet, B., Paparoditis, N., 2012. Streamed Vertical Rectangle Detection
in Terrestrial Laser Scans for Facade Database Production. International Archives
of Photogrammetry, Remote Sensing and Spatial Information Sciences I(3), 99104.
Cit page 14
Devaux, A., Paparoditis, N., Octobre 2010. Increasing Interactivity in Street View Web
Navigation Systems. In : ACM Multimedia. Florence, Italie. Cit pages 2, 6 et 14
Devaux, A., Paparoditis, N., Bredif, M., 2012. A Web-Based 3D Mapping Application
using WebGL allowing Interaction with Images, Point Clouds and Models. In : ACM
SIGSPATIAL GIS. Redondo Beach, E.U., pp. 69. Cit page 2
Devaux, A., Paparoditis, N., Precioso, F., Cannelle, B., may 2009. Face Blurring for
Privacy in Street-level Geoviewers Combining Face, Body and Skin Detectors. In : MVA
IAPR Conference on Machine Vision Applications. Yokohama, Japan. Cit page 14

BIBLIOGRAPHIE
Devernay, F., Faugeras, O., 2001. Straight lines have to be straight : automatic calibration
and removal of distortion from scenes of structured enviroments. Machine Vision and
Applications 13 (1), 1424. Cit page 39
Duquenne, F., Botton, S., Peyret, F., Btaille, D., Willis, P., 2005. GPS - localisation et
navigation par satellites. Herms, Paris, France. Cit pages 2 et 16
Eberhardt, H., Klumpp, V., Hanebeck, U., 2010. Density trees for efficient nonlinear
state estimation. In : Information Fusion (FUSION), 2010 13th Conference on. pp. 18.
Cit page 86
Edelsbrunner, H., Mcke, E. P., 1994. Three-dimensional alpha shapes. ACM Transactions
on Graphics 13 (1), 4372. Cit page 130
El-Sheimy, N., 1996. A Mobile Multi-Sensor System for GIS Applications in Urban Cen-
ters. International Archives of Photogrammetry, Remote Sensing and Spatial Informa-
tion Sciences XXXI, 95100. Cit pages 3 et 56
Ellum, C., El-Sheimy, N., 2002. Land-Based Mobile Mapping Systems. Photogrammetric
Engineering and Remote Sensing 68 (1), 1317. Cit page 3
Esquivel, S., Woelk, F., Koch, R., 2007. Calibration of a multi-camera rig from non-
overlapping views. In : Proceedings of the 29th Deutsche Arbeitsgemeinschaft fr
Mustererkennung Conference on Pattern Recognition. Berlin, Heidelberg, pp. 8291.
Cit page 57
Farrell, J., Barth, M., 1999. The Global positioning system and inertial navigation.
McGrawHill. Cit page 15
Faugeras, O., Luong, Q., Maybank, S., 1992. Camera self-calibration : Theory and ex-
periments. In : European Conference on Computer Vision. Vol. 588. Santa Margherita
Ligure, Italie, pp. 321334. Cit page 40
Fraser, C., 1997. Digital camera self-calibration. ISPRS Journal of Photogrammetry and
Remote Sensing 52 (4), 149159. Cit pages 34 et 39
Friedman, J. H., Bentley, J. L., Finkel, R. A., Sep. 1977. An Algorithm for Finding Best
Matches in Logarithmic Expected Time. ACM Transactions on Mathematical Software
3 (3), 209226. Cit pages 86 et 87
GALILEO, 2012. European Spacial Agency. http://www.esa.int/esaNA/galileo.

html, acced le : 08/10/2012. Cit page 2
Gandolfi, S., Barbarella, M., Ronci, E., Burchi, A., 2008. Close photogrammetry and laser
scanning using a mobile mapping system for the high detailed survey of a high den-
sity area. In : International Archives of Photogrammetry, Remote Sensing and Spatial
Information Sciences. Pkin, Chine, pp. 909914. Cit page 3
Gauglitz, S., Hllerer, T., Turk, M., Sep. 2011. Evaluation of Interest Point Detectors
and Feature Descriptors for Visual Tracking. International Journal of Computer Vision
94 (3), 335360. Cit page 84

BIBLIOGRAPHIE
Gauss, C., Bertrand, J., 1855. Mthode des moindres carrs : Mmoires sur la combinaison
des observations. Mallet-Bachelier. Cit page 24
Geiger, A., Lenz, P., Urtasun, R., 2012. Are we ready for Autonomous Driving ? The
KITTI Vision Benchmark Suite. In : Computer Vision and Pattern Recognition
(CVPR). Providence, tats-Unis. Cit pages 3 et 11
George, A., Gilbert, J., Liu, J., 1993. Graph theory and sparse matrix computation. IMA
volumes in mathematics and its applications. Springer-Verlag. Cit page 133
Gervautz, M., Purgathofer, W., 1990. Graphics gems. Academic Press Professional, Inc.,
San Diego, CA, USA, Ch. A simple method for color quantization : octree quantization,
pp. 287293. Cit page 86
Gibbs, N. E., Poole, Jr., W. G., Stockmeyer, P. K., Dec. 1976. A Comparison of Several
Bandwidth and Profile Reduction Algorithms. ACM Transactions on Mathematical
Software 2 (4), 322330. Cit page 133
GLONASS, 2012. Federal Space Agency Information-analytical centre. http://www.

glonass-ianc.rsa.ru/en/, acced le : 08/10/2012. Cit page 2
Gontran, H., Skaloud, J., Gilliron, P.-Y., 2005. Photobus on its Way to Real-time Map-
ping. GIS Development Middle East 1 (1). Cit page 3
Google, 2012. Street View ( Google ). http://maps.google.fr/intl/fr/help/maps/

streetview/, acced le : 08/10/2012. Cit pages 2 et 6
Gouet, V., Montesinos, P., Deriche, R., Pel, D., 2000. Evaluation de dtecteurs de points
dintrt pour la couleur. In : Reconnaissance des formes et Intelligence Artificielle
(RFIA2000). Vol. II. Paris, France, pp. 257266. Cit page 84
Goulette, F., Nashashibi, F., Abuhadrous, I., Ammoun, S., Laurgeau, C., 2006. An Inte-
grated On-Board Laser Range Sensing System for On-the-Way City and Road Model-
ling. International Archives of Photogrammetry, Remote Sensing and SpatialInforma-
tion Sciences XXXIV. Cit page 3
GPS, 2012. Official U.S. Government information about the Global Positioning System
and related topics. http://www.gps.gov/, acced le : 08/10/2012. Cit page 2
Grejner-Brzezinska, D. A., 1996. Positioning Accuracy of the GPSVan. In : Proceedings of

the 52nd Annual Meeting of The Institute of Navigation. Cambridge, E.U., pp. 657665.
Cit page 3
Gressin, A., Cannelle, B., Mallet, C., Papelard, J.-P., 2012. Trajectory-based Registration
of 3D LIDAR Point Clouds Acquired with a Mobile Mapping Systems. International
Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences I(3),
117122. Cit page 14
Grossberg, M. D., Nayar, S. K., 2005. The Raxel Imaging Model and Ray-Based Calibra-
tion. International Journal of Computer Vision 61 (2), 119137. Cit page 33
Guennebaud, G., Jacob, B., et al., 2010. Eigen v3. http ://eigen.tuxfamily.org.
Cit pages 134 et 178

BIBLIOGRAPHIE
Habib, A., Kersting, A. P., Bang, B., Rau, J., 2011. A Novel Single-Step Procedure for the
Calibration of the Mounting Parameters of a Muti-Camera Terrestrial Mobile Mapping
System. In : Archives of Photogrammetry, Cartography and Remote Sensing. Vol. 22.
pp. 173195. Cit page 57
Harris, C., Stephens, M., 1988. A combined corner and edge detector. In : In Proc. of
Fourth Alvey Vision Conference. pp. 147151. Cit page 83
Hartley, R., 1994. Self-calibration from multiple views with a rotating camera. In :
ECCV 94 : Proceedings of the third European conference on Computer vision (vol.
1). Springer-Verlag New York, Inc., Secaucus, E.U., pp. 471478. Cit page 40
Hartley, R. I., Trumpf, J., Dai, Y., Li, H., 2013. Rotation Averaging. International Journal
of Computer Vision 103 (3), 267305. Cit page 57
Hartley, R. I., Zisserman, A., 2004. Multiple View Geometry in Computer Vision, Second
edition. Cambridge University Press. Cit page 34
Haugeard, J.-E., Philipp-Foliguet, S., Precioso, F., 2009. Windows and Facades Retrieval
using Similarity on Graph of Contours. In : IEEE International Conference on Image
Processing (ICIP 09). Cit page 14
Heikkil, J., 2000. Geometric camera calibration using circular control points. IEEE
Transactions on Pattern Analysis and Machine Intelligence 22 (10), 10661077.
Cit pages 34 et 39
IGN, 2013. BATI-3D | IGN - Espace professionnel. http ://professionnels.ign.fr/bati-3d,

acced le : 05/01/2013. Cit page 7
Immergis, 2013. Immergis - Mettez de la ralit dans vos donnes.

http ://www.immergis.fr/, acced le : 25/01/2013. Cit page 2
Kalman, R. E., 1960. A New Approach to Linear Filtering and Prediction Problems.
Transactions of the ASME Journal of Basic Engineering 82, 3545. Cit page 15
Karren, R., 1968. Camera calibration by the multicollimator method. Photogrammetric

Engineering, 706719. Cit page 39
Kenner, H., 1976. Geodesic Math and How to Use It. Dome Series. University of California
Press. Cit page 45
Kersting, A. P., Habib, A., Rau, J., 2012. New method for the calibration of multi-camera
mobile mapping system. International Archives of Photogrammetry, Remote Sensing
and Spatial Information Sciences XXXIX (Part B 1), 121126. Cit page 57
Knuth, D. E., 1975. Sorting and searching. Addison-Wesley Upper Saddle River, NJ [u.a.].
Cit page 97
Kumar, R., Ilie, A., Frahm, J.-M., Pollefeys, M., 2008. Simple calibration of non-
overlapping cameras with a mirror. In : Computer Vision and Pattern Recognition.
Anchorage, tats-Unis. Cit page 57

BIBLIOGRAPHIE
Lavest, J.-M., Viala, M., Dhome, M., 1998. Do We Really Need an Accurate Calibra-
tion Pattern to Achieve a Reliable Camera Calibration ? In : European Conference on
Computer Vision. Fribourg, Allemagne, pp. 158174. Cit pages 34, 39 et 40
Lbraly, P., Ait-Aider, O., Royer, E., Dhome, M., 2011. Comment calibrer extrinsquement
des camras champs non-recouvrants ? Application pour un robot mobile. In : ORA-
SIS - Congrs des jeunes chercheurs en vision par ordinateur. Praz-sur-Arly, France.
Cit page 57
Lehman, P. L., Yao, s. B., Dec. 1981. Efficient locking for concurrent operations on B-trees.
ACM Transactions on Database Systems 6 (4), 650670. Cit page 97
Levenberg, K., 1944. A method for the solution of certain problems in least squares. Quart.
Applied Math. 2, 164168. Cit pages 63, 69 et 104
Lhuillier, M., 2011. Fusion of GPS and structure-from-motion using constrained bundle
adjustments. In : Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Confe-
rence on. pp. 30253032. Cit page 153
Lhuillier, M., 2012. Incremental Fusion of Structure-from-Motion and GPS Using

Constrained Bundle Adjustments. IEEE Transactions on Pattern Analysis and Ma-
chine Intelligence 34 (12), 24892495. Cit page 153
Li, M., Lavest, J.-M., 1995. Some Aspects of Zoom-Lens Camera Calibration.
IEEE Transactions on Pattern Analysis and Machine Intelligence 18, 11051110.
Cit pages 34 et 40
Liberge, S., Soheilian, B., Chehata, N., Paparoditis, N., 2010. Extraction of vertical posts
in 3D laser point clouds acquired in dense urban areas by a mobile mapping system.
International Archives of Photogrammetry, Remote Sensing and Spatial Information
Sciences XXXVIII (Part 3B), 126130. Cit page 14
Lourakis, M. I., Deriche, Rachid, D., 2000a. Camera Self-Calibration Using the Kruppa
Equations and the SVD of the Fundamental Matrix : The Case of Varying Intrinsic
Parameters. Rapport de recherche 3911, INRIA. Cit page 40
Lourakis, M. I. A., Deriche, R., 2000b. Camera Self-Calibration Using the Singular Value
Decomposition of the Fundamental Matrix : From Point Correspondences to 3D Mea-
surements. In : Asian Conference on Computer Vision. Taipei, Tawan, pp. 403408.
Cit page 39
Lowe, D. G., 2004. Distinctive Image Features from Scale-Invariant Keypoints. Interna-
tional Journal of Computer Vision 60 (2), 91110. Cit pages 50, 84, 86 et 87
Marquardt, D. W., 1963. An Algorithm for Least-Squares Estimation of Non-

linear Parameters. SIAM Journal on Applied Mathematics 11 (2), 431441.
Cit pages 63, 69 et 104
Matas, J., Chum, O., Urban, M., Pajdla, T., 2004. Robust wide-baseline stereo from
maximally stable extremal regions. Image and Vision Computing 22 (10), 761767.
Cit page 84

BIBLIOGRAPHIE
McGlone, J., Mikhail, E., Bethel, J., Mullen, R., 2004. Manual of photogramme-
try (5th Edition). American Society for Photogrammetry and Remote Sensing.
Cit pages 1, 31, 32 et 58
Mikolajczyk, K., Schmid, C., 2002. An affine invariant interest point detector. In : In
Proceedings of the 7th European Conference on Computer Vision. pp. 07. Cit page 84
Mikolajczyk, K., Schmid, C., 2004. Scale and affine invariant interest point detectors.
International Journal of Computer Vision 60 (1), 6386. Cit page 84
Mikolajczyk, K., Schmid, C., 2005. A performance evaluation of local descriptors.

IEEE Transactions on Pattern Analysis and Machine Intelligence 27 (10), 16151630.
Cit page 86
Mikolajczyk, K., Tuytelaars, T., Schmid, C., Zisserman, A., Matas, J., Schaffalitzky, F.,
Kadir, T., van Gool, L., 2005. A comparison of affine region detectors. International
Journal of Computer Vision 65, 2005. Cit page 84
Monnier, F., Vallet, B., Paparoditis, N., Papelard, J.-P., David, N., 2013. Recalage
Non-Rigide de Donnes Laser de Cartographie Mobile sur une Base de Donnes 3D
Gographiques. Revue Franaise de Photogrammtrie et de Tldtection A paraitre.
Cit page 14
Monnier, F., Vallet, B., Soheilian, B., 2012. Trees Detection from Laser Point Clouds
Acquired in dense Urban Areas by a Mobile Mapping System. In : ISPRS Archives
of Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume I-3 .
Melbourne, Australie, pp. 245250. Cit page 14
Moore, E. F., 1959. The shortest path through a maze. In : Proceedings of the International
Symposium on the Theory of Switching, and Annals of the Computation Laboratory
of Harvard University. Harvard University Press, pp. 285292. Cit page 133
Moravec, H., 1977. Towards automatic visual obstacle avoidance. In : Proceedings of

the 5th international joint conference on Artificial intelligence - Volume 2. IJCAI77.
Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, pp. 584584. Cit page 83
Moravec, H., Aug. 1979. Visual Mapping by a Robot Rover. In : Proceedings of the 6th
International Joint Conference on Artificial Intelligence. pp. 599601. Cit page 83
Morel, J.-M., Yu, G., Apr. 2009. ASIFT : A New Framework for Fully Affine Invariant
Image Comparison. SIAM J. Img. Sci. 2 (2), 438469. Cit page 86
Mount, D. M., Arya, S., 2013. ANN. http://www.cs.umd.edu/~mount/ANN/, acced le :

07/01/2013. Cit page 87
Muja, M., Lowe, D. G., 2009. Fast Approximate Nearest Neighbors with Automatic Al-
gorithm Configuration. In : International Conference on Computer Vision Theory and
Application VISSAPP09). INSTICC Press, pp. 331340. Cit page 87
Nakariakov, S., 2013. The Boost C++ Libraries : Generic Programming. CreateSpace
Independent Publishing Platform. Cit page 178

BIBLIOGRAPHIE
Paparoditis, N., Bentrah, O., Pnard, L., Tournaire, O., Soheilian, B., Deveau, M., 2005.
Automatic 3D Recording and Modeling of Large Scale Cities : the Archipolis Project.
In : Recording, modeling and visualization of cultural heritage. Baltsavias, M., Gruen,
A., Van Gool, L., Pateraki, M., (Eds.), Modelling and Visualization of Cultural Heritage,
Ascona, Suisse, pp. 227235. Cit pages 3 et 8
Paparoditis, N., Papelard, J.-P., Cannelle, B., Devaux, A., Soheilian, B., David, N., Hou-
zay, E., 2012. Stereopolis II : A multi-purpose and multi-sensor 3D mobile mapping
system for street visualisation and 3D metrology. Revue Franaise de Photogrammtrie
et de Tldtection 200, 6979. Cit pages 3, 6 et 8
Paparoditis, N., Souchon, J.-P., Martinoty, G., Pierrot-Deseilligny, M., 2006. High-end
aerial digital cameras and their impact on the automation and quality of the production
workflow. ISPRS Journal of Photogrammetry and Remote Sensing 60 (6), 400412.
Cit page 39
Parian, J. A., Gruen, A., 2010. Sensor modeling, self-calibration and accuracy testing of
panoramic cameras and laser scanners. ISPRS Journal of Photogrammetry and Remote
Sensing 65 (1), 6076. Cit pages 34 et 40
Park, S.-W., Hong, K.-S., 2001. Practical ways to calculate camera lens distortion for
real-time camera calibration. Pattern Recognition 34 (6), 11991206. Cit page 40
Peter, K., Schwarz, P., El-sheimy, N., 2004. Mobile Mapping Systems State Of The Art
And Future Trends. In : XXXV, Part B1. p. 5. Cit page 3
Petrie, G., 2009. Systematic Oblique Aerial Photography using Multiple Digital Frame Ca-
meras. Photogrammetric Engineering and Remote Sensing 75 (2), 102107. Cit page 1
Petrie, G., Jan. 2010. An Introduction to the Technology Mobile Mapping Systems. GEO-
Informatics 13, 3243. Cit page 4
Pierrot-Deseilligny, M., Clry, I., 2011. APERO, an Open Source Bundle Adjusment Soft-
ware for Automatic Calibration and Orientation of a Set of Images. In : Proc. of the
ISPRS Commission V Symposium, Image Engineering and Vision Metrology. Vol. 38.
Trento, Italie. Cit pages 34 et 40
Pissanetzky, S., 1984. Sparse matrix technology. Academic Press. Cit page 132
PostGIS, 2012. PostGIS. http://postgis.refractions.net/, acced le : 20/12/2012.

Cit page 96
PostgreSQL, 2012. PostgreSQL. http://www.postgresql.org/, acced le : 20/12/2012.

Cit page 96
Puente, I., Gonzlez-Jorge, H., Arias, P., Armesto, J., 2011. Land-Based Mobile Laser
Scanning Systems : a review. International Archives of Photogrammetry, Remote Sen-
sing and Spatial Information Sciences XXXVIII (Part 5/W12). Cit page 4
Pnard, L., Paparoditis, N., Pierrot-Deseilligny, M., 2005. 3D building facade reconstruc-
tion under mesh form from multiple wide angle views. In : 3D ARCH. ISPRS WG V/4
workshop, Venice, Italie. Cit page 8

BIBLIOGRAPHIE
Qi, H., Moore, J., apr 2002. Direct Kalman filtering approach for GPS/INS integration.
Aerospace and Electronic Systems, IEEE Transactions on 38 (2), 687693. Cit page 15
Rau, J., Habib, A., Kersting, A. P., Chiang, K.-W., Bang, K.-I., Tseng, Y.-H., Li, Y.-
H., 2011. Direct Sensor Orientation of a Land-Based Mobile Mapping System. Sensors
11 (7), 72437261. Cit page 57
Riegl, 2012. RIEGL VMX-450. http ://www.riegl.com/nc/products/mobile-

scanning/produktdetail/product/scannersystem/10/. Cit page 5
Riegl, 2013. RIEGL LMS-Q120. http ://www.riegl.com. Cit page 4
Rosten, E., Drummond, T., 2006. Machine learning for high-speed corner detection. In :
In European Conference on Computer Vision. pp. 430443. Cit page 84
Rosten, E., Porter, R., Drummond, T., 2010. FASTER and better : A machine learning
approach to corner detection. IEEE Transactions on Pattern Analysis and Machine
Intelligence 32, 105119. Cit page 84
Samet, H., Webber, R. E., Jul. 1985. Storing a collection of polygons using quadtrees.
ACM Transactions on Graphics 4 (3), 182222. Cit page 86
Schaer, P., Skaloud, J., Vallet, J., 2003. Gorfrencement direct des images par GPS/INS
Approche rigoureuse pour le calibrage des excentricits angulaires (boresight calibra-
tion). Gomatique Suisse, 440445. Cit page 57
Schmid, H., 1959. A General Analytical Solution to the Problem of Photogrammetry.

Tech. Rep. 1065, Ballistic Research Laboratories, US. Cit pages 32 et 58
Scholkopf, B., Smola, A. J., 2001. Learning with Kernels : Support Vector Machines, Regu-
larization, Optimization, and Beyond. MIT Press, Cambridge, MA, USA. Cit page 93
Schware, K., El-Sheimy, N., Li, R., Chapman, M., Cosandier, D., 1993. VIASAT - A mobile
highway survey system of high accuracy. In : Proceedings of the IEEE-IEE,Vehicle
Navigation and Information Systems Conference. Piscataway, New Jersey, tats-Unis,
pp. 476481. Cit page 3
Schwarz, K., Chapman, M., Cannon, M., Gong, P., 1993. An integrated INS/GPS ap-
proach to the georeferencing of remotely sensed data. Photogrammetric Engineering
and Remote Sensing 59 (11), 16671674. Cit page 3
Serna, A., Marcotegui, B., 2013. Urban accessibility diagnosis from mobile laser scanning
data. ISPRS Journal of Photogrammetry and Remote Sensing 84, 2332. Cit page 14
Siek, J., Lee, L.-Q., Lumsdaine, A., Dec. 2001. The Boost Graph Library : User Guide and
Reference Manual (C++ In-Depth Series). Addison-Wesley Professional. Cit page 133
Sillard, P., 2001. Estimation par moindres carrs. ENSG IGN. Herms science publica-
tions, Paris. Cit page 125
SIRADEL, 2012. SIRADEL. http ://www.siradel.com/, acced le : 08/10/2012.

Cit page 2

BIBLIOGRAPHIE
Siteco, 2012. Road-Scanner Mapping Mobile System.

http ://www.sitecoinf.it/index.php/en/solutions/road-scanner-eng. Cit page 5
Sloan, S. W., 1986. An algorithm for profile and wavefront reduction of sparse ma-
trices. International Journal for Numerical Methods in Engineering 23 (2), 239251.
Cit page 133
Smith, S. M., Brady, J. M., 1995. SUSAN - A New Approach to Low Level Image Pro-
cessing. International Journal of Computer Vision 23, 4578. Cit page 84
Soheilian, B., 2008. Roadmark reconstruction from stereo-images acquired by a ground-

based mobile mapping system. Thse de Doctorat, Universit Paris-Est. Cit page 14
Soheilian, B., Paparoditis, N., Boldo, D., 2010. 3D road marking reconstruction from
street-level calibrated stereo pairs. ISPRS Journal of Photogrammetry and Remote
Sensing 64 (4), 347359. Cit pages 8 et 14
Souchon, J.-P., Thom, C., Meynard, C., Martin, O., 2012. A large format camera system
for national mapping purposes. Revue Franaise de Photogrammtrie et de Tldtec-
tion 200, 4853. Cit page 8
Spinello, L., Arras, K. O., Triebel, R., Siegwart, R., 2010. A Layered Approach to People
Detection in 3D Range Data. In : AAAI National Conference on Artificial Intelligence.
Atlanta, E.U. Cit page 14
StreetMapper, 2012. The worlds most accurate mobile laser mapping system with 360-
degree vision. http ://www.streetmapper.net/streetmapper/brochure.htm. Cit page 5
Streetside, 2012. Streetside ( Microsoft Bing Maps ). http://www.microsoft.com/maps/

fr-FR/streetside.aspx, acced le : 08/10/2012. Cit page 2
Sturm, P., Ramalingam, S., May 2004. A Generic Concept for Camera Calibration. In : Eu-
ropean Conference on Computer Vision. Vol. 2. Springer, Prague, Rpublique Tchque,
pp. 113. Cit page 33
Sturm, P., Ramalingam, S., Tardif, J.-P., Gasparini, S., Barreto, J., 2011. Camera Mo-
dels and Fundamental Concepts Used in Geometric Computer Vision. Foundations and
Trends in Computer Graphics and Vision 6 (1-2), 1183. Cit page 31
Tang, R., Fritsch, D., Cramer, M., 2012a. A novel family of mathematical self-calibration
additional parameters for airborne camera systems. In : EuroCOW 2012. Barcelone,
Espagne. Cit page 34
Tang, R., Fritsch, D., Cramer, M., 2012b. New rigorous and flexible Fourier self-calibration
models for airborne camera calibration. ISPRS Journal of Photogrammetry and Remote
Sensing 71, 7685. Cit page 34
Tang, Z., 2011. High precision camera calibration. Thse de Doctorat, CMLA - Centre de
Mathmatiques et de Leurs Applications - ENS Cachan. Cit page 39
Tao, C., Li, J., 2007. Advances in Mobile Mapping Technology. International Society
for Photogrammetry and Remote Sensing (ISPRS) book series. Taylor & Francis.
Cit page 3

BIBLIOGRAPHIE
Tarel, J.-P., 1994. Calibration de camra fonde sur les ellipses. Tech. Rep. 2200, INRIA.
Cit page 40
Tarjan, R. E., 1983. Data structures and network algorithms. Society for Industrial and
Applied Mathematics, Philadelphia, PA, USA. Cit page 89
Tewarson, R. P., 1973. Sparse Matrices. Vol. 99. Mathematics in Science and Engineering.
Cit page 132
The CGAL Project, 2012. CGAL User and Reference Manual, 4.1 edition. CGAL Edito-
rial Board, http://www.cgal.org/Manual/4.1/doc_html/cgal_manual/packages.html.
Cit page 131
Thom, C., Souchon, J.-P., 1998. Le point sur les camras numriques de lIGN. Revue
Franaise de Photogrammtrie et de Tldtection (149), 1220. Cit pages 8 et 39
Thom, C., Souchon, J.-P., 2001. Multi-Head Digital Camera Systems. GIM International
15 (5), 3337. Cit pages 8 et 39
TopCon, 2012. High Definition 3D Mobile Mapping System.

http ://www.topconpositioning.com/products/mobile-mapping. Cit page 5
Triggs, B., 1998. Autocalibration from Planar Scenes. In : Proceedings of the 5th European
Conference on Computer Vision, Fribourg, Allemagne. Cit page 39
Triggs, B., September 1999. Camera Pose and Calibration from 4 or 5 known 3D Points.
In : Proceedings of the 7th International Conference on Computer Vision. Corfu, Grce,
pp. 278284. Cit page 39
Triggs, B., McLauchlan, P., Hartley, R., Fitzgibbon, A., 2000. Bundle Adjustment - A
Modern Synthesis. In : Triggs, W., Zisserman, A., Szeliski, R. (Eds.), Vision Algorithms :
Theory and Practice. LNCS. Springer Verlag, pp. 298375. Cit page 40
Trimble, 2012. Trimble MX8. http ://www.trimble.com/geospatial/Trimble-

MX8.aspx ?dtID=overview&. Cit page 5
TS, 2013. Les Travaux Spciaux de lIGN. Visible 1st February 2013.
URL http://geodesie.ign.fr/index.php?p=33&page=mesures_dimensionnelles_
et_geodesiques Cit page 24
Tsai, R., 1986. An Efficient and Accurate Camera Calibration Technique for 3D Machine
Vision. In : Computer Vision and Pattern Recognition. Miami Beach, Floride, tats-
Unis, pp. 364374. Cit page 31
Tsai, R., 1987. A versatile camera calibration technique for high-accuracy 3D machine
vision metrology using off-the-shelf TV cameras and lenses. IEEE Journal of Robotics
and Automation 3 (4), 323344. Cit pages 34 et 39
Tuytelaars, T., Mikolajczyk, K., 2008. K. : Local invariant feature detectors : A survey.
FnT Comp. Graphics and Vision, 177280. Cit page 84

BIBLIOGRAPHIE
Urmson, C., Anhalt, J., Bae, H., Bagnell, J. A., Baker, C. R., Bittner, R. E., Brown,
T., Clark, M. N., Darms, M., Demitrish, D., Dolan, J. M., Duggins, D., Ferguson,
D., Galatali, T., Geyer, C. M., Gittleman, M., Harbaugh, S., Hebert, M., Howard,
T., Kolski, S., Likhachev, M., Litkouhi, B., Kelly, A., McNaughton, M., Miller, N.,
Nickolaou, J., Peterson, K., Pilnick, B., Rajkumar, R., Rybski, P., Sadekar, V., Salesky,
B., Seo, Y.-W., Singh, S., Snider, J. M., Struble, J. C., Stentz, A., Taylor, M., Whittaker,
W. L., Wolkowicki, Z., Zhang, W., Ziglar, J., June 2008. Autonomous driving in urban
environments : Boss and the Urban Challenge. Journal of Field Robotics, Special Issue
on the 2007 DARPA Urban Challenge, Part I 25 (8), 425466. Cit page 14
Ussyshkin, V., 2009. Mobile Laser Scanning Technology for Surveying Application :
From Data Collection to End-Products. In : FIG Working Week 2009. Eilat, Isral.
Cit page 5
UTC, 2012. Plateforme Pacpus. http ://www2.hds.utc.fr/pacpus/plateforme/.

Cit page 3
Vaidya, P., 1989. An O(n logn) algorithm for the all-nearest-neighbors Problem. Discrete
& Computational Geometry 4, 101115. Cit page 86
Vallet, B., Houzay, E., 2011. Fast and Accurate Visibility computation in urban scenes.
In : International Archives of Photogrammetry, Remote Sensing and Spatial Information
Sciences. Vol. 38 (3/W22). pp. 7782. Cit pages 14 et 64
Velodyne, 2012. Velodyne HDFL-64E. http ://www.velodynelidar.com. Cit page 4
Viametris, 2012. VIAMETRIS Numrisation et reconnaissance automatique de votre pa-

trimoine routier : patrimoine routier, marquages au sol, panneaux... http ://viame-
tris.fr/index.php, acced le : 08/10/2012. Cit page 2
VirtuelCity, 2012. Virtuel City, Lexprience de la ville en 3D.

http ://www.virtuelcity.com/fr/, acced le : 08/10/2012. Cit page 2
Wang, P.-C., Tsai, P.-C., Chen, Y.-C., Tseng, Y.-H., 2012. One-step and Two-step Cali-
bration of a portable panoramic image mapping system. In : International Archives of
Photogrammetry, Remote Sensing and Spatial Information Sciences. Cit page 57
Willson, R. G., 1994. Modeling and calibration of automated zoom lenses. Thse de Doc-
torat, Pittsburgh, PA, USA, uMI Order No. GAX94-19735. Cit page 40
Won, S.-h., Melek, W., Golnaraghi, F., 2010. A Kalman/Particle Filter-Based Position
and Orientation Estimation Method Using a Position Sensor/Inertial Measurement
Unit Hybrid System. Industrial Electronics, IEEE Transactions on 57 (5), 17871798.
Cit page 2
Zhang, Z., 1999. Flexible camera calibration by viewing a plane from unknown orienta-
tions. In : ICCV. Kerkyra, Corfu, Greece, pp. 666673. Cit page 39

BIBLIOGRAPHIE

BIBLIOGRAPHIE
Annexes

A. Diffrentielle de la formule image
Annexe A
Diffrentielle de la formule image
A.1 La formule image

La formule image permet de relier un point M une image prise par la camra i
positionne sur la vhicule par Scami et Rstej ,cami pour une pose du vhicule Tstej ,ter Rter,stej .
Afin de rsoudre les diffrents systmes dquations prsents dans ce mmoire, cette
quation doit tre linarise en fonction des diffrents paramtres.

= pi t
l i,j
lP P A i kRstej ,cami Rter,stej Mter Rcami ,stej Scami + Tstej ,ter
m =fi,j (Mter )
A
m =F
B
avec

A = Rstej ,cami Rter,stej Mter Rcami ,stej Scami + Tstej ,ter (vecteur en dimension 3)

B =t kRstej ,cami Rter,stej Mter Rcami ,stej Scami + Tstej ,ter (scalaire)
A.2 Outils et notations
A.2.a Notations
R est une matrice rotation.
est langle de rotation

=t (a, b, c) est laxe de rotation (vecteur unitaire)

0 -c b
= c 0 -a est laxiateur
-b a 0

1 0 0
I = 0 1 0 matrice identit
0 0 1

Chapitre A. Diffrentielle de la formule image
A.2.b Angle, axe et rotation

Formule de passage R (, ) :
R = I + sin(). + (1 cos())..
A.2.c Diffrentielle de matrice rotation
dRv =
dRv = Rvd
A.3 Drives Partielles
A.3.a Pour un point Mter

La drive de la fonction image en un point Mter scrit :

fi,j (Mter ) pi .B.Rstej ,cami .Rter,stej A. t k. Rstej ,cami .Rter,stej
=
Mter B2
A.3.b Pour une camra cami

La drive de la fonction image pour une position de camra scrit :

fi,j (Mter ) pi .B.Rstej ,cami + A. t k.Rstej ,cami
=
Scami B2
La drive de la fonction image pour une rotation de camra scrit :
fi,j (Mter ) pi .B.(Rstej ,cami .Rter,stej .Mter Rter,stej .Tstej ,ter Scami ))
=
Rstej ,cami B2
A.(t k.(Rstej ,cami .Rter,stej .Mter Rter,stej .Tstej ,ter Scami ))

B2
A.3.c Pour une pose du vhicule stej

La drive de la fonction image pour une position du vhicule scrit :
fi,j (Mter ) pi .Rstej ,cami .Rter,stej .B + A.(t k.(Rstej ,cami .Rter,stej ))

=
Tstej ,ter B2

A.3. Drives Partielles
La drive de la fonction image pour une rotation du vhicule scrit :
fi,j (Mter ) pi .(Rstej ,cami .t Rter,stej .(Mter Tstej ,ter )).B

=
Rstej ,ter B2
A.(t k.(Rstej ,cami .t Rter,stej ).(Mter Tstej ,ter ))
B2

Chapitre A. Diffrentielle de la formule image

B. Matrices Creuses
Annexe B
Matrices Creuses
Les matrices creuses permettent doptimiser la taille en mmoire de matrices de grandes

tailles comportant un nombre important de coefficients nuls. Le principe est de ne stocker
que les coefficients non nuls.
B.1 Mthodes de Stockage

Voici une matrice creuse M

0 1 0 0 0
2 0 0 0 3

M = 4 5 0 6 0

0 0 0 0 0
0 0 7 0 8
Nous allons tudier diffrentes faons de la stocker.
B.1.a Par triplets

La mthode de stockage par triplets conserve pour chaque coefficient non nul sa posi-
tion dans la matrice. Un triplet correspond donc aux valeurs (c, l, v) avec c position dans
la matrice en colonne, l position dans la matrice en ligne et v la valeur du coefficient.
Lavantage de cette mthode et de ne garder que les coefficients non nuls. Elle permet
aussi davoir plusieurs coefficients pour une mme position 1
B.1.b Compression en colonne (Compressed sparse column [CSC]

ou [CCS])
La mthode de stockage par compression en colonne permet doptimiser le stockage en
privilgiant les colonnes. Ce format de stockage ncessite trois tableaux. Le premier (a)
contient les valeurs par ordre dapparition en parcourant la matrice colonne par colonne
1. Cette situation peut se produire lors du calcul de la matrice normale.

Chapitre B. Matrices Creuses
par ligne croissante. Le second (b) contient la position (dans le vecteur de donnes) du
premier lment non nul dans la colonne i. Le troisime (c) contient lindex des lignes de
chaque lment de (a).
a Valeurs : 2 4 3 5 7 6 3 8
b Indice des positions de coefficients dans la colonne : 0 2 4 5 6 8
c Indice des positions de ligne : 1 2 0 2 4 2 1 4
B.1.c Stockage en ligne (Compressed sparse row [CSR] ou [CRS])

La mthode de stockage par compression en colonne permet doptimiser le stockage
en privilgiant les lignes. Ce format de stockage ncessite trois tableaux. Le premier (a)
contient les valeurs par ordre dapparition en parcourant la matrice ligne par ligne par
colonne croissante. Le second (b) contient la position (dans le vecteur de donnes) du
premier lment non nul dans la ligne i. Le troisime (c) contient lindex des colonnes de
chaque lment de (a).
a Valeurs : 1 2 3 4 5 6 7 8
b Indice des positions de coefficients par ligne : 0 1 3 5 6 8
c Indice des positions de colonne : 1 0 4 0 1 3 2 4
B.2 Oprations
Concernant les oprations arithmtiques, les 3 formats prsents ne sont pas qui-
valents. Le premier est trs efficace pour linsertion dlments, par contre il est moins
performant lors de calculs mathmatiques (+, , ,...). Les deux autres sont trs perfor-
mants sur les oprations mais beaucoup moins sur les insertions dlments.
Dans le cadre de cette thse, limplmentation choisie est celle dEigen [Guennebaud
et al., 2010]. Dautres implmentations sont possibles, notamment celle de Boost [Naka-
riakov, 2013] qui na pas t teste.

C. Dtermination de la position dun point issu de plusieurs droites
Annexe C
Dtermination de la position dun point

issu de plusieurs droites
A plusieurs occasions, la dtermination dun point partir de faisceaux (i.e. de droite)

est utilise. Nous allons dcrire dans cette annexe la mthode qui a t utilise.
Diffrentes formulations mathmatiques existent pour caractriser une droite :
2 points A et B
son quation

x = x0 + ka
y = y0 + kb

z = z0 + kc
1 point et un vecteur A et

v
Toutes ces reprsentations sont quivalentes et des formules permettent de passer dune
caractrisation lautre.
Nous avons choisi la formulation qui permet dcrire, pour tout point M , lquation 1
avec

v le vecteur directeur et un facteur :

AM =

v (1)
Ecrite sous une autre forme, lquation 1 peut scrire :
M

v =A
Lorsque le point M appartient plusieurs droites connues dtermines par Ai et

v i,
il suffit de rsoudre le systme prsent en 2 qui a pour inconnues le point M ainsi que
les facteurs dchelle propre chaque droite i

Chapitre C. Dtermination de la position dun point issu de plusieurs droites

1 0 0 vx,1 0 0
.. Mx
Ax1
0 1 0 vy,1 0 . Ay1
.. My
0 1 vz,1
0 0 . Az1
Mz
.. .... .. . .. ..

. . .0 . .. .
1 .
.. .... .. .. .. .. = .. (2)
. . . . . . 0 .
.
.. .. Axn
1 0 0 . 0 vxn .
Ayn
.. n
0 1 0 . 0 vyn Azn
0 0 1 0 0 vzn
Ce systme est linaire et trs simple rsoudre.

C. Dtermination de la position dun point issu de plusieurs droites
Publications
Articles de revues avec comit de lecture

N. Paparoditis, J.-P. Papelard, B. Cannelle, A. Devaux, B. Soheilian, N. David, E.
Houzay. Stereopolis II : A multi-purpose and multi-sensor 3D mobile mapping system
for street visualisation and 3D metrology. Revue Franaise de Photogrammtrie et de
Tldtection, 200, pp.69-79, 2012.
B. Cannelle, N. Paparoditis, J.-P. Papelard. Calibration de camra par acquisition
de type panoramique. Revue Franaise de Photogrammtrie et de Tldtection, 194,
pp.16-24, 2011.
Articles de confrences avec comit de lecture

B. Cannelle, N. Paparoditis, M. Pierrot-Deseilligny, J.-P. Papelard. Off-line Vs. On-
line Calibration of a Panoramic-Based Mobile Mapping System. ISPRS Annals of the
Photogrammetry, Remote Sensing and Spatial Information Sciences, XXII Congres IS-
PRS, Aot-Septembre 2012, Melbourne.
A. Gressin, B. Cannelle, C. Mallet, J.-P. Papelard. Trajectory-based registration of
3D lidar point clouds acquired with a Mobile Mapping Systems . ISPRS Annals of Pho-
togrammetry, Remote Sensing and Spatial Information Sciences, XXII Congres ISPRS,
Aot-Septembre 2012, Melbourne.
B. Cannelle, N. Paparoditis, O. Tournaire. Panorama-based camera calibration . In-
ternational Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences,
vol. 38, part 3A, pp. 73-78, Septembre 2010, Paris.
B. Cannelle, D. Craciun, N. Paparoditis, D. Boldo. Bundle adjustement and pose
estimation of images of a multiframe panoramic camera. In 9th Conference on Optical
3-D , Juillet 2009, Vienne.
A. Devaux, N. Paparoditis, F. Precioso, B. Cannelle. Face Blurring for Privacy in
Street-level Geoviewers Combining Face, Body and Skin Detectors . In IAPR Machine
Vision Applications, Mai 2009, Yokohama.

blabla
blabla
Rsum / Abstract
Titre : Estimation de pose de grands blocs dimages panoramiques issues de
systmes de numrisation mobile
Tire par le dveloppement et la dmocratisation des globes numriques et des systmes de golocalisation grand
public, la numrisation 3D mobile terrestre en milieux urbains sest dveloppe de manire trs importante ces dix dernires
annes. Les principaux verrous rsiduels de ces systmes reste, dune part la localisation prcise des donnes pour certaines
applications (conduite autonome urbaine, levers de gomtres, etc.) du fait des masques et multi-trajets GPS dans les canyons
urbains, et, dautre part, le passage lchelle du traitement de linformation vus les volumes de donnes considrables acquis
chaque jour (plusieurs Terraoctets).
La premire partie de cette thse est consacre la prsentation de la numrisation mobile, aussi bien du point de
vue systme que du point de vue usages. Une description fine du systme Stropolis V2, vhicule de numrisation mobile
multi-camras dveloppe au laboratoire MATIS de lInstitut National de lInformation Gographique et Forestire, est faite
afin de prsenter les donnes utilises dans cette thse. Les blocs dimages manipuls dans ces travaux sont constitus de
plusieurs centaines de milliers un million dimages.
La seconde partie est consacre la calibration du systme : calibration intrinsque de camra tout dabord, en utilisant
une gomtrie dacquisition de type panoramique. Cela permet de saffranchir de rseaux de cibles 3D mtrologiques. Une
calibration extrinsque des imageurs du vhicule, ensuite, permet de dterminer de faon prcise la position et lorientation
de camras sur un dispositif de numrisation mobile. Deux procdures sont dtailles et compares : lune dite "off-line"
ncessitant une acquisition spcifique avec un rseau de cibles mtrologiques et lautre dite "on-line" utilisant uniquement
les donnes dacquisition standards. Nous dmontrons que la mthode "on-line" produit dans les mmes conditions une
prcision comparable celle "off-line" tout en tant plus adapte aux variations de conditions dacquisition in-situ.
La troisime partie dtaille le processus de compensation par faisceaux applique aux donnes de numrisation mobile
multi-camras qui permet destimer la pose dun grand nombre dimages. La mise en quation ainsi que diffrents cas
dutilisations de la mthode sont explicits. La structuration et la gestion des donnes dans un entrept est elle aussi
dveloppe car elle permet la gestion dimportants volumes et donc le passage lchelle tout en restant performante.
La quatrime et dernire partie propose diffrentes mthodes de recalage qui peuvent tre utilises aussi bien de manire
individuelle que combines afin de permettre de mettre en cohrence des squences dimages distinctes (boucles, passage
multi-dates, etc.) dans des contextes applicatifs diffrents.
Mots Cls : photogrammtrie, vhicule de numrisation mobile, calibration intrinsque de camra, calibration de vhicule
de numrisation mobile, compensation par faisceaux
Title : Bundle adjustment of large blocks of panoramic images acquired by

mobile mapping systems
Driven by the development and the democratization of digital globes and standard geolocation systems, land mobile
3D scanning in urban areas has grown very significantly over the past decade. The main existing locks of these systems
remain, on the one hand, a precise location for various applications (urban autonomous driving, field surveying, etc.) due
GPS masks and multipaths in urban canyons, and, on the other hand, the scalability of developed processes given the
considerable volume of data acquired every day (several TerraBytes).
The first part of this thesis is devoted to the presentation of mobile mapping, both from the system point of view and
from the application one. A detailed description of the Stropolis V2 system, the multi-camera mobile mapping system
developed in the MATIS laboratory of the IGN (the French National Mapping Agency) and of the data used in this thesis
will be presented. The image blocks that are handled in this work are composed of several hundred thousands up to one
million images.
The second part deals with the calibration of the system : intrinsic camera calibration is first tackled using a panoramic-
based acquisition geometry, which allows to discard network 3D metrology targets. Extrinsic image calibration vehicle is
then performed for accurately determining the position and orientation of the cameras on a movable scanning device.
Both procedures are detailed and compared : a so-called "off-line" procedure requiring specific acquisition with a network
of metrology targets and another one called "on-line" using no specific acquisition. We show that the "on-line" method
produces results similar to the "off -line" while being less sensitive to local environment variations.
The third section details the bundle adjustment process, specific to multi-camera mobile mapping system, to estimate
the pose of a large number of images. Problem formulation and various use cases of the method are explained. Structuring
and management of data in a warehouse are also developed since it allows to handle large data volumes and, consequently,
a suitable solution for the problem upscaling while remaining efficient in terms of accuracy.
The fourth and final part offers different registration methods that can be used both individually and in a combined
manner in order to enable to provide consistent sequences of images in various conditions (loops, different periods acquisition
, etc.).
Keywords : photogrammetry, mobile mapping system, camera calibration, system calibration, bundle adjustment

TH2013PEST1164 Complete

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

TH2013PEST1164 Complete

Transféré par

Droits d'auteur :

Formats disponibles

Thse de doctorat

prsente pour obtenir le grade de docteur

cole Doctorale MSTIC

Spcialit : Sciences de lInformation Gographique

Estimation de pose de grands blocs

Soutenue publiquement le 04/12/2013 devant le jury compos de :

El Mustapha MOUADDIB Prsident

Mots Cls : photogrammtrie, vhicule de numrisation mobile, calibration intrinsque

Thse B. CANNELLE iii

Keywords : photogrammetry, mobile mapping system, camera calibration, system cali-

Thse B. CANNELLE vii

viii Thse B. CANNELLE

x, y et z seront les vecteurs de base dans R3 du rfrentiel terrain (respectivement

Table des matires

Table des matires xiii

II Calibration de systmes de numrisation mobile 27

3 Calibration intrinsque de camra 31

4 Calibration de systmes multi-camras embarqu sur vhicule 55

4.4 Calibration sur polygone dite mthode Off-Line .................................. 60

III Mthodes et outils pour la mise en gomtrie de grands

5 Appariement et filtrage de points dintrt 83

6 Gestion des mesures en base de donnes pour un passage lchelle 95

7 Mthodologie et outils 101

IV Localisation relative et absolue de systmes de numrisa-

8 Recalage de trajectoire sur des points dappui externes 113

9 Recalage multi-passages de la trajectoire 121

10 Recalage interne et externe de la trajectoire 143

xii Thse B. CANNELLE

10.1 Utilisation conjointe de contraintes relatives et de relvement................... 143

11 Conclusion sur lamlioration de trajectoire 147

V Conclusion et perspectives 149

A Diffrentielle de la formule image 173

B Matrices Creuses 177

C Dtermination de la position dun point issu de plusieurs droites 179

Thse B. CANNELLE xiii

xiv Thse B. CANNELLE

Table des figures

1.1 Exemple de donnes laser......................................................................... 6

2.1 Stropolis V1. ........................................................................................ 9

3.1 Modlisation dune camra (modle stnop)............................................ 32

4.1 carts sur la mesure image lors dun dfaut de montage........................... 56

xvi Thse B. CANNELLE

4.15 Histogramme des rsidus sur les points de contrle................................... 71

5.1 Masque de points dintrt ....................................................................... 85

7.1 Principe de la compensation par faisceaux................................................ 101

8.1 Principe du relvement. ........................................................................... 113

Thse B. CANNELLE xvii

9.1 Recalage 3D/3D ...................................................................................... 122

10.1 Principe de lutilisation du relvement et de contraintes relatives pour le

11.1 Illustration de lintrt de recaler la trajectoire......................................... 147

13.1 Systme idal destimation de pose et de calcul de trajectoire................... 154

xviii Thse B. CANNELLE

Liste des tableaux

1.1 Vhicules de recherche en numrisation mobile. ........................................ 3

2.1 Spcification du systme PosLV 220. ........................................................ 16

3.1 Formules gnrales des familles de distorsion. ........................................... 36

8.1 carts de positions sur les points de contrle............................................ 119

10.1 carts de positions sur les points de contrles. ......................................... 144

Thse B. CANNELLE xix

11.1 Rcapitulatif des diffrentes techniques de recalages possibles................... 148

Rvolution lie la numrisation

1.1 Numrisation mobile

le matriel informatique : accroissement des capacits de stockage 1 et de transfert 2

les capteurs images accroissement de la rsolution, diminution du temps de pose,