Cours Imagerie3D Part2

1
Plan
Applications
Techniques de numrisation 3D
Reprsentation de donnes 3D
Techniques de reconstruction
Traitement de donnes 3D
Visualisation
Reprsentations de donnes 3D
Comment reprsenter
linformation numrise
{ partir dobjets rels?
Comment modliser les
objets 3D gnrs
graphiquement?
2
Points
Nuage de points
Image de profondeur
Surface
Maillage polygonale
Surface paramtre
Surface implicite
Volumes
Voxels
Gomtrie de
construction de solides
Ensemble de points non structurs
Nuage de points
3
Ensemble de points 3D
rgulirement chantillonns
reprsentant un objet { partir dun
point de vue. Le voisinage est
dfinit.
Image de profondeur (range Image): Image 2.5D
Peut tre reprsente comme une
image ou le niveau de gris associ
chaque pixel correspond la
profondeur (la distance qui
spare le capteur 3D dun point
visible de la scne).
Image de profondeur (range Image): Image 2.5D
4
Points
Nuage de points
Image de profondeur
Surface
Maillage polygonale
Surface paramtre
Surface implicite
Volumes
Voxels
Gomtrie de
Maillage polygonale (gnralement triangul)
Facette
Arrte
Sommet
(x,y,z)
5
Donnes:
Gomtrie:
Coordonnes (X,Y,Z) de
chaque sommet
Connectivit
Quels sont les sommets de
chaque polygone
Attributs:
Couleurs
Texture
Normales la surface
Maillage polygonale
Formats de fichier:
VRML
PLY
STL
OBJ
Maillage polygonale
6
Surfaces paramtres
Exemple: Sphre unitaire
Pour des formes complexes, la surface est
reprsente par un ensemble de polynmes
dfinis sur des morceaux de la surface
(piecewise polynomials):
Les polynmes sont dfinis par des
points de contrle.
Pas de polynme de haut degr.
Les polynmes doivent assurer que les
morceaux de surface quils gnrent se
raccordent de faon C1 ou plus.
Surfaces paramtres: (Splines, NURBS)
7
Surface dfinie implicitement
par une fonction:
F(x,y,z) = 0 ; points de la
surface.
F(x,y,z) < 0 ; points { lintrieur
de la surface
F(x,y,z) > 0 ; points
lextrieur de la surface
Surface implicite
Surface implicite: fonction polynomial
8
Surface implicite: fonction chantillonn sur un volume
(distance signe).
A chaque voxel du volume
est associ la distance qui le
spare du point le plus proche de la
surface. Un signe est ajoute pour
distinguer les voxels
intrieurs la surface de ceux qui sont
lextrieur.
Points
Nuage de points
Image de profondeur
Surface
Maillage polygonale
Surface paramtre
Surface implicite
Volumes
Voxels
Gomtrie de
9
Modlisent lintrieur
des objets :
Coupes IRM
Tomographies
Voxels
Volume rgulirement
chantillonn en voxels qui
sont des volumes
lmentaires
Un voxel peut avoir
plusieurs attributs:
Couleur
Densit
Temprature

Voxels
10
Extraction de surfaces partir de donnes volumiques
Extraction diso-surface
correspondant F(x,y,z) = 0
F dpend de la densit par exemple
Gomtrie de construction de solides:
reprsente lobjet comme une hirarchie dopration
boolenne entre des primitives simples (utilise pour la
conception assiste par ordinateur
11
Plan
Applications
Techniques de numrisation 3D
Reprsentation de donnes 3D
Traitement de donnes 3D
Visualisation
Convertir linformation
numrise en un modle 3D
12
Reconstruction de modle 3D
Objet rel
Acquisition
Donnes acquises partir
de plusieurs points de vue
Modle 3D
Fusion
Recalage
Recalage
Trouver une
transformation rigide
entre deux parties dun
mme objet qui se
chevauchent.
Trouver au sein des
deux parties les points
qui se correspondent
13
Reconstruction de modles 3D
Diverses approches:
Reconstruction { partir dun nuage de points VS images
de profondeur.
Reconstruction incrmental VS simultane.
La mise en correspondance se base sur la proximit entre
les points de surface VS similarit de descripteurs dfinis
au voisinage des points de surface.
La reconstruction gnre directement un maillage VS
une surface implicite.
Diffrentes techniques de reconstruction
Mthodes qui gnrent directement un maillage de la surface
Zippered Polygonal Meshes from Range Images [ Turk and Levoy 94].
Multi-resolution surface modeling from multiple range views [Soucy
and Laurendeau 92]
Mthodes qui gnrent des fonctions implicites
A Volumetric Method for Building Complex Models from Range
Images [Curless and Levoy 96]
Reliable surface reconstruction from multiple range images. [Hilton et
al 96]
A partir dimages de profondeur
14
Diffrentes techniques de reconstruction
Mthodes qui gnrent directement un maillage de la surface
Three-dimensional alpha shapes [ Edelsbrunner et al.92]
Triangulation de Delaunay [Boissonat 94]
Single pass crust [Amenta 98]
Mthodes qui gnrent des fonctions implicites
Surface reconstruction fromunorganized points [Hoppe 92]
Automatic reconstruction of surfaces and scalar fields from3D scans
[Bajaj et al. 95]
Reconstruction and Representation of 3D Objects with Radial Basis
Functions [Carr et al. 2001]
A partir dun nuage de points
Reconstruction selon Turk et Levoy [94]
Greg Turk and Marc Levoy, Zippered Polygon Meshes fromRange Images
Proc. SIGGRAPH '94
Reconstruction incrmental { partir dimages de profondeur.
Gnre directement un maillage triangulaire.
Donnes acquises par un systme de numrisation base de triangulation
avec projection dun plan de lumire.
Projection dun plan
de lumire laser
sur un objet
Lumire rflchie
sur la camra
CCD
CCD
Axe de translation
du systme de numrisation
15
Trois principales tapes:
Gnrer un maillage triangulaire { partir dimages de
profondeur.
Recalage des diffrents maillages.
Fusion des diffrents maillages pour former un modle
3D de lobjet numris.
Gnrer un maillage triangule partir dimages de profondeur
Image de
profondeur
Maillage cre par
la connexion
de sommet voisins
Visualisation du maillage par attribution
dun niveau de gris chaque point
16
Pour chaque quadruplet de points
voisins former zro, un ou deux
triangles :
Dterminer la diagonale la plus
courte
Crer deux triangles.
viter de connecter les points au
niveau de discontinuit de
profondeur:
Tester la distance entre points au
cours de la gnration de triangles.
Ne pas crer un triangle si la distance
entre deux de ses sommets >> S
Gnrer un maillage triangule partir dimages de profondeur
Gnrer un maillage triangule { partir dimages de
profondeur.
Recalage des diffrents maillages.
Fusion des diffrents maillages pour former un modle
3D de lobjet numris.
17
Reconstruction selon Turk et Levoy [94]: Recalage
Chaque image de
profondeur est dfinit
dans un systme de
coordonnes local
relative la position du
capteur 3D.
Le recalage des
diffrentes images
revient les
transformer dans un
mme systme de
coordonnes.
Si le capteur 3D est mont sur un systme qui a six degrs de
libert, la position du capteur au cours de lacquisition de
chaque image de profondeur est fournie par le systme de
contrle de mouvement( ex: capteur mont sur le bras dun
robot).
Gnralement ces systmes sont dispendieux. Les plateformes
utilises se limitent { un ou deux degrs de libert do:
Alignement approximative manuel
Utilisation dun algorithme dalignement itrative: ICP (Iterative
Closest Point)
18
Soient deux formes
diffrentes:
Une forme de rfrence A (
nuage de points, ensemble de
segments, ensemble de
triangles, surfaces
paramtrs.)
Une forme B fournie par un
systme de numrisation. B est
dcompos en un nuage de
points.
B est un sous-ensemble de A.
Lobjectif est de trouver
une transformation rigide
(Rotation et translation)
qui permet daligner A et B.
ICP Iterative Closest Point : P. Besl and N. Mckay:
A method for registration of 3D-shapes IEEE trans. Pattern analysis
and Machine intelligence, 14(2):239-256, 1992.
A
B
Trouver la rotation R et la
translation T qui permettent de
minimiser lerreur:
f est une fonction qui permet
dassocier { chaque point de B le
point qui lui correspond dans A.
ICP Iterative Closest Point
B
A
f
=
=
n
1 i
2
i i
T B R A E

=
=
n
1 i
2
i i
T B R ) B ( f E

19
Si la correspondance entre les points de chaque forme est connue,
la transformation rigide qui permet de les aligner peut tre calcule exactement
LICP est un processus itrative
qui assume chaque itration
que le point correspondant est
le point le plus proche
Le rsultat dpend des
positions initiales des deux
formes.
Gnralement lalgorithme est
initialis avec un alignement
approximative qui est effectu
manuellement.
B
A
20
Pour Chaque point de B trouver
le point le plus proche de A
Calculer la rotation et la translation R
k
et T
k
qui minimise la distance entre A et B
Appliquer la transformation B
k
Vrai: fin du recalage
K= k+1
faux
A
B
0
A
B
A
B
k
Test de
convergence
s e e
k k

1
(

rotation de axe ) , , (
rotation de angle
) (
2
sin
2
cos
3 2 1 0
3
2
1
0
z y x
z y x R
R R R
R k R j R i q k q j q i q
q
q
q
q
q
u
u u
+ + + = + + + =
(
(
(
(
=
ICP : Iterative Closest Point
Calcul de la transformation rigide (R et T ) selon Horn[87]
La rotation R est reprsente comme un quaternion:
21
t
c i
n
c i n
B B A A M ) ( ) (
1 i
1

=

=
|
|
|
.
|
\
|
=
zz zy zx
yz yy yx
xz xy xx
S S S
S S S
S S S
M
|
|
|
|
|
.
|
\
|
+ + +
+ + +
+ +
+ +
=
) (
) (
) (
) (
zz yy xx zy yz xz zx yx xy
zy yz zz yy xx yx xy xz zx
xz zx yx xy zz yy xx zy yz
yx xy xz zx zy yz zz yy xx
S S S S S S S S S
S S S S S S S S S
S S S S S S S S S
S S S S S S S S S
N
) B R A ( T
c c

=
Le quaternion reprsentant la rotation optimale est le vecteur propre
de Ncorrespondant la plus grande valeur propre de N.
La translation est
ICP : Iterative Closest Point
Calcul de la transformation rigide (R et T ) selon Horn[87]
Mest la matrice de
covariance de A et B.
ICP modifi:
Adaptation de
lalgorithme pour le
recalage de deux
images de profondeur
qui se chevauchent
partiellement.
B nest plus un sous-
ensemble de A. On
associ pas chaque
point de B un point
dans A.
22
Partir dune position initiale de
chaque maillage
Pour chaque sommet dun
maillage B trouver le points le plus
proche du maillage A.(sommet ou
point { lintrieur dun triangle)
liminer les pairs de points trs
loigns.
liminer les pairs dont un des
points est sur une frontire(une
arte appartenant un seul
triangle.
Trouver la transformation rigide
qui permet de minimiser les
distances entre les pairs de points.
Itrer lalgorithme jusqua
convergence
ICP modifi
B
A
A liminer
A liminer
Si la lumire projet par le
systme de numrisation est
presque parallle la
surface de lobjet alors la
lumire reflte (reu par le
capteur )est faible ce qui fait
que cest difficile de dduire
la profondeur.
Tenir compte de la prcision des mesures
ICP modifi
Direction de la lumire projete
23
Erreur quand uniquement une partie du faisceau laser incident touche la surface numriser
Faisceau
laser
Plan du capteur
lumineux
Portion illumine
du capteur
Position
calcule
Position
calcule
ICP modifi
A chaque point numris est
associ un coefficient de
prcision:
le produit scalaire entre la direction
de la lumire incidente et la
normale la surface au niveau du
point de surface mesur.
Le coefficient de prcision est
encore diminu en fonction de sa
proximit des frontires de limage
de profondeur.
ICP modifi
Direction
de la lumire
projete
Normale
la surface
24
) precision( . ) precision(
) (
1
2
i i i
n
i
i i i
B A w
T B R A w E

=
=

=
t
c i
n
c i i n
B B A A w M ) ( ) (
1 i
1

=

=
=
=
n
i
i i n c
A w A
1
1

La rotation est calcule partir de la matrice:
=
=
n
i
i i n c
B w B
1
1

La translation est calcule partir
=
=
n
i
i i
T B R A E
1
2
) (

ICP modifi
ICP sapplique sur deux images
de profondeur la fois.
Lalignement de plusieurs
images de profondeur se fait de
faon incrmental:
Avec quelles pairs dimages de
profondeur commencer?
Accumulation de lerreur
Turk et Levoy proposent dutiliser
une image de profondeur
cylindrique qui se chevauche avec
tous les autres images. Lalignement
se fait entre limage cylindrique et
chacune des autres images.
Image de profondeur cylindrique:
rotation de lobjet numriser
ou rotation du scanner autour de lobjet
25
Gnrer un maillage triangule { partir dimages de
profondeur.
Alignement des diffrents maillages.
Fusion des diffrents maillages pour former la surface
de lobjet numris.
Reconstruction selon Turk et Levoy [94]: Fusion
liminer la redondance.
Attacher les maillages lun lautre.
26
Itrer les tapes
suivantes jusqu{ ce
que les maillages ne se
modifient plus:
liminer les triangles
redondants sur la
frontire de A.
liminer les triangles
redondants sur la
frontire de B
liminer la redondance
Un triangle T de A est redondant si:
La distance entre chaque sommet et le point le plus proche de
B est infrieur un certain seuil.
Le point le plus proche de chaque sommet nest pas sur la
frontire de B.
Au moins deux des sommets de A ont des coefficients de
prcision infrieurs ceux des points les plus proches de B.
La troisime condition est ignore dans les dernires
itrations de lalgorithme dlimination de la
redondance.
liminer la redondance
27
Attachement de deux maillages
(Zippering)
Attachement de deux maillages: si les bords sont dans un mme plan
Points dintersection
au niveau des bords
Partie
garder
Partie
liminer
Nouvelle
triangulation
28
En gnral les bords de deux
maillages attacher ne sont
pas dans un mme plan.
Les artes dun maillage A
peuvent tre en dessus ou en
dessous du bord du maillage
auquel il va tre attach.
Pour tendre lalgorithme
dcrit prcdemment il faut
calculer lintersection en 3D
et non pas dans un plan.
Attachement de deux maillages:
B
A
Surface
triangule
Frontire
paissie
Point dintersection avec
le maillage dpaississement
Sommet
Sommet rajout
Attachement de deux maillages
29
Reconstruction selon Turk et Levoy [94]:Rsultats
Deux images de profondeurs
La couleur correspond
la prcision de la position
de chaque point
Alignement:
Les maillages prsentent
des distorsions
au niveau des bords
Fusion
Rectification des positions des sommets aprs fusion
Surface obtenue aprs fusion (noir) et
maillages originaux
Calculer la moyenne des normales
dans un voisinage du sommet
Dterminer lintersection de la moyenne
des normales avec chaque maillage
Dplacer le sommet une moyenne
pondre des point dintersection
30
Rsultats avec rectification

Cours Imagerie3D Part2

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Cours Imagerie3D Part2

Transféré par

Droits d'auteur :

Formats disponibles

1

Vous aimerez peut-être aussi