Université des Sciences et de la Technologie d’Oran « Mohamed Boudiaf »

Faculté de Génie Electrique – Département d’Electronique

Année Universitaire : 2018 / 2019
MASTERS : Electronique des Systèmes Embarqués (ESE)
NIVEAU : M2 – SEMESTRE 3
MODULE: VISION ARTIFICIELLE

Chapitre 8:
La vision 3D - La stéréovision

Chargé du module: Pr. Abdelhamid LOUKIL Slide 1

 8.1 Exemples de systèmes stéréoscopiques

Chargé du module: Pr. Abdelhamid LOUKIL Slide 2

 8.2 Définition de la stéréovision
Nous avons vu au chapitre précédent que la monovision (1 seule caméra) ne permettait
d’avoir que le rayon visuel joignant l’objet filmé au centre optique de la caméra.
Tous les objets situés sur cette droite (X1, X2, X3, …) ont la même image XL.
La stéréovision (2 caméras et plus) permet de retrouver la position 3D des différents objets.

La stéréovision est une technique de vision artificielle permettant l’acquisition de la

position tridimensionnelle (3D) d’un objet.

L’acquisition d’une par d’images stéréoscopiques peut se faire de deux manières:

 Capturer une paire d’images de la même scène à l’aide de deux caméras
de manière simultanée;
 Capturer une paire d’images à l’aide d’une seule caméra qui se déplace.
Chargé du module: Pr. Abdelhamid LOUKIL Slide 3
 8.3 La géométrie épipolaire
Selon la disposition spatiale des deux capteurs d’images (caméras), nous allons traiter les
deux cas suivants :
Le cas de capteurs alignés (cas simple)
Le cas de capteurs non alignés (cas général)

A. Capteurs stéréoscopiques alignés

Les capteurs, de préférence identiques (ayant les mêmes caractéristiques), sont disposés
de telle manière que leurs axes de visée soient parallèles.
Les images de l’objet M (mg et md) sont sur les mêmes lignes des deux images
« gauche » et « droite ».

mg md

Chargé du module: Pr. Abdelhamid LOUKIL Slide 4

 A. Capteurs stéréoscopiques alignés (suite)
L’appariement passe d’un problème bidimensionnel à un problème monodimensionnel
simple, vue que les images se trouvent sur la même ligne dans les deux images.

ug ud

La disparité « d » représente le décalage horizontal entre les deux images mg et md.

d = ud – ug (unité: pixels)

Chargé du module: Pr. Abdelhamid LOUKIL Slide 5

 A. Capteurs stéréoscopiques alignés (suite)

a. Calcul de la profondeur (Z) de l’objet ‘M’ :

o B est la distance séparant les axes des deux capteurs, appelée « Baseline » ;
o ug et ud sont les ordonnées, en pixels, des deux images (mg) et (md) de l’objet « M ».
Les abscisses des deux images étant identiques (la même ligne sur les deux images).
* Une fois les stéréo-correspondants trouvés, nous
écrivons la formule du modèle interne des 2 caméras:

ug

mg * Les caméras étant identiques, et alignés, nous avons

les égalités :

ud
md

ud  ug  d  disparité

* Ce qui donne facilement la profondeur Z de l’objet:

Chargé du module: Pr. Abdelhamid LOUKIL Slide 6

 b. La carte de disparité
Reprenons la formule donnant la disparité d’un objet "M" de la scène:

En calculant cette valeur (d) pour toutes les paires de « points appariés », nous obtenons
une matrice de valeurs de « d » pour chaque pixel de l’image (droite ou gauche).

La carte de disparité est une image 2D

dont la valeur du niveau de gris est la
disparité :
 à une disparité nulle (d = 0), on
attribuera un niveau de gris = 0
(noir), ce qui signifie que ce pixel
correspond à un objet éloigné à
l’infini.
 à une disparité importante
(plusieurs pixels), on attribue un
niveau de gris élevé (proche du
blanc), ce qui signifie que ce pixel
correspond à un objet très proche
du capteur stéréoscopique.

Chargé du module: Pr. Abdelhamid LOUKIL Slide 7

 B. Capteurs stéréoscopiques non-alignés
 Des capteurs parfaitement alignés n’existent pas pratiquement.
 Dans ce cas, l’appariement devient complexe, du fait que nous recherchons les stéréo-
correspondants dans toute l’image (lignes différentes et colonnes différentes).
 Le calcul de la profondeur est aussi complexe.
M

Image
Gauche

mg
md
l
l’

Cg eg ed Cd
Image
Droite

Ligne de base (en anglais : Baseline) : segment liant les centres optiques Cg et Cd des caméras.
Epipoles « eg et ed » : c’est l’intersection de la ligne de base avec les deux plans image
(c’est la projection du centre optique de l’une sur le plan image de l’autre).
Les épipoles peuvent être à l’extérieur des plans image.
Plan épipolaire : C’est le plan contenant la ligne de base ainsi que le point objet 3D « M ».
Lignes épipolaires (l et l’) : c’est l’intersection du plan épipolaire avec les deux plans image.
Chargé du module: Pr. Abdelhamid LOUKIL Slide 8
 a. Modélisation de la géométrie épipolaire
Un point (M) de la scène peut être exprimé dans les deux repères liés aux caméras, repère caméra
gauche (Rcg) et repère caméra droite (Rcd) :

Vue que les caméras sont fixées rigidement l’une à l’autre, nous exprimons la matrice de passage de
l’une vers l’autre par :

Ce qui permet d’écrire la relation entre :

Ce qui peut encore s’écrire :

Chargé du module: Pr. Abdelhamid LOUKIL Slide 9

 La projection du point 3D « M » dans le plan image de la caméra droite donne un point image de
coordonnées : s’exprimant à un facteur d’échelle prés par (triangles semblables) :

De même, la projection du point 3D « M » dans le plan image de la caméra gauche donne un point
image de coordonnées: s’exprimant à un facteur d’échelle prés par (triangles
semblables):

Nous fusionnons les deux systèmes pour aboutir à :

Chargé du module: Pr. Abdelhamid LOUKIL Slide 10

 Qui est équivalent à:

De l’égalité précédente nous pouvons déduire:

Sachant que :
• La matrice Tgd peut être estimée par une procédure de calibration stéréoscopique. Tous les
éléments Rij et ax,ay,az sont fixes et connus.
• xg et yg sont la projection de M dans le plan image caméra gauche.
• Zg est la profondeur de M dans le repère caméra gauche.

A lors, l’équation précédente représente une droite planaire, située sur le plan image droite
dont sous la forme :

dont les coefficients A, B, et C sont définies par :

Chargé du module: Pr. Abdelhamid LOUKIL Slide 11

 En résumé, étant donné un pixel de l’image gauche, il correspondra, dans l’image de
gauche, une droite (l’) dont l’équation est donnée par :

Cette droite est appelée la droite épipolaire correspondante au pixel

b. La matrice essentielle E
La matrice essentielle, notée E(3 x 3) d’un système stéréoscopique, est donnée par :

Elle représente les caractéristiques physiques du système stéréoscopique. Sa connaissance

nécessite une calibration stéréoscopique.

Chargé du module: Pr. Abdelhamid LOUKIL Slide 12

 c. La matrice fondamentale F
Une autre manière d’exprimer la géométrie épipolaire consiste à trouver la relation matricielle
reliant les coordonnées image aux coordonnées image comme suit:

La matrice [F] de dimension (3 x 3) et de rand 2 s’appelle matrice fondamentale du système

stéréoscopique.

d. Estimation de la matrice essentielle E = calibrage stéréoscopique

Ro
Le calibrage stéréoscopique consiste à faire une calibration
simultanée des deux caméras «caméra gauche » et
« caméra droite » pour obtenir :
> Les deux matrices internes [Mintg] et [Mintd];
> Les deux matrice externes [Tog] et [Tod]; [Tog]

[Tod]

Rcg Rcd

Chargé du module: Pr. Abdelhamid LOUKIL Slide 13

 Ensuite former la matrice externe du système stéréoscopique comme suit:

Les 12 paramètres externes étant connus, nous pouvons établir la matrice E:

e. Estimation de la matrice fondamentale

La formule régissant la matrice fondamentale est:

Avec : rang de [F] = 2, cela veut dire que det[F] = 0.

On peut aussi l’écrire autrement comme sui:

Chargé du module: Pr. Abdelhamid LOUKIL Slide 14

 La connaissance d’une paire de pixels appariés, nous permet d’écrire une équation à 9 inconnues:

Le fait d’avoir 9 inconnues à estimer, en plus de la contrainte de rang, il nous faut donc 8 paires
De pixels appariés pour complètement estimer la matrice fondamentale [F].

Généralement, pour minimiser d’estimation, on prend un très grand nombre de points appariés
pour cette procédure (généralement des centaines de paires)

Chargé du module: Pr. Abdelhamid LOUKIL Slide 15