IMN459 - Fondements de la

vision par ordinateur

Chapitre 1
Introduction
 1. Acquisition

IM 2. Traitement
N1
17 IM
Scène 3D Caméra optique
Une ou plusieurs N2
images 2D
59
Caractéristiques bas niveaux
(contours, jonctions, …)

Jusqu’à présent ...

IMN459 Fondements de la vision par ordinateur 2

… Sommes-nous prêts à quitter le 2D

Source :
Alexei Efros

et entrer dans le monde

réels ?

IMN459 Fondements de la vision par ordinateur 3

Plan du chapitre

1. Vision artificielle (« vision par ordinateur »)

2. Objectif
3. Extraction de l’information 3D
4. Vision « par ordinateur »
5. Applications
6. Difficultés et Problématiques

IMN459 Fondements de la vision par ordinateur 4

1.Vision artificielle (« vision par ordinateur »)
a) Modélisation et reproduction de la vision 3D humaine
b) Combinaison de connaissances
Mathématiques
Informatique
Génie électrique
Psychologie
Biologie
Sciences cognitives
Physique
etc.

c) Compréhension et simulation du système de vision humaine

tous ces domaines

IMN459 Fondements de la vision par ordinateur 5

1.Vision artificielle (« vision par ordinateur »)
d) Retrouver la profondeur
Retrouver la structure 3D d’un objet
Reconstruire un modèle 3D de la scène
e) Pourquoi retrouver la profondeur ?
Applications en infographie, synthèse d’images
Navigation automatique des robots
Reconnaissance aérienne
Applications médicales
Effets spéciaux
Visites virtuelles
Réalité virtuelle
…

IMN459 Fondements de la vision par ordinateur 6

2.Objectif
Étude des techniques pour l’interprétation, la reconstruction et la
compréhension d’une scène 3D à partir d’une ou plusieurs images 2D
Position d’un point dans la scène
Orientation des surfaces
Relief
Mouvement
qu es
…
r i st i
a ct é
C a r e a u
➫ aut niv
h

IMN459 Fondements de la vision par ordinateur 7

3.Extraction de l’information 3D
3.1. Caractéristiques
L’extraction d’informations 3D s’effectue à partir de certaines
caractéristiques (structures) présentes dans les images :
Niveaux de gris
Contours
Couleurs
qu es
Jonctions (coins)
r i st i
Textures a ct é
C a r e a u
Disparités ➫ as niv
Mouvement 2D b
Ombrages
Quantité de flou
...

IMN459 Fondements de la vision par ordinateur 8

3.Extraction de l’information 3D
3.2. Indices de profondeur
Certaines de ces caractéristiques sont appelées « indices de profondeur »

Il faut distinguer la profondeur des indices

Les indices de profondeur peuvent être plus complexes à trouver que les simples
caractéristiques bas niveau

IMN459 Fondements de la vision par ordinateur 9

3.Extraction de l’information 3D
3.2. Indices de profondeur
Les indices de profondeur dépendent de :
Connaissances a priori (lié à l’application)
Modèles 3D connu
Distance approximative
Scène intérieure ou extérieure
Degré de précision, temps réel?
Système de formation d’images
Actif (e.g. laser, sonar, rayon-X)
Passif (e.g. caméra optique)
Nombre et type d’images
1, 2, multi : statique
Vidéo
Domaine
Spatial
Fréquentiel

IMN459 Fondements de la vision par ordinateur 10

 1. Acquisition

IM 2. Traitement
N1
17 IM
Scène 3D Caméra optique
Une ou plusieurs
images 2D N2
59
Caractéristiques bas niveaux
(contours, jonctions, …)

Indices de profondeur
(flou,disparité, etc.)

IMN459 Fondements de la vision par ordinateur 11

3.Extraction de l’information 3D
3.2. Indices de profondeur
a) Classes d’indices de profondeur
Indices multioculaires : 2 points de vue différents ou plus
Décalages spatiaux
Mouvement
Silhouettes
...
Indices monoculaires : 1 seul point de vue, 1 ou plusieurs images,
Flou et mise au point
Déformation des éléments de texture
Diffusion de la lumière dans le milieu (atmosphère, eau, particule)
Illumination
…

IMN459 Fondements de la vision par ordinateur 12

3.Extraction de l’information 3D
3.3. Exemples
a) Disparités binoculaires Courtoisie de Guido Gerig

P
Exemple de disparités
binoculaires
(stéréovision)

Disparité binoculaire

Cg
Cd

IMN459 Fondements de la vision par ordinateur 13

3.Extraction de l’information 3D
3.3. Exemples
b) Ombrages

a) Sans ombrage

b) Avec ombrages

c) Exemple d’image réelle

Perception de la forme par l’ombrage

IMN459 Fondements de la vision par ordinateur 14

3.Extraction de l’information 3D
3.3. Exemples
c) Ombrages / symétrie / ombre portée

Perception de la forme/hauteur par les ombres et la silhouette

IMN459 Fondements de la vision par ordinateur 15

3.Extraction de l’information 3D Illusion due à la perspective

3.3. Exemples
d) Textures/perspective

a) Sans texture
b) Avec texture

Perception de la forme par la texture

c) Exemple d’image réelle

IMN459 Fondements de la vision par ordinateur 16

3.Extraction de l’information 3D
3.3. Exemples
e) Flou/Mise au point/Bougé

Source : site de Perception de la profondeur par la mise au point

Jordan S. Erenrich
IMN459 Fondements de la vision par ordinateur 17
 1. Acquisition

IM 2. Traitement
N1
17 IM
Scène 3D Caméra optique
Une ou plusieurs N2
images 2D
59
Caractéristiques bas niveaux (contours,
3. Visualisation / utilisation jonctions, …)

Reconstruction 3D

Reconnaissance

Interprétation
Carte de profondeur, nuage 3D, Indices de profondeur
Incrustation polygones, … (flou,disparité, etc.)

IMN459 Fondements de la vision par ordinateur 18

4.Vision « par ordinateur »
4.1. Matériel
a) Acquisition : appareil photo, caméra vidéo,
infrarouge," sonar, laser, projecteur,
échographe, ...
b) Traitement : ordinateur(s)
c) Visualisation : écran, imprimante,
lunettes à obturateur, projecteur,
téléphone ...

4.2. Logiciels
Nombreux; dépendent des caractéristiques disponibles

à vous
de
jouer

IMN459 Fondements de la vision par ordinateur 19

5.Applications
Essentiel pour de nombreux domaines

Cinéma Urbanisme
Aérospatial Astronomie
Scénographie Transports
Robotique Contrôle de qualité
Surveillance Divertissements
Biométrie …
Médecine

IMN459 Fondements de la vision par ordinateur 20

5.Applications
a) Reconstruction 3D de surfaces

IMN459 Fondements de la vision par ordinateur 21

5.Applications Courtoisie de Hartley & Zisserman, 2003
b) Reconstruction 3D à partir d’une seule image

Saint Jérôme dans son étude, Hendrick van Trois vues différentes synthétisées à l’aide
Steenwijck, 1630 du modèle 3D reconstruit

IMN459 Fondements de la vision par ordinateur 22

5.Applications Courtoisie de Steven Seitz

c) Modélisation d’acteurs virtuels

IMN459 Fondements de la vision par ordinateur 23

5.Applications
Courtoisie de Steven Seitz
d) Synthèses de points de vue

IMN459 Fondements de la vision par ordinateur 24

5.Applications Courtoisie de Hartley & Zisserman, 2003
e) Incrustations

Images originales

Images incrustée
IMN459 Fondements de la vision par ordinateur 25
5.Applications
f) Réalité augmentée

Source : YouTube

IMN459 Fondements de la vision par ordinateur 26

6.Difficultés et problématiques
6.1. Problème mal posé
La projection d’une scène 3D
sur une image n’est pas une
transformation inversible

6.2. Données bruitées ou imprécises

6.3. Erreurs d’approximation

méthode, support de l’image, quantification, erreurs numériques, …

IMN459 Fondements de la vision par ordinateur 27

6.Difficultés et problématiques
6.4. Utilisation d’hypothèses simplistes (non réalistes)
a) Exemple 1

Les cases blanches dans l’ombre ont le même niveau de gris

que les cases noires éclairées

IMN459 Fondements de la vision par ordinateur 28

6.Difficultés et problématiques
6.4. Utilisation d’hypothèses simplistes (non réalistes)
a) Exemple 1

Les cases blanches dans l’ombre ont le même niveau de

gris que les cases noires éclairées

IMN459 Fondements de la vision par ordinateur 29

6.Difficultés et problématiques
6.4. Utilisation d’hypothèses simplistes (non réalistes)
b) Exemple 2

c) Ce que l’on obtient

a) Ce que l’on voit b) Ce que l’on veut
(détection de contours)

IMN459 Fondements de la vision par ordinateur 30

6.Difficultés et problématiques
6.4. Utilisation d’hypothèses simplistes (non réalistes)
c) Exemple 3

Source : E.H. Gombrich,

The Image and the Eye

Influence de la position et des paramètres de la

caméra sur l’impression de distance et de taille

IMN459 Fondements de la vision par ordinateur 31

6.Difficultés et problématiques
6.5. Questions
a) Quel(s) indice(s) extraire ?
Les indices de profondeur ne sont pas toujours pertinents dans toutes les circonstances

Parallaxe due au mouvement Source : Cutting, 1996

Sensibilité à la profondeur

Occultation

Perspective

Sté Atm
réo osph
Flo ère
u Om
bra
ge
po
rté

1 10 100 Profondeur de la scène (en m)

IMN459 Fondements de la vision par ordinateur 32

6.Difficultés et problématiques
6.5. Questions
b) Comment les extraire ?

c) Comment représenter les caractéristiques extraites ?

d) Comment utiliser ces caractéristiques pour déduire

l’information 3D ?

IMN459 Fondements de la vision par ordinateur 33

Dans le cadre de ce cours
Images
Extraction
d’indices de
Calibrage profondeur
de la caméra

Disparité
binoculaire
Paramètres
Flou IMN559
Ombrages Perspective
intrinsèques et ⋯
extrinsèques

Estimation de la profondeur, reconstruction

IMN430
Applications
Modélisation 3D

IMN459 Fondements de la vision par ordinateur 34

7.Pipeline de la reconstruction stéréo
a) Calibrage des caméras
b) Rectification des images
c) Mise en correspondance et calcul de la disparité
d) Trouver la profondeur

Ce qui peut causer des erreurs :

Mauvais calibrage des caméras
Résolution des images inappropriée
Violation de certaines contraintes (ex. réflexions spéculaires)
Bruit
Occultations
Trop grand changement dans le point de vue
Pas assez de contraste dans certaines régions

IMN459 Fondements de la vision par ordinateur 35

Cas de la vision stéréoscopique
Images
formation, paramètres
Calibrage Outils multi-usage
de la caméra
de la caméra Géométrie projective
(Chap. 2)
(Chap. 4) (Chap 3)

Extraction
Stéréovision Disparité
Bases et rectification binoculaire par la mise en
de la paire stéréoscopique correspondance
(Chap. 5) (Chap. 6)

Estimation de la profondeur
(Chap 7)

Applications
(Partout)

IMN459 Fondements de la vision par ordinateur 36

Références Sources des images et vidéos :
Wikimedia commons
Pour en savoir plus ... (sauf si autre mention)

E. Trucco et A. Verri,
Introductory Techniques for 3-D Computer Vision, Prentice Hall, 1998.

B.K.P. Horn,
Robot Vision, MIT Press, 1986.

D.H. Ballard and C.M. Brown,

Computer Vision, Prentice Hall, 1982

R. Hartley and A. Zisserman,

Cambridge University Press, 2003

B. Cyganek and P. Siebert,

An introduction to 3D Computer Vision Techniques and Algorithms, Wiley, 2008

Autres bouquins sur le sujet

IMN459 Fondements de la vision par ordinateur 37