Vous êtes sur la page 1sur 29

Université de Carthage

Ecole Nationale d'Ingénieurs de Bizerte


A-U 2019/2020
seddik.shiri@gmail.com

GI2/GM2 Vision – S2 - ENIB 1

Plan du cours
1. Généralités
- Qu'est-ce que la vision ?
- Pourquoi est-ce que la vision est importante en robotique?
2. Image numérique
- Définitions
- Les différents types d’images
- Les différents formats d’images
- Éclairage, Histogramme
- Bruits dans une image
- Transformations d'images
- Les différents types de traitements

3. Exploitation de l'information visuelle

4. Estimation de la mesure

5. Asservissements visuels
GI2/GM2 Vision – S2 - ENIB 2

1
Généralités
Qu'est-ce que la vision ?
• Le monde a une structure 3D et est composé d'objets

• L'être humain sait parfaitement décrire et interpréter ce monde

• Pourtant, l'information disponible sur la rétine n'est qu'un


ensemble de points (environ un million de picture elements
ou pixels)...

• Chaque pixel contient des informations sur la lumière (quantité


et contenu spectral/couleur) reçue en ce point de la rétine

GI2/GM2 Vision – S2 - ENIB 3

Généralités
Qu'est-ce que la vision ?
La vision par ordinateur ne cherche pas à reproduire la vision
humaine, mais à construire un modèle algorithmique qui, vu de
l'extérieur, possède des propriétés semblables.

GI2/GM2 Vision – S2 - ENIB 4

2
Généralités
Contexte de la vision par ordinateur
Place des capteurs visuels parmi les autres:

- Très grand débit d'information (de l'ordre de 100000 bit/s /


100 bit/s pour un capteur de contact et 1000 bit/s pour un
capteur de force )

- Perception à distance de la géométrie d'une scène (la


plupart des autres capteurs nécessitent le déplacement du
bras de robot pour explorer l'environnement, ce qui est lent).

- Les limitations d'utilisation des capteurs visuels sont liés à


l'impossibilité de percevoir les grandeurs dynamiques (forces
et moments).

GI2/GM2 Vision – S2 - ENIB 5

Généralités
Techniques diverses liées à l'image
Les capteurs visuels délivrent des images qui doivent être traitées. En
traitement d'image, on peut distinguer deux catégories principales: la vision
artificielle (compréhension de scènes par des machines) et l'infographie
(traitement d'images pour des observateurs humains).

Quelques domaines particuliers


GI2/GM2 Vision – S2 - ENIB 6

3
Généralités
Les éléments d’un système de vision

Le dispositif d’éclairage, l’objet à contrôler, le dispositif optique (objectif )


la caméra (numérique ou analogique), le système de transfert (numérique ou
analogique), l’unité de traitement , Entrées / Sorties et Mécanique et
automatisme associés
GI2/GM2 Vision – S2 - ENIB 7

Généralités
Pourquoi enseigner la vision artificielle dans un cours de robotique?
• Lorsqu’un robot interagit avec l’environnement, ce dernier
doit être capable de percevoir son environnement.

• La vision artificielle au sens large constitue l’un des moyens


de perception des plus puissants qu’il existe actuellement.

GI2/GM2 Vision – S2 - ENIB 8

4
Généralités
Exemple d’application: Prélèvement des pièces en vrac dans
un caisson

Vidéo

La reconstruction tridimensionnelle
d'objets est réalisé au moyen de
deux caméras et du balayage laser.

GI2/GM2 Vision – S2 - ENIB 9

Généralités
Exemple d’application: simulateur de conduite

La nacelle du “pilote”:

GI2/GM2 Vision – S2 - ENIB 10

5
Généralités
Exemple d’application: Robots chirurgicaux
Quelques robots médicaux populaires:

Pour les interventions


En 2009 aux États-Unis, 60% des
principalement sur la
interventions au niveau de la
boîte cranienne.
prostate ont eu recours au robot
Da Vinci.
GI2/GM2 Vision – S2 - ENIB 11

Image numérique: définitions

Chaîne d'acquisition de l'information visuelle

Image numérique: c’est une matrice de X×Y pixels (picture


element) correspondant à l’échantillonnage et la quantification
d’un signal acquis avec une caméra.

GI2/GM2 Vision – S2 - ENIB 12

6
Image numérique: définitions
• Chaque pixel est localisé par ses coordonnées x et y dans l’image.
• Chaque pixel est associé à un niveau de gris n ou des niveaux de
composante couleur codé sur N bits et qui représentent respectivement le
niveau de luminosité ou de couleur de la zone correspondante dans la
scène observée.
Pavage carré

Image numérique
codé sur 8 bits

Repère, coordonnées et niveau de gris


GI2/GM2 Vision – S2 - ENIB 13

Image numérique: définitions


Effet de la résolution:

Effet du nombre de bits:

GI2/GM2 Vision – S2 - ENIB 14

7
Image numérique: définitions
Voisinage
Un pixel p possède 4 voisins horizontaux et verticaux,
appelés les 4-voisins de p et notés N4:

GI2/GM2 Vision – S2 - ENIB 15

Image numérique: définitions


Distances entre deux pixels P(xp,yp) et Q(xq,yq)

GI2/GM2 Vision – S2 - ENIB 16

8
Image numérique: différents format
• Image en mode point (Bitmap)
Ce sont les niveaux de gris des pixels et leur position
dans l’image qui définissent le contenu de celle-ci.
(RAW, BMP, TIFF, JPEG , GIF ou PNG)
• Image vectorielle
Le contenu de l’image est défini par des vecteurs
dont les coordonnées sont les coordonnées de
points représentant une forme (EPS, EMF et WMF).
• Image binaire
Dans une image binaire, les pixels sont
représentés par deux états logiques 0
(noir) et 1 (blanc). C’est un codage
de l’image sur 1 bit.
GI2/GM2 Vision – S2 - ENIB 17

Image numérique: différents format


• Image à niveaux de gris (intensité ou luminance)
Chaque pixel est codé sur N bits, ce qui lui confère des
valeurs entières comprises entre 0 (noir) et 2N-1 (blanc).

GI2/GM2 Vision – S2 - ENIB 18

9
Image numérique: différents format
• Image couleur
Une image couleur correspond à la synthèse additive de 3 images, rouge,
vert et bleu. Chaque pixel est donc codé sur 3×N bits.

A chaque longueur d’onde


correspond une couleur perçue par
l’oeil humain.

GI2/GM2 Vision – S2 - ENIB 19

Image numérique: différents format


• Image indexée
La couleur ou l’intensité des niveaux de gris est déterminé
par un index auquel correspond la couleur en question.

GI2/GM2 Vision – S2 - ENIB 20

10
Éclairage
Dépendamment des opérations que vous désirez effectuer, vous devrez
choisir un éclairage approprié. Ici, on présente quatre techniques d’éclairage:

1. L’éclairage diffus utilisé pour les objets lisses ayant des surfaces
régulières
2. L’éclairage direct utilisé souvent pour détecter des défauts de surface.

(1)
(2)

GI2/GM2 Vision – S2 - ENIB 21

Éclairage
3. L’éclairage arrière qui permet de bien générer des images en noir et
blanc

4. L’éclairage structuré par bande ou par grille. La déformation du patron


permet d’identifier les caractéristiques de l’objet.

GI2/GM2 Vision – S2 - ENIB 22

11
Histogramme
Définition et notation
• L'histogramme d'une image en niveau de gris dénombre les
occurrences de chacun des niveaux.

• Notation : h(i) = nombre de pixels dans l'image ayant le niveau de gris i.


Cas considéré : image codée sur m=8 bits 256 niveaux de gris
disponibles

GI2/GM2 Vision – S2 - ENIB 23

Histogramme
Informations issues de l'histogramme
• luminance de l'image = moyenne μ des niveaux de gris.
• variance σ ² ou écart-type σ = amplitude moyenne de la variation des
niveaux de part et d'autre de la moyenne.

GI2/GM2 Vision – S2 - ENIB 24

12
Histogramme
Informations issues de l'histogramme
• gamme dynamique de l'image : différence entre le plus haut et le plus bas
niveau présents dans l’image imax - imin
• contraste de l'image : peut être estimé par l'écart-type σ . Il est d'autant
plus élevé que l'histogramme est « étalé » horizontalement.

GI2/GM2 Vision – S2 - ENIB 25

Histogramme
Remarque importante
L'histogramme donne une information sur les occurrences (fréquences
d'apparition) des niveaux de gris des pixels de l'image, mais ne donne
aucune indication sur la répartition (fréquences spatiales) de ces niveaux
de gris au sein de l'image.

Exemple : ces 4 images ont même histogramme, lequel ?

GI2/GM2 Vision – S2 - ENIB 26

13
Bruits dans une image
Des défauts liés à l'environnement (ex. poussières), au
capteur (ex. dérive) ou à l'échantillonnage, produisent des
aberrations locales dans l'image.
Bruit d'amplification Bruit de quantification Bruit « Poivre et sel »

dérive thermique des quantification des valeurs pixels défectueux, erreurs


composants en niveaux discrets de CAN, ...

GI2/GM2 Vision – S2 - ENIB 27

Transformations d'images

GI2/GM2 Vision – S2 - ENIB 28

14
Transformations d'images

GI2/GM2 Vision – S2 - ENIB 29

Exemple de transformations ponctuelles : LUT

GI2/GM2 Vision – S2 - ENIB 30

15
Exemple de transformations ponctuelles : LUT

GI2/GM2 Vision – S2 - ENIB 31

Exemple de transformations ponctuelles : LUT

GI2/GM2 Vision – S2 - ENIB 32

16
Exemple de transformations ponctuelles : Opérations arithmétiques

GI2/GM2 Vision – S2 - ENIB 33

Exemple de transformations ponctuelles : Opérations logiques

GI2/GM2 Vision – S2 - ENIB 34

17
Exemple de transformations ponctuelles : Opérations arithmétiques

GI2/GM2 Vision – S2 - ENIB 35

Exemple de transformations locales : filtres

GI2/GM2 Vision – S2 - ENIB 36

18
Les différents types de traitements

GI2/GM2 Vision – S2 - ENIB 37

Les différents types de traitements

GI2/GM2 Vision – S2 - ENIB 38

19
Exploitation de l'information visuelle
Technologie des caméras:

GI2/GM2 Vision – S2 - ENIB 39

Exploitation de l'information visuelle


Technologie des caméras: Les capteurs

GI2/GM2 Vision – S2 - ENIB 40

20
Exploitation de l'information visuelle
Technologie des caméras: Les capteurs

GI2/GM2 Vision – S2 - ENIB 41

Exploitation de l'information visuelle


Exemple: Les capteurs CCD
– Chaque photon incident créé une paire électron-trou
– L'électron est capturé par un champ électrique dans un puits de charge
– Les électrons sont accumulés dans les puits durant le temps d'exposition
puis sont transférés, tous en même temps, dans des registres à décalage
avant d'être convertis séquentiellement en tension.

GI2/GM2 Vision – S2 - ENIB 42

21
Exploitation de l'information visuelle
Exemple: Les capteurs vision chip

GI2/GM2 Vision – S2 - ENIB 43

Exploitation de l'information visuelle


Transfert de l'information visuelle

GI2/GM2 Vision – S2 - ENIB 44

22
Estimation de la mesure
Reconstruction de la mesure

GI2/GM2 Vision – S2 - ENIB 45

Estimation de la mesure
Reconstruction de la mesure

GI2/GM2 Vision – S2 - ENIB 46

23
Estimation de la mesure
Marqueurs lumineux

GI2/GM2 Vision – S2 - ENIB 47

Estimation de la mesure
Marqueurs lumineux: Exemple d'un LASER ponctuel

GI2/GM2 Vision – S2 - ENIB 48

24
Asservissements visuels
Définition:
Asservissement visuel (visual servoing) : asservissement d'un
robot où les grandeurs asservies sont extraites d'une ou de
plusieurs images fournies par une ou plusieurs caméras fixant
une zone de l'environnement du robot par rapport à laquelle
une tâche doit être effectuée.
Classification:
● En fonction de la position de(s) caméra(s)
● En fonction du type de commande
● En fonction du type de mesure
● En fonction de la rapidité

GI2/GM2 Vision – S2 - ENIB 49

Asservissements visuels
Classification en fonction de la position de(s) caméra(s)

GI2/GM2 Vision – S2 - ENIB 50

25
Asservissements visuels
Classification en fonction du type de commande

GI2/GM2 Vision – S2 - ENIB 51

Asservissements visuels
Classification en fonction du type de commande

GI2/GM2 Vision – S2 - ENIB 52

26
Asservissements visuels
Classification en fonction du type de mesure
• Asservissement visuel 3D : la consigne et la mesure sont des
coordonnées d'attitude (pose). Afin d'estimer la mesure, il est
nécessaire de connaître la géométrie de l'objet d'intérêt.

Asservissement visuel 2D : la consigne et la mesure sont des


coordonnées de primitives visuelles L'asservissement 2D ne comporte
pas de reconstruction 3D. Une connaissance limitée de la géométrie de
la scène est suffisante.

• Asservissement visuel 2D 1/2 : l'asservissement de l'orientation


est un asservissement 3D. L'asservissement de position est un
asservissement 2D. Les 2 boucles d'asservissement sont découplées.

• Asservissement visuel d2D/dt : la grandeur asservie est un


champ de vitesse dans le plan image.

GI2/GM2 Vision – S2 - ENIB 53

Asservissements visuels
Classification en fonction de la rapidité

• Asservissement visuel lent :


Les asservissements visuels lents sont des asservissements
indirectes dont la fréquence d'échantillonnage est inférieure à
50Hz et dont le correcteur est élémentaire (souvent un simple
gain).

• Asservissement visuel rapide :

Les asservissements visuels rapides sont des


asservissements directes (commande en vitesse ou en
couple) dont la fréquence d'échantillonnage est supérieure ou
égale à 50Hz et dont le correcteur est réglé de manière
optimale en fonction d'un modèle dynamique de la boucle
ouverte.
GI2/GM2 Vision – S2 - ENIB 54

27
Exemples d'asservissements visuels

GI2/GM2 Vision – S2 - ENIB 55

Exemples d'asservissements visuels

GI2/GM2 Vision – S2 - ENIB 56

28
Exemples d'asservissements visuels

GI2/GM2 Vision – S2 - ENIB 57

Exemples d'asservissements visuels

GI2/GM2 Vision – S2 - ENIB 58

29