Chapitre 4 :

Structure From Motion

Vision par Ordinateur

2021 - 2022 M. SID AHMED BERRABAH
M2 - MID514
 Structure from Motion
2

But : Donnant un ensemble de correspondances de features dans

une séquence obtenue par une caméra en mouvement, déterminer :

➢ La séquence des position de la caméra

➢ La structure 3D de la scène

30/11/2021
 Structure from Motion
3

Article de base : Tomasi and Kanade, “Shape and Motion from Image
Streams under Orthography,” International Journal of Computer Vision
(IJCV), Vol 9, pp.137-154, 1992.

30/11/2021
 Structure from Motion
4

Rappel : Transformation du repère de l’espace au repère de la caméra

PC = R ( PW - C
)

30/11/2021
 Structure from Motion
5

Projection Perspective

⚫ Équations non linéaire

⚫ Tout point sur la droite OP a p comme image !!

30/11/2021
 Structure from Motion
6

Projection Perspective

Projection perspective : Lignes parallèle apparaissent comme si

elle se rencontrent à un point de disparition (vanishing point) ;
les objets lointains ont l’air petit.
30/11/2021
 Structure from Motion
7

Simplification : Projection Perspective simplifiée

Projection perspective faible : Lignes parallèles restent

parallèles ; Une mise à l’échelle pour simuler le changement de
taille du à la distance des objets.
30/11/2021
 Structure from Motion
8

Projection Orthographique

Projection parallèle pure. Cas très simplifié ou on ignore la mise

à l’échelle du à la distance.

30/11/2021
 Structure 3D à partir d’un champ de mouvement
éparse
9

⚫ But : Estimer la structure 3D à partir d’un ensemble de

correspondances de features.
⚫ Suppositions :

✓ Le modèle de la caméra est orthographique ou

projective
✓ Les positions de n points pi de l’image ont été suivi dans
F trames (F ≥ 3)
✓ Les n points pi de l’image correspondent aux N points
non co-planaire de la scene P1, P2, …, PN

30/11/2021
 Structure from Motion
10

Équation de la matrice de projection perspective

En utilisant les coordonnées homogènes

30/11/2021
 Structure from Motion
11

Équation de la matrice de projection perspective simplifiée

En utilisant les coordonnées homogènes

30/11/2021
 Structure from Motion
12

Équation de la matrice de projection orthographique

En utilisant les coordonnées homogènes

30/11/2021
 Structure from Motion
13

Combiné avec les paramètres externes

30/11/2021
 Structure from Motion
14

Combiné avec les paramètres externes

30/11/2021
 Structure from Motion
15

Orthographique : Équation algébrique

30/11/2021
 Structure from Motion
16

Plusieurs Points, plusieurs trames (images)

30/11/2021
 Structure from Motion
17

Approche de factorisation

N points
P1 P2 ... Pj ... PN
( le but est de retrouver ces points)

A noter que la position absolue de l’ensemble des points ne peut

être retrouvée d’une façon unique, donc …

Première astuce : Considérer l’origine du système des

coordonnées de l’espace au centre de passage des N points :

30/11/2021
 Structure from Motion
18

Approche de factorisation

Centre à O :

Ce qui donne :

Ceci est le centre de masse des coordonnées x dans la trame t

30/11/2021
 Structure from Motion
19

Approche de factorisation

Deuxième astuce : soustraire le centre de masse des points

2D dans chaque trame (Centrage)

30/11/2021
 Structure from Motion
20

Approche de factorisation

Nous avons donc :

Supprimer des équations les positions inconnues de la caméra.

30/11/2021
 Structure from Motion
21

Approche de factorisation

Nous pouvons réécrire les système sous forme d’une

matrice à partir des points centrés de l’images

Tous les points

dans un seul repère

30/11/2021
 Structure from Motion
22

Approche de factorisation

Nous pouvons réécrire les système sous forme d’une

matrice à partir des points centrés de l’images

Suivre un point à
travers tous les trames

30/11/2021
 Structure from Motion
23

Approche de factorisation

La matrice des points centrés de l’image

30/11/2021
 Structure from Motion
24

Approche de factorisation

Matrice des Mouvement Structure

mesures (rotation de (Points 3D de
centrées la caméra) la scène)

30/11/2021
 Structure from Motion
25

Approche de factorisation

Théorème du Rang :
La matrice 2FxN des observations centrées a minimum un
rang de 3

30/11/2021
 Structure from Motion
26

Rappel (Maths) :
⚫ Le rang d’une matrice est le nombre de ses colonnes (lignes)
linéairement indépendantes
⚫ Le rang d’une matrice (m x n) est au maximum égale à
min(m,n).
⚫ Le rang de A*B est au moins égale à min(rang(A), rang(B))

Cette matrice doit

avoir un rang de 1
30/11/2021
 Structure from Motion
27

Approche de factorisation

Une SVD sur la matrice des mesures W donne :

Une matrice diagonale avec les

valeurs propres classées du plus
grande au plus petites :
d11 >= d22 >= d33 >= ... 30/11/2021
 Structure from Motion
28

Approche de factorisation

Une SVD sur la matrice des mesures W donne :

Une autre propriétés du rang d’une matrice : Le rang d’une matrice

est égale au nombre des valeurs propres non nulles

d11 , d22 , d33 sont les seules valeurs propres non nulles ( dans la
pratique on peut trouver plus de 3 valeurs propres non nulles à
cause du bruit mais le théorème du rang nous laisse considérer que
les trois plus grandes valeurs propres mettes les autres à 0).
30/11/2021
 Structure from Motion
29

Approche de factorisation

Celles-ci sont nulles

Ces 3 sont non nulles

30/11/2021
 Structure from Motion
30

Approche de factorisation

30/11/2021
 Structure from Motion
31

Approche de factorisation

Points de l’images observées

Mouvement Structure
de la caméra de la scène 30/11/2021
 Structure from Motion
32

Résumé de l’Approche de factorisation

Supposé :
- Caméra orthographique
- N point non co-planaires suivis sur F>=3 trames
Former la matrice des mesures centrées
- avec et
- mxj et myj sont la moyenne des points dans la trame i
Calculer la SVD de W = U D VT :
- U est 2Fx2F
- D est 2FxN
- VT est NxN

30/11/2021
 Structure from Motion
33

Résumé de l’Approche de factorisation (suite)

Considérer les 3 grandes valeurs propres et former :

- D’ = 3x3 matrice diagonale avec les grandes valeurs propres
- U’ = 2Fx3 matrice avec les colonnes correspondantes de U
- V’T = 3xN matrice avec les lignes correspondantes de VT
Définir :
- M = U’ D’1/2 et S = D’1/2 V’T

30/11/2021
 Structure from Motion
34

Exemple de résultat :

30/11/2021
 Structure from Motion
35

Exemple de résultat :

30/11/2021