1

Ecole Polytechnique de Tunisie (EPT)

2ème année Mastère Ingénierie avancée – IoT et Traitement des

données (IoT & TD)

Séminaire d’ouverture scientifique :

Nouvelles tendances de compression
des données visuelles
Dorsaf SEBAI
 2

Chapitre 3 :
Compression de la vidéo 3D

1. Applications 3D
2. Représentations de la vidéo 3D
3. Cartes de profondeur
4. Système de transmission de la vidéo 3D
5. Synthèse de vue
6. Compression des cartes de profondeur
7. 3D-HEVC

Dorsaf SEBAI
 3

Applications 3D (1)

• Affichage 3D : une sensation d’immersion dans la scène observée.

• Vidéo à point de vue libre (FVV) : navigation dans la scène en choisissant
librement le point de vue désiré.

Caméra
virtuelle

Dorsaf SEBAI
 4

Applications 3D (2)

• The next step in IoT is vision :

 IoT with depth.
 Give computers depth perception to see as humans.
 Ex.: self-driving cars, drones, facial recognition (spoofed by a photo
or makeup), …

• Image sensors that capture image and depth simultaneously.

Dorsaf SEBAI
 5

Représentations de la vidéo 3D (1)

Vidéo stéréoscopique (CSV) : 2-texture

Vidéo multi-vues (MVV) : N-texture
Vidéo plus profondeur ( V+D) : 1-texture/1-profondeur
Vidéo multi-vues plus profondeur (MVD) : N-texture/N-profondeur
Dorsaf SEBAI
 6

Représentations de la vidéo 3D (2)

Représentation Affichage 3D FVV

CSV
MVV
V+D
MVD

Moins de zones
d’occultation

Dorsaf SEBAI
 7

Cartes de profondeur (3)

Images en 256 niveaux de gris de même
dimension que les images de texture.

Chaque pixel de la carte de profondeur

indique la distance à la caméra du pixel
de texture correspondant.

v : niveau de gris
z : profondeur
znear : profondeur du pixel le plus proche
zfar : profondeur du pixel le plus éloigné
Dorsaf SEBAI
 8

Cartes de profondeur (2)

• Représentation planaire par morceaux avec des discontinuités nettes

 Plans adjacents séparés par des contours de formes arbitraires.
 L’intensité des pixels coplanaires varie d’une manière lisse.
 Les discontinuités de profondeur sont nettes (sharp).

Dorsaf SEBAI
 9

Cartes de profondeur (3)

• Impact des discontinuités de profondeur sur la synthèse de vue

 Régions lisses : effet peu nuisible à la qualité des vues de synthèse.
 Pixels à proximité des contours : dégradation visible des vues synthétisées.
 Préservation des discontinuités.

Dorsaf SEBAI
 10

Système de transmission de la vidéo 3D

1 Acquisition 6 Affichage
Les cartes de profondeur ne sont pas
elles-mêmes affichées

5 Synthèse de vue
Estimation
Algorithme DIBR

2 Compression 4 Décompression

Encodeur de Encodeur de Décodeur de Décodeur de

texture profondeur texture profondeur

3 Transmission Dorsaf SEBAI

10
 11

Synthèse de vue

Dorsaf SEBAI
 12

Compression des cartes de profondeur (1)

Avec transformation

[Kim2006] S.-Y. Kim, S.-B. Lee, and Y.-S. Ho, “Three dimensional natural video system based on layered representation of depth maps,” IEEE Transactions on
Consumer Electronics, vol. 52, pp. 1035–1042, 2006.
Dorsaf SEBAI
 13

Compression des cartes de profondeur (2)

Avec transformation

[Cheung2010] G. Cheung, J. Ishida, A. Kubota, and A. Ortega, “Transform domain sparsification of depth maps using iterative quadratic programming,” in Proceedings
of IEEE International Conference on Image Processing, 2011.

Dorsaf SEBAI
 14

Compression des cartes de profondeur (3)

Avec transformation

[Maitre2010] M. Maitre and Min N. Do, “Depth and depth-color coding using shape-adaptive wavelets,” Elsevier Visual Communication and Image Representation
Journal, vol. 21, pp. 513–522, 2010.
Dorsaf SEBAI
 15

Compression des cartes de profondeur (4)

Sans transformation

[Farin2007] D. Farin, R. Peerlings, and P. H. N. de With, “Depth-image representation employing meshes for intermediate view rendering and coding,” in Proceedings
of 3DTV-Conference : The True Vision - Capture, Transmission and Display of 3D Video, 2007.
Dorsaf SEBAI
 16

Compression des cartes de profondeur (5)

Sans transformation

[Gautier2012] Gautier, O. Le Meur, and Christine Guillemot, “Efficient depth map compression based on lossless edge coding and diffusion,” in Proceedings of IEEE
Picture Coding Symposium, 2012.
Dorsaf SEBAI
 17

Compression des cartes de profondeur (6)

Sans transformation

[Morvan2007] Y. Morvan, D. Farin, and P. H. N. de With, “Depth-image compression based on an R-D optimized quadtree decomposition for the transmission of
multiview images,” in Proceedings of IEEE International Conference on Image Processing, 2007.
Dorsaf SEBAI
 18

3D-HEVC : Rétrospective

Dorsaf SEBAI
 19

3D-HEVC : Structure

Dorsaf SEBAI
 20

3D-HEVC : DMMs
Mode 3 : Inter-component-predicted wedgelet partitioning
Mode 4 : Inter-component-predicted contour partitioning

Mode 1 : Explicit wedgelet partitioning

Mode 2 : Intra-predicted wedgelet partitioning

Dorsaf SEBAI