15-04-01

Synchronisation en MM

Techniques de spécification de
la synchronisation
• Approches à base de contraintes
d’intervalles ou d’instants
• Approches à base d’axes partagés par
les objets
• Approches à base de contrôle de flux
• Approches à base de programmation
événementielle

GTI660: Introduction aux DBMM 2

Département de génie logiciel et des TI

1
 15-04-01

Synchronisation synthétique

• Spécifiée explicitement par l’auteur

entre différents objets média afin de
décrire un scénario
! Définie sous forme de relations temporelles
entre les instants de début et/ou les
instants de fin de différents objets média
! Synchronisation à gros grain

GTI660: Introduction aux DBMM 3

Département de génie logiciel et des TI

Synchronisation naturelle

• Synchronise deux types d’objets (une

vidéo avec audio), où les paramètres de
synchronisation sont déterminés lors de
la capture des objets
! Pour une vidéo à 25 images /seconde et une audio
à 8000 échantillons /seconde, une image doit être
affichée tous les 320 échantillons audio
! Synchronisation fine ou synchronisation de lèvres
(lip-sync)
GTI660: Introduction aux DBMM 4
Département de génie logiciel et des TI

2
 15-04-01

Naturelle vs synthétique
• Synchronisation naturelle
! Les relations temporelles introduites lors du processus d’acquisition doivent
être respectées au moment de la présentation
! La présentation et l’acquisition des données sont découplées
• Présence d’une unité de stockage
• Possibilité d’accès aléatoire et modification de la vitesse de présentation

• Synchronisation synthétique
! Supporte des relations de synchronisation flexibles entre les médias
! À la phase de présentation, les données sont présentées dans un mode
synchronisé
! Utilisation d’un modèle pour la spécification des opérations et des conditions
de synchronisation temporelle
• Ex. Présentation des flots en parallèle

5
Département de génie logiciel et des TI

Synchronisation avec
l’environnement
• Permet à une application multimédia
d’effectuer des actions en réponse à
l’arrivée d’un événement venant de
l’extérieur
• L’utilisateur peut contrôler le déroulement
d’une présentation (démarrer, stopper ou
ralentir), Modifier le comportement normal de
l’application
• Ex: navigation via les documents multimédia
en réponse à l’interaction utilisateur
GTI660: Introduction aux DBMM 6
Département de génie logiciel et des TI

3
 15-04-01

Synchronisation de groupe

• Réaliser le principe de ‘What You See Is

What I See’ (WYSIWIS) dans des
applications coopératives
• Tous les participants doivent recevoir au
même instant la même vue des fenêtres
partagées et le même message audio

GTI660: Introduction aux DBMM 7

Département de génie logiciel et des TI

Notions de synchronisation

• Organisation des données sous forme

d’unités logiques (LDUs)
• Différents niveaux de granularité des
LDUs
! Un objet vidéo se compose d’un ensemble de
scènes et de trames
! Chaque trame est divisé en blocs (16 x 16 pixels)
! Chaque pixel se compose de deux valeurs; la
luminance et la chrominance

GTI660: Introduction aux DBMM 8

Département de génie logiciel et des TI

4
 15-04-01

Notions de synchronisation

• Décomposition hiérarchique des objets

média
! Hiérarchie basée sur le contenu
! Hiérarchie basée sur le codage

GTI660: Introduction aux DBMM 9

Département de génie logiciel et des TI

Classification des LDUs

• LDUs fermées: durée prédictible

! Séquence vidéo à 30 images par seconde: les
images sont considérées comme des LDUs
fermées à 1/30 seconde
! Un flot audio à 8000 échantillons par seconde:
LDUs à 512 échantillons d’où une durée de 0.064
s par LDU
! La durée peut être spécifiée par l’usager: nombre
d’images dans une séquence d’animation
! Les timers sont considérés comme un flot de LDUs
vides avec une durée fixe
GTI660: Introduction aux DBMM 10
Département de génie logiciel et des TI

5
 15-04-01

Classification des LDUs

• LDUs ouvertes: la durée ne peut pas

être prédite avant l’exécution de la
présentation
• Entrées provenant d’une source naturelle: caméra,
microphone
• Interaction usager: dans une interface graphique les
événements sont considérés comme des LDUs
• Dans une interaction usager la durée de l’interaction
n’est pas connue à l’avance
• La durée des LDUs est variable

11
Département de génie logiciel et des TI

Synchronisation fine inter-

objets
• Différentes vues d’un journaliste ont été
considérées pour évaluer la perception du
skew (entre le mouvement des lèvres et la
parole) en fonction de la résolution

12
Département de génie logiciel et des TI

6
 15-04-01

13
Département de génie logiciel et des TI

14
Département de génie logiciel et des TI

7
 15-04-01

Perception du décalage entre

l’audio et la vidéo

15
Département de génie logiciel et des TI

Tolérance

• Le type de synchronisation de deux flots

audio dépend du contenu
! Le skew toléré pour deux canaux audio (signal stéréo) est
de + / - 11 ms
! Le skew toléré entre la parole et un background musical est
de 500 ms

• La synchronisation entre la vidéo et le

texte
! Un skew de 500 ms est suffisant (la perception humaine
d’une image simple nécessite au moins une seconde)

16
Département de génie logiciel et des TI

8
 15-04-01

Synchronisation par intervalle

• La durée de présentation d’un objet est

vue comme un intervalle
! Deux intervalles de temps peuvent être synchronisés selon 7
modes différents
! Certains sont réversibles: before et after
! Sept types sont non réversibles

GTI660: Introduction aux DBMM 17

Département de génie logiciel et des TI

Synchronisation par intervalle

GTI660: Introduction aux DBMM 18

Département de génie logiciel et des TI

9
 15-04-01

Synchronisation par intervalle

19
Département de génie logiciel et des TI

Avantages de la
synchronisation par intervalle
• Permet une intégration facile des objets
indépendants du temps
• Permet de manipuler des LDUs ouvertes et donc
d’intégrer des objets interactifs
• Supporte la spécification de relations temporelles
indéterministes
• Des opérateurs de disjonction peuvent être utilisés
pour spécifier des relations de présentation comme
non parallèle
• Modèle flexible permettant une spécification avec
plusieurs variétés d’exécution de présentations
20
Département de génie logiciel et des TI

10
 15-04-01

Inconvénients de la
synchronisation par intervalle
• La spécification est complexe
• Ne permet pas la spécification du « skew »
• La spécification des relations temporelles entre objets
est directe mais ne permet pas ça pour des sous-
unités d’objets
• La flexibilité du modèle conduit à des inconsistances
à l’exécution
• Les inconsistances doivent être résolues à l’exécution
sinon détectées avant l’exécution afin de rejeter la
spécification
GTI660: Introduction aux DBMM 21
Département de génie logiciel et des TI

Synchronisation basée sur les

axes
• Synchronisation basée sur un « Timer »
global
• Les objets sont attachés à un axe de temps représentant
une abstraction du temps réel
• Les objets sont indépendants les uns des autres; la
synchronisation n’est pas affectée en enlevant un objet
• Dans les média actifs, le temps lié au monde est
accessible à tous les objets
• Chaque objet peut mettre en correspondance le temps
du monde à son axe local de temps
• Lorsque la distorsion entre le temps du monde et le
temps local dépasse une certaine limite une
resynchronisation est requise
22
Département de génie logiciel et des TI

11
 15-04-01

Avantage de la
synchronisation basée sur les
axes
• Facile à comprendre
• Le support des hiérarchies est facile à réaliser
• Facile à maintenir vue l’indépendance
mutuelle des objets
• Une bonne abstraction du contenu des média
• Facile d’intégrer des objets indépendants du
temps

GTI660: Introduction aux DBMM 23

Département de génie logiciel et des TI

Inconvénients de la
synchronisation basée sur les
axes
• N’est pas suffisante pour exprimer une synchronisation entre
différentes présentations de flots
• La qualité de service en terme de valeur de « skew » doit être spécifiée
indirectement
• en utilisant un axe de temps commun
• En spécifiant une qualité de service additionnelle pour chaque paire de flots
• Étant donné que la synchronisation est définie par rapport à des points
fixes dans le temps, des objets de durée inconnue ne peuvent pas être
intégrés; une extension du modèle est requise
• Chaque flot doit se synchroniser lui même au « timer » global
• Difficile pour les flots audio à cause du problème de re-échantillonnage
• Un flot audio est souvent utilisé comme « timer » global
• Difficile de synchroniser plusieurs flots audio

GTI660: Introduction aux DBMM 24

Département de génie logiciel et des TI

12