Sincronizacin

http://piglet.uccs.edu/~cs525/synmm/Bl akowski%20.pdf http://piglet.uccs.edu/~cs525/synmm/s ynmm.htm

ndice
Introduccin Nociones de sincronizacin Requerimientos de presentacin Modelos de referencia Especificacin de la sincronizacin

INTRODUCCIN

Introduccin I
Los sistemas multimedia avanzados se caracterizan por:
La generacin integrada y controlada por ordenador, y Almacenamiento, comunicacin, manipulacin y presentacin de Medios dependientes e independientes del tiempo.

Introduccin II
Sincronizacin en los sistemas multimedia se refiere a las relaciones temporales entre diferentes elementos multimedia. En un sentido mas amplio se puede utilizar el trmino, comprendiendo:
Los contenidos Las relaciones espacio temporales entre los diferentes elementos multimedia.

Elementos multimedia dependientes del tiempo

Se pueden representar como un flujo del elemento. Existen relaciones temporales entre unidades consecutivas del flujo multimedia. Si todas las unidades presentan la misma duracin el elemento multimedia es continuo. Un ejemplo es el vdeo: conjunto de frames ordenados de duracin fija.

Elementos multimedia independientes del tiempo

Cualquiera de los elementos multimedia tradicionales como el texto y las imgenes.

Nociones de sincronizacin

Caractersticas generales
Definiciones de sistemas multimedia Aspectos bsicos de la sincronizacin Sincronizacin inter e intra-elemento Unidades lgicas de datos Tipos de sincronizacin

Introduccin
La sincronizacin entre elementos multimedia comprende las relaciones entre elementos dependientes e independientes del tiempo. Ejemplo de sincronizacin entre medios continuos es el vdeo y el audio. Ejemplo de sincronizacin entre elementos dependientes e independientes es el de una cinta de audio y un carrusel de diapositivas.

Definiciones de Sistema Multimedia

Dependiendo del nmero de elementos multimedia. Dependiendo del tipo de medios soportados: dependientes e independientes del tiempo. Dependiendo del grado de integracin, entendiendo esta como que los diferentes elementos permanecen independientes pero pueden ser procesados y presentados juntos.

Definicin conjunta
Combinando los tres criterios anteriores, un sistema multimedia puede definirse como: Un sistema o aplicacin que soporta el procesamiento integrado de varios tipos de elementos multimedia con al menos uno de los medios dependiente del tiempo.

Clasificacin de los medios usados en sistemas multimedia

Mezclan medios analgicos Dependientes del tiempo Con medios digitales Independientes del tiempo

Aspectos bsicos de la sincronizacin

Relaciones entre contenidos Relaciones espaciales Relaciones temporales

Relaciones entre contenidos

Ejemplo: los datos de una hoja de clculo y su representacin grfica. En los documentos multimedia integrados es importante expresar estas relaciones explcitamente con el fin de permitir una actualizacin automtica de las diferentes vistas de los mismos datos.

Relaciones espaciales
Definen:
el espacio usado para la presentacin de un elemento multimedia en un dispositivo de salida en un cierto instante de tiempo en una presentacin multimedia

Ejemplos:
Tamao de una ventana Windows Espacio fsico en multimedia contextual

Relaciones temporales
Definen las dependencias temporales entre elementos multimedia. Ejemplo:
Las relaciones entre audio y vdeo en una grabacin de un concierto.

Sincronizacin intra-elemento
Se refiere a las relaciones temporales entre varias unidades de presentacin en un elemento multimedia dependiente del tiempo. Por ejemplo una secuencia de vdeo de 25 frames/seg. Cada frame debe mostrarse cada 40 mseg.

Sincronizacin inter-elemento
Se refiere a la sincronizacin entre diferentes elementos multimedia. Por ejemplo:

Unidades Lgicas de Datos

Los elementos multimedia dependientes del tiempo consisten normalmente de una secuencia de unidades de informacin denominadas: Unidades Lgicas de Datos (ULD). Se pueden observar diferentes niveles de granularidad a la hora de definir una ULD. P. e.
Una sinfona digitalizada tiene movimientos, notas musicales y muestras digitalizadas.

Unidades Lgicas de Datos

Los diferentes niveles de granularidad que implican la descomposicin jerrquica de los elementos multimedia pertenecen en general a dos tipos diferentes de jerarquas:
La que implica los contenidos (p. e. movimientos y notas de la sinfona) La que implica la codificacin de los datos (p. e. muestreo de la seal)

Unidades Lgicas de Datos

Pueden clasificarse en:
Cerradas:
Duracin predecible Ejemplos: ULDs parte de medios continuos como vdeo y audio.

Abiertas:
Duracin no predecible antes de la ejecucin de la presentacin. Ejemplos: Cmara o micrfono, en general objetos que incluyen la interaccin con el usuario.

Clasificacin de las ULDs

En el caso del vdeo digital se suele asociar ULD a frame. Por ejemplo para un vdeo de 30 imgenes por segundo, cada ULD tiene una duracin de 1/30 seg.

Clasificacin de las ULDs

En otros casos, por ejemplo el audio digital, la muestra individual es demasiado pequea para considerarse. En este caso una ULD se considera formada por 512 muestras.

Clasificacin de las ULDs

En los elementos multimedia generados en un ordenador la duracin de la ULD pueden ser seleccionada por el usuario. Un ejemplo son los frames de una animacin, dependiendo de la velocidad de presentacin se pueden usar mas o menos frames por unidad de tiempo.

Clasificacin de las ULDs

En algunas ocasiones las ULD varan en duracin. Por ejemplo: el registro de eventos de una interfaz grfica de usuario para reproducir la interaccin del usuario.

Clasificacin de las ULDs

Las ULD abiertas de duracin no predecible tienen lugar en el caso de que las ULD no tienen una duracin inherente. Un ejemplo de este tipo es una interaccin de usuario en la cual la duracin de dicha interaccin no se conoce por adelantado.

Clasificacin de las ULDs

Otros ejemplos: Sincronizacin de labios: necesita un alto nivel de acoplamiento entre las LDU de audio y video. Una presentacin de diapositivas con comentarios grabados debe estar relacionada temporalmente.

Tipos de sincronizacin
Sincronizacin en vivo:
Las seales se graban y reproducen juntas.

Sincronizacin artificial:
Las seales se graban separadas y se reproducen juntas.

Sincronizacin en vivo

Sincronizacin artificial
Su importancia radica en permitir una relacin de sincronizacin flexible entre diferentes medios. Se distinguen dos fases:
Especificacin: las relaciones temporales entre medios se definen de forma explcita. Presentacin: un sistema run-time presenta los datos de un modo sincronizado.

Requerimientos de presentacin

Introduccin
Para presentar correctamente los datos multimedia en la interfaz de usuario, es esencial la sincronizacin. No es posible suministrar una medida objetiva de la sincronizacin desde el punto de vista del usuario. Puesto que la percepcin varia de persona a persona, slo se pueden aplicar criterios heursticos para determinar si la presentacin es correcta o no.

Qu requisitos comprende la presentacin?

En la sincronizacin intra-objeto, la exactitud concerniente al retraso en la presentacin de las ULD. En la sincronizacin inter-objeto la exactitud en la presentacin en paralelo de los objetos multimedia.

The gap problem

Problema ocasionado por el bloqueo de una de las dos fuentes dependientes del tiempo

Soluciones al gap problem

Bloqueo restringido: utiliza como mecanismo de re-sincronizacin la presentacin repetida de la ltima muestra o una presentacin alternativa. Re-muestreo de un flujo: consiste en acelerar o retrasar el flujo con el fin de alcanzar la sincronizacin. Puede ser offline o on-line. Eliminar o aadir elementos: consiste en insertar o borrar partes de un flujo.

Sincronizacin de labios: Definiciones

Se refiere a las relaciones temporales entre flujos de audio y vdeo en el caso particular del habla. Las diferencias de tiempo entre LDU de audio y vdeo relacionadas se conocen como skew.

Sincronizacin de labios: Medidas en usuarios

La regin de sincrona se extiende desde -80 ms (retraso de audio) hasta +80 ms (adelanto del audio). Tolerable para la mayora de los usuarios. La regin de fuera de sincrona se extiende por encima de -160 ms y + 160 ms. No es aceptable por prcticamente ningn usuario. Existe una zona transitoria (audio por encima del vdeo) donde a mayor cercana del locutor mas fcil detectar el error. Existe otra zona transitoria (vdeo por encima del audio) que aunque se comprota de forma semejante a la anterior sin embargo resulta mas tolerante para los usuario.

Sincronizacin de un sealador
Trabajo realizado en CSCW compartiendo varios usuarios un puntero (sealador) y seales de audio. La zona de sincrona cuando el audio est por encima del puntero es de 750 ms y cuando el puntero est por delante del audio de 500 ms. La zona de sincrona est por encima de -1000 ms y +1250 ms.

Modelo de referencia para la sincronizacin multimedia

Introduccin
Se necesita un modelo de referencia para:
Comprender los diferentes requerimientos para una presentacin multimedia. Identificar y estructurar los mecanismos run-time que apoyan la ejecucin de la sincronizacin. Identificar interfaces entre mecanismos runtime. Comparar soluciones para la sincronizacin multimedia.

Clasificaciones existentes
Clasificacin general de Little y Ghafoor (1990)
Niveles: fsico, sistemas y humano. Sincronizacin intraflujo e interflujo Sincronizacin en directo o artificial

Modelo de Gibbs, Breiteneder y Tsichichritzis (1993)

Mapea un objeto multimedia sincronizado en un flujo de bytes no interpretado.

Ehley, Furth y Ilyas (1994)

Clasifican las tcnicas intermedias de clasificacin que se utilizan para controlar los saltos entre flujos de acuerdo con el tipo y ubicacin del control de sincronizacin. Distinguen entre un control distribuido basado en protocolos, distribucin basada en servidores y distribucin sobre nodos sin estructura de servidores.

Meyer, Effelsberg y Steinmetz (1993)

Capa de medios para sincronizacin intraflujo de medios dependientes del tiempo. Capa de flujos para sincronizacin interflujo de flujos de medios Capa de objetos para la presentacin, incluyendo la presentacin de objetos no dependientes del tiempo.

Modelo de referencia para la sincronizacin

Es un modelo de cuatro capas, cada una de las cuales implementa Mecanismos de sincronizacin proporcionados por un interfaz apropiado

Capa de elemento multimedia I

Una aplicacin opera como un flujo continuo de un elemento multimedia que es tratado como una secuencia de ULD. El proceso lee y escribe ULD en un loop durante tanto tiempo como los datos estn disponibles.

Capa de elemento multimedia II

Utilizando esta capa, la misma aplicacin es responsable de la sincronizacin, utilizando mecanismos de control de flujo. Si varios flujos se desarrollan en paralelo, la necesidad de compartir recursos puede alterar los requerimientos de tiempo real. Tambin hay que tener en cuenta si el sistema es local o distribuido.

Capa de flujo I
Opera en flujos continuos de elemento multimedia. En un grupo, todos los flujos se presentan en paralelo utilizando mecanismos para la sincronizacin interflujo. El elemento multimedia continuo, es visto como flujo de datos con restricciones implcitas de tiempo. Los ULD son son visibles.

Capa de flujo II
Esta capa deriva de la abstraccin suministrada por la integracin de elementos multimedia analgicos. En el proyecto Athena del MIT, los elementos continuos son introducidos por canales separados en el ordenador. En estos sistemas la sincronizacin en vivo entre varios elementos multimedia continuos se lleva a cabo por dispositivos especficos.

Capa de objeto
Trabaja con todos los tipos de elementos multimedia sin diferenciar entre medios continuos discretos. Esta capa toma una especificacin de sincronizacin como entrada y es responsable de la correcta temporalizacin de toda la presentacin.

Capa de especificacin I
Es una capa abierta Contiene aplicaciones y las herramientas permiten crear especificaciones de sincronizacin.

Mtodos de especificacin
Basadas en intervalos:
Permiten la especificacin de relaciones temporales entre los intervalos de tiempo de la presentacin de elementos multimedia.

Basadas en ejes:
Relaciona eventos de las presentaciones con los ejes compartidos por los elementos de la presentacin.

Basadas en el flujo:
A determinados puntos de sincronizacin el flujo de la presentacin es sincronizado.

Basadas en eventos:
Los eventos disparan las acciones de la presentacin.

Sincronizacin en Entornos distribuidos

Es mas compleja que en entornos locales. Debido al almacenamiento distribuido de la informacin y a las diferentes localizaciones de los elementos multimedia implicados en la presentacin. La comunicacin entre el almacenamiento y el sitio de la presentacin introduce retrasos y saltos adicionales.

Transporte de la especificacin de sincronizacin I

En el nodo destino de la presentacin, los componentes de la misma necesitan la especificacin de sincronizacin en el momento que el elemento multimedia vaya a ser mostrado.

Transporte de la especificacin de sincronizacin II

Existen tres aproximaciones principales para la llegada de la informacin de sincronizacin al destino.
Llegada de toda la informacin de sincronizacin antes del comienzo de la presentacin. Utilizacin de un canal de sincronizacin adicional. Flujos de datos multiplexados

Combinacin de elementos I
En algunos casos es posible sincronizar elementos multimedia, combinando los mismos en un nuevo elemento. Esta aproximacin puede utilizarse para reducir las demandas de recursos de comunicacin. P. E. Una animacin y dos imgenes que deben superponerse a un vdeo pueden mezclarse para formar un nuevo vdeo.

Combinacin de elementos II

Sincronizacin de reloj I
En los sistemas distribuidos, debe considerarse la exactitud de la sincronizacin entre los relojes de la fuente y el destino.

Sincronizacin de reloj II
Muchos esquemas de sincronizacin necesitan conocer las relaciones temporales. Este conocimiento es la base para los esquemas de sincronizacin globales basados en el tiempo. Tambin es la base para esquemas que necesitan que las operaciones en nodos distribuidos estn coordinadas para asegurar por una parte la llegada a tiempo y por otra que no lleguen demasiado pronto y evitar el overflow del buffer.

Sincronizacin de reloj III

El problema es especialmente importante para la sincronizacin en el caso de mltiples fuentes.
Fuente A (audio)
Ta, Oa Destino AV Na

Fuente V (vdeo)
Tv, Ov

Tav

Nv

Sincronizacin de reloj IV
Si una presentacin sincronizada de audio y vdeo debe comenzar al tiempo Tav en el nodo destino, la transmisin de audio de la fuente A debe comenzar a:
Ta = Tav Na Oa Siendo Na el retraso de la red Siendo Oa el offset del reloj del nodo A con relacin al reloj destino.

Para la fuente del nodo V, el tiempo de comienzo de la transmisin de vdeo es:

Tv = Tav Nv - Ov

Sincronizacin de reloj V
Es posible reservar cierta capacidad del buffer de destino y comenzar la transmisin del audio y el vdeo con antelacin, para garantizar que las unidades multimedia requeridas estn disponibles. Debido a que la capacidad necesaria de buffer en el nodo destino depende del posible offset y debemos asumir una capacidad limitada del buffer, es necesario limitar el offset mximo. Este hecho puede ser alcanzado con protocolos de sincronizacin del reloj que permiten una sincronizacin con una exactitud en el rango de 10 ms.

Relaciones mltiples de comunicacin

Sincronizacin en pasos mltiples

Sincronizacin durante la adquisicin de los elementos multimedia (p. e. digitalizacin) Sincronizacin durante la recuperacin (p. e. acceso a marcos de un vdeo almacenado) Sincronizacin durante la libracin de ULD a la red Sincronizacin durante el transporte Sincronizacin en el destino Sincronizacin en el dispositivo de salida

Especificacin de sincronizacin

Introduccin
La especificacin de sincronizacin de un elemento multimedia describe todas las dependencias temporales de los elementos multimedia incluidos en el elemento multimedia. Se produce utilizando herramientas en la capa de especificaciones y es utilizada en la interfaz de la capa de elementos.

Aspectos que debe comprender

Especificaciones de sincronizacin intraelemento para los elementos multimedia de la presentacin. Descripciones de Calidad de Servicio para la sincronizacin intra-elemento. Especificaciones de sincronizacin interelemento para elementos multimedia de la presentacin. Descripciones de Calidad de servicio para sincronizacin inter-elemento.

Calidad de servicio para un elemento multimedia

Incluye la calidad concerniente a ULDs simples de un elemento multimedia y la exactitud con la que las relaciones temporales entre ULDs de este elemento multimedia deben completarse si el elemento multimedia es un elemento dependiente del tiempo.

Parmetros de Calidad de Servicio para un elemento multimedia

Imagen Vdeo Audio Profundidad de Profundidad de Muestreo lineal color color o logartmico Resolucin Resolucin Tamao de la muestra Frecuencia de Frecuencia de los frames muestreo Temblor Temblor Razn de error Razn de error

Calidad de servicio para la sincronizacin

MEDIO Vdeo Animacion Audio Imagen Texto Audio Animacin Audio MODO Correlacionado Sincronizacin de labios Superposicin No superposicin Superposicin No superposicin Correlacin de eventos Fuertemente acoplado (stereo) Dbilmente acoplado (dilogo) Dbilmente acoplado (fondo) CALIDAD DE SERVICIO +/- 120 ms +/- 80 ms +/- 240 ms +/- 500 ms +/- 240 ms +/- 500 ms +/- 80 ms +/- 11 ms +/- 120 ms +/- 500 ms

Imagen
Texto Puntero

Fuertemente acoplado (msica con notas

Dbilmente acoplado (carrusel diapositivas) Anotacin de texto Audio relacionado con movimiento puntero

+/- 5 ms
+/- 500 ms +/- 240 ms - 500 ms / + 700 ms

Calidad de servicio para dos elementos multimedia relacionados

Nivel de produccin
Se refiere a la calidad de servicio a ser garantizada antes de la presentacin de los datos en la interfaz de usuario. Implica el registro de datos sincronizados para ser visualizados posteriormente.

Nivel de presentacin
Define lo que es razonable a nivel de interfaz de usuario. Tiene que ver con la percepcin.

Especificaciones basadas en intervalo

En este sistema, la duracin de la presentacin de un elemento es contemplada como un intervalo. Dos intervalos de tiempo pueden estar sincronizados en 13 modos distintos:
A antes de B, A superpuesto a B, A comienza con B, A igual que B, A encuentra a B, A durante B, A finaliza con B Y los inversos de los anteriores excepto igual

Especificaciones basadas en intervalos

Mejora de la especificacin basada en intervalos

Sincronizacin basada en ejes

Ejemplo base

Sincronizacin basada en un temporizador global

Todos los elementos multimedia individuales son aadidos a un eje de tiempo que representa una abstraccin en tiempo real. Permite buenas abstracciones de la estructura interna de un elemento multimedia individual. Este tipo de sincronizacin puede no ser suficiente para expresar las relaciones de sincronizacin entre diferentes flujos de presentacin.

Sincronizacin basada en Ejes virtuales

En ste mtodo es posible especificar sistemas de coordenadas con unidades de medida definidas por el usuario. En el ejemplo el eje pitch (tono) es mapeado como frecuencia y el eje beat (comps) como temporizador.

Ejes virtuales
Aplicado al caso ejemplo

Especificaciones basadas en el control de flujo

Especificaciones basadas en la jerarqua:
Estn basadas en dos operaciones principales:
Sincronizacin en serie de acciones, p. e. Una secuencia de diapositivas. Sincronizacin en paralelo de acciones, p. e. Movimiento de labios y locucin.

Especificaciones basadas en el control de flujo

Especificaciones basadas en el control de flujo

Puntos de referencia
En este caso los elementos multimedia individuales son contemplados como secuencias de ULD cerradas. Los tiempos de comienzo y parada de la presentacin de un elemento multimedia conjuntamente con los tiempos de comienzo de las sub-unidades de los elementos multimedia dependientes del tiempo se llaman puntos de referencia. La sincronizacin entre elementos se define mediante la conexin de los puntos de referencia de los elementos multimedia. Un conjunto de puntos de referencia conectados se llama punto de sincronizacin.

Sincronizacin de punto de referencia

Redes de Petri temporalizadas

Reglas de funcionamiento:
Una transicin se desencadena si todos los lugares de entrada contienen un token no bloqueante. Si se desencadena una transicin, se elimina un token por cada entrada y se aade un token por cada salida. Cuando se aade un token a un nuevo lugar aquel se bloquea durante la duracin asignada a dicho lugar.

Ejemplos de Redes de Petri

Ejemplos de Redes de Petri

Sincronizacin basada en eventos

Las acciones de presentacin son iniciadas por eventos de sincronizacin:
Comienzo Final Preparacin

Los eventos pueden ser externos (generadosr de tiempos) o internos de la presentacin (generado al alcanzar una ULD especifica en un objeto dependiente del tiempo.

Scripts
Es una descripcin textual del escenario de sincronizacin. Frecuentemente los scripts acaban constituyendo un lenguaje de programacin. Un ejemplo tpico es un script basado en un mtodo jerrquico que soporta tres operaciones principales:
Presentacin serie Presentacin paralela Presentacin repetida