Tecnologas de Streaming

Francisco Jos Surez Alonso

UNIVERSIDAD DE OVIEDO
rea de Arquitectura y Tecnologa de Computadores

Curso 2010/2011

Tecnologas de Streaming

Introduccin Servicios Arquitectura Tecnologas

Tecnologas Multimedia - Tecnologas de Streaming

Tipos de acceso a medios continuos

Descarga tradicional
El cliente descarga toda la informacin a disco y despus la reproduce

Descarga progresiva (pseudo-streaming)

El cliente reproduce la informacin segn la va descargando a disco o a memoria (YouTube, Google vdeos, etc.)

Streaming
El cliente reproduce la informacin segn le llega segmentada a travs de la red y luego la descarta (servicios de calidad)

Tecnologas Multimedia - Tecnologas de Streaming

Definicin de Streaming

Tecnologa de transmisin a travs de redes de medios continuos (principalmente audio y vdeo) No existe descarga de informacin a un disco local Se enva la informacin a travs de la red y el cliente la reproduce en tiempo real al recibirla

Audio Vdeo

RED

RED

CLIENTE SERVIDOR Tecnologas Multimedia - Tecnologas de Streaming 4

Paquetizacin
Objetos de medios de A/V divididos en segmentos Envo en paquetes de red con varios segmentos Recepcin de segmentos y reproduccin No hay equivalencia entre cuadros de vdeo, paquetes y segmentos
informacin lista para reproducir (tiene parte de un cuadro)

A/V original

FRAGMENTACIN

Audio SEGMENTOS RED Vdeo

SERVIDOR

paquetes de red

CLIENTE

R E E N S A M B L A D O

Tecnologas Multimedia - Tecnologas de Streaming

Streaming frente a Descarga

Streaming
reproduce los paquetes segn van llegando flujo de paquetes los descarta

SERVIDOR

RED

CLIENTE

Transferencia clsica

A/V original
A/V original

Tecnologas Multimedia - Tecnologas de Streaming

Tecnologas de Streaming

Introduccin Servicios Arquitectura Tecnologas

Tecnologas Multimedia - Tecnologas de Streaming

Tipos de servicios

En directo (live)
Similar a un canal de televisin

Bajo demanda (on-demand)

Similar a un reproductor de vdeo

Casi bajo demanda

Simula el funcionamiento de un servicio bajo demanda con flujos de vdeo en directo

Tecnologas Multimedia - Tecnologas de Streaming

Vdeo en directo

Est orientado a la multidifusin El servidor comienza a transmitir en un instante dado Los usuarios ven la informacin que se est emitiendo En este tipo de servicio no existe interactividad nicamente est permitido realizar pausas
(cuando el usuario recupere la reproduccin podr ver la informacin que se est transmitiendo en ese instante)

Tecnologas Multimedia - Tecnologas de Streaming

Vdeo en directo

Inicio de la transmisin

Fin de la transmisin

Cliente1 Cliente2 Cliente3 Cliente4

pausa

Cliente5

Tiempo
en un instante t todos los clientes ven lo mismo

Tecnologas Multimedia - Tecnologas de Streaming

10

Vdeo en directo Segn el origen de las seales de audio/vdeo

Con informacin en vivo Con informacin almacenada

sistema de almacenamiento

Productor

Servidor

Clientes 11

Tecnologas Multimedia - Tecnologas de Streaming

Vdeo en directo Segn el tipo de transmisin

Unicast : se enva un flujo de informacin a cada usuario Multicast : se enva un flujo nico de informacin

Unicast

Multicast

todos los usuarios comparten los flujos

Tecnologas Multimedia - Tecnologas de Streaming

12

Vdeo bajo demanda

Los usuarios solicitan el envo de informacin en cualquier instante Envo de un flujo a cada usuario Existen diversos tipos de interacciones
Pausas Saltos hacia delante Saltos hacia atrs

Tecnologas Multimedia - Tecnologas de Streaming

13

Vdeo bajo demanda

Cliente1 Cliente2 Cliente3 Cliente4

pausa

Cliente5

Tiempo

Tecnologas Multimedia - Tecnologas de Streaming

14

Tecnologas de Streaming

Introduccin Servicios Arquitectura Tecnologas

Tecnologas Multimedia - Tecnologas de Streaming

15

Arquitectura

ELEMENTOS PRESENTES EN LA ARQUITECTURA

Sistema de produccin Formatos de almacenamiento Servidor Proxy Red / Protocolos Cliente

Tecnologas Multimedia - Tecnologas de Streaming

16

Arquitectura tpica

Sistema de almacenamiento

Servidor Clientes Proxy

Formato + Compresin

Software servidor de A/V

Sistema de produccin

Red

Protocolos

Software cliente

Tecnologas Multimedia - Tecnologas de Streaming

17

Tipos de arquitectura

Arquitectura tpica
Con servidor y cliente

Arquitectura sin servidor (server-less)

No hay servidor de a/v Se sirve mediante un servidor web Da lugar a servicios de pseudo-streaming o fast-start

Arquitectura sin cliente (client-less)

No hay programa cliente Se utiliza para visualizar un applet Java o un plugin (p.e. Flash)

Tecnologas Multimedia - Tecnologas de Streaming

18

Sistema de produccin
Genera los flujos de audio/vdeo que se van a transmitir Tipos de produccin:
Para almacenar Para emitir en directo

Hardware
Elementos de adquisicin: cmaras, micrfonos, capturadoras

Software
Software de edicin Software de produccin para transmisin mediante streaming

Tecnologas Multimedia - Tecnologas de Streaming

19

Produccin
Para almacenamiento
Genera los flujos de audio/vdeo en formato para streaming y los almacena

Para emisin en directo

Transmite los flujos hacia el o los servidores

Se puede recibir la entrada de un sistema de captura convencional o de un sistema de almacenamiento Se puede almacenar y emitir en directo simultneamente Produccin
Sistema de almacenamiento Sistema de almacenamiento

Sistema de produccin en vivo

Servidor

Tecnologas Multimedia - Tecnologas de Streaming

20

Proceso de produccin
Servidor

Conversin a formato de Streaming Generacin

Captura Sistema de almacenamiento Postproduccin Conversin a formato de Streaming

Tecnologas Multimedia - Tecnologas de Streaming

21

Formatos de almacenamiento

Caractersticas generales:
Especficos para sistemas basados en streaming Informacin dividida en flujos Informacin fragmentada para transmisin temporizada ndices de segmentos y estampas de tiempo para su reproduccin ndices para saltar a diferentes puntos de la pelcula

Tecnologas Multimedia - Tecnologas de Streaming

22

Formatos principales

RM (Real Media), RV (Real Video), RA (Real Audio)

(propietarios de RealNetworks)

WMV (Windows Media Video), ASF (Advanced Streaming Format)

(propietarios de Microsoft)

MOV (MOVie), QT (QuickTime)

(propietarios de Apple)

SWF (ShockWave Flash), FLV (FLash Video)

(propietarios de Adobe)

MPG, MP4
(estndares, pero poco utilizados)

Tecnologas Multimedia - Tecnologas de Streaming

23

Servidor de Streaming
Funcionamiento bajo demanda
1. Espera peticiones de los clientes 2. Cuando recibe una peticin decide si la acepta (control de admisin) 3. Establece una conexin con el cliente 4. Recibe las interacciones del cliente y acta en la transmisin convenientemente
transmitiendo un flujo continuo de informacin no transmitiendo

5. Finaliza la conexin cuando el cliente da por finalizada la comunicacin o cuando la informacin solicitada finaliza

Tecnologas Multimedia - Tecnologas de Streaming

24

Servidor de Streaming
Funcionamiento en directo
1. Recibe la transmisin del productor 2. Comienza la emisin 3. Espera peticiones de los clientes 4. Cuando recibe una peticin decide si la acepta (control de admisin) 5. Establece una conexin con el cliente 6. Recibe la interaccin del cliente (slo pausa) y acta en la transmisin convenientemente
transmitiendo un flujo continuo de informacin no transmitiendo

7. Finaliza la conexin cuando el cliente lo solicita 8. Finaliza la emisin cuando deja de recibir seal del productor
Tecnologas Multimedia - Tecnologas de Streaming 25

Establecimiento de conexiones
Canal para el control de los flujos multimedia
Canal bidireccional Recibe las interacciones del cliente y transmite las respuestas

Canales para el envo de los datos multimedia

Unidireccionales Transmiten la informacin cuando las interacciones lo requieren

Servidor de Streaming

Canal de control

Canal de transporte

Cliente de Streaming

Tecnologas Multimedia - Tecnologas de Streaming

26

Interacciones
Recibe las interacciones del cliente (play, stop, pause, etc.) y acta sobre el flujo de informacin multimedia

play

pause avance

play

pause

play

stop

parado

parado

se establece la conexin

transmitiendo informacin A/V

se destruye la conexin

Tecnologas Multimedia - Tecnologas de Streaming

27

Transmisin de medios
Fracciona la informacin y la enva de forma temporizada

Fichero con formato para transmisin streaming

t1 ... tn

tn

... t2 t1

Servidor de Streaming
segmentos de audio y de vdeo

Canal de vdeo

Cliente de Streaming

Canal de audio

Tecnologas Multimedia - Tecnologas de Streaming

28

Multiplexado del servicio

Cada cliente tiene su canal para la transmisin Un hilo alimenta cada canal
paquetes de datos enviados de forma temporizada

canal n intervalos de pausa canal 3 canal 2 canal 1

tiempo intervalos de play

Servidor

Clientes 29

Tecnologas Multimedia - Tecnologas de Streaming

Adaptacin a las condiciones de la red

Se modifica la calidad del vdeo en tiempo real en funcin de las condiciones de la red
si mejoran paso a clase B A empiezo a transmitir con clase A

Calidad A Calidad B Calidad C

Vdeo

si siguen empeorando paso a clase C

si las condiciones de red empeoran paso a clase B

Tecnologas Multimedia - Tecnologas de Streaming

30

Tcnica Surestream de RealNetworks

cuadros por segundo en Surestream

ancho de banda consumido por las diferentes calidades

Tecnologas Multimedia - Tecnologas de Streaming

31

Generador de continuidad
Inicio de la transmisin Fin de la transmisin

Se genera el flujo continuo de audio/vdeo

Vdeo 1 Vdeo 2 Vdeo 3

Audio/Vdeo

Generador de continuidad
Vdeo 1 Vdeo 2 Vdeo 3

Sistema de almacenamiento

Programacin 32

Tecnologas Multimedia - Tecnologas de Streaming

Proxy
Funcionalidades segn el tipo de servicio:
A/V bajo demanda: almacena temporalmente la informacin ms
recientemente utilizada y la transmite a los clientes en caso de ser nuevamente solicitada

A/V en directo: reduce el nmero de flujos que salen del servidor

Clientes

Servidor
Red

Proxy
solicitan n flujos (uno por cliente)

el servidor enva un nico flujo

disminuye el trfico en la red

Tecnologas Multimedia - Tecnologas de Streaming

33

Protocolos Sistemas sin control

HTTP: no hay control sobre la transmisin

Sistemas con control sobre la transmisin

Control (nivel de aplicacin)
Estndar RTSP (Real Time Streaming Protocol) Otros protocolos propietarios: MMS de Microsoft o RTMP y RTMFP de Adobe

Transporte de datos (nivel de transporte)

Estndar RTP (Real-Time Transport Protocol) UDP TCP

Tecnologas Multimedia - Tecnologas de Streaming

34

Sistemas con control sobre la transmisin

Dos canales de comunicacin entre los clientes y el

servidor de streaming:
Un canal para el control de la sesin (RTSP) Un canal para la transmisin de la informacin (RTP/UDP/TCP)

Servidor de Streaming

Canal de control

Canal de transporte

Cliente de Streaming

Tecnologas Multimedia - Tecnologas de Streaming

35

Protocolo RTSP
Es un protocolo de nivel de aplicacin Utiliza TCP como protocolo de transporte de los datos de control Permite la recepcin de informacin multimedia desde servidores El cliente puede solicitar al servidor la transmisin de informacin (flujo de conferencia, parte de una presentacin multimedia, etc.)

RTSP TCP IP UDP

Tecnologas Multimedia - Tecnologas de Streaming

36

Protocolo RTSP
Establece y controla uno o varios flujos sincronizados de medios continuos (audio y vdeo)

RTSP

Flujo de vdeo Flujo de audio

Acta como un control remoto de los servidores multimedia

Tecnologas Multimedia - Tecnologas de Streaming

37

Protocolo RTSP

Similitudes con HTTP:

Formato de las peticiones/respuestas Formato de las URL Sintaxis Negociacin de los contenidos

Diferencias importantes con HTTP:

RTSP es un protocolo con estado a diferencia de HTTP Tanto servidores como clientes RTSP pueden realizar peticiones Los datos son transportados mediante un protocolo diferente Cada flujo transportado puede residir en un servidor distinto

Tecnologas Multimedia - Tecnologas de Streaming

38

Protocolo RTSP (sesiones)

Tecnologas Multimedia - Tecnologas de Streaming

39

Protocolo RTP

Componentes:
RTP (propiamente dicho) RTCP (Real Time Control Protocol) (asociado)

Trabaja sobre el protocolo UDP Caractersticas especiales de tiempo real:

Nmeros de secuencia Marcas de tiempo

Tecnologas Multimedia - Tecnologas de Streaming

40

Protocolo RTP

Limitaciones:
No garantiza el envo No garantiza que los paquetes lleguen ordenados No garantiza que los paquetes lleguen a tiempo No garantiza la calidad de servicio Pero proporciona la informacin para controlarla

Tecnologas Multimedia - Tecnologas de Streaming

41

Protocolo RTCP

Implica la transmisin peridica de paquetes de control a todos los participantes en una sesin La funcin principal es proporcionar mecanismos de realimentacin para informar sobre la calidad en la distribucin de los datos Utilidad:
diagnostico de fallos en la distribucin construccin de codificadores adaptables (SureStream de RealNetworks)

Tecnologas Multimedia - Tecnologas de Streaming

42

Cliente de Streaming

Componentes:
Recepcin
Recibe la informacin solicitada por el usuario

Presentacin
Reproduce la informacin recibida de forma temporizada Proporciona un interfaz para que el usuario interaccione

Buffer
Se utiliza para controlar la calidad del servicio

Tecnologas Multimedia - Tecnologas de Streaming

43

Cliente de Streaming

Pantalla para la visualizacin

Red
Interfaz para la interaccin

Buffer del cliente

llegada de paquetes de la red

amortigua los efectos de jitter de la red, evitando interrupciones en la reproduccin

reproduccin de los paquetes (playout)

Tecnologas Multimedia - Tecnologas de Streaming

44

Cliente de Streaming

El buffer se carga antes de comenzar la reproduccin Cuando el buffer se vaca, se detiene la reproduccin para recargarlo (fallo de reproduccin) El buffer amortigua posibles retrasos en la llegada de paquetes (por problemas en la red o sobrecarga en el servidor) Habitualmente existen buffers tanto de audio como de vdeo El tamao del buffer debe balancear tiempo de arranque y calidad de reproduccin

Tecnologas Multimedia - Tecnologas de Streaming

45

Tecnologas de Streaming

Introduccin Servicios Arquitectura Tecnologas

Tecnologas Multimedia - Tecnologas de Streaming

46

Tecnologas clsicas
Real Media (www.realnetworks.com)
Compaa RealNetworks Multiplataforma Cdigo abierto y protocolos estndar

QuickTime (www.quicktime.com)
Compaa Apple Multiplataforma Cdigo abierto y protocolos estndar

Windows Media (www.windowsmedia.com)

Compaa Microsoft Plataforma Windows Cdigo propietario y protocolos estndar
Tecnologas Multimedia - Tecnologas de Streaming 47

Tecnologas emergentes
Flash Media (www.adobe.com/products/flashmediaserver)
Compaa Adobe Multiplataforma Cdigo y protocolos propietarios

Red 5: Open Source Flash Server (www.osflash.org/red5)

Proyecto OSFlash de software libre Multiplataforma Cdigo abierto y protocolos no estndar (de momento) Ya utilizado de forma profesional por algunas empresas

VLC Media Player (www.videolan.org)

Proyecto VideoLAN de software libre Multiplataforma Cdigo abierto y protocolos estndar
Tecnologas Multimedia - Tecnologas de Streaming 48

Real Server

Tecnologas Multimedia - Tecnologas de Streaming

49

Real Producer

Tecnologas Multimedia - Tecnologas de Streaming

50

Real Player

Tecnologas Multimedia - Tecnologas de Streaming

51

Windows Media
Media Server Media Encoder

Media Player
Tecnologas Multimedia - Tecnologas de Streaming 52

QuickTime Server

Tecnologas Multimedia - Tecnologas de Streaming

53

QuickTime Player

Tecnologas Multimedia - Tecnologas de Streaming

54

Flash Media
Media Server Media Encoder

Media Player
Tecnologas Multimedia - Tecnologas de Streaming 55

VLC Media Player

VLC Media Player (cliente / servidor) VLM (Manager) Interface (mdulo servidor VOD)

Tecnologas Multimedia - Tecnologas de Streaming

56