Académique Documents
Professionnel Documents
Culture Documents
Prof. Fernando Schütz
Adaptado de
Prof. Cláudio de Souza Baptista ‐ UFCG/COPIN
Introdução
• Sistemas complexos
Introdução
• A área de MM é multidisciplinar envolvendo:
• sistemas operacionais
• sistemas tempo‐real
• Redes
• interface com usuário
interface com usuário
• inteligência artificial
• recuperação de informação
• processamento de imagens
• computação gráfica
• BANCO DE DADOS
1
19/02/2011
Introdução
• MMDBMS trata imagens, vídeos, áudios, textos,
gráficos e dados alfa‐numéricos igualmente do ponto
de vista de processamento de consulta. Cada tipo
pode participar numa query ou pode ser parte do
resultado
resultado.
• Aplicações: Medical DB, GIS, Digital Libraries, DNA
DB, Image DB, DB científico (geologia, meio
ambiente, astrofísica, metereologia, etc )
Introdução
• MMDBMS = DBMS + suporte à multimídia
Resultados
Usuário
Gerente de apresentação
Gerente de consulta MM
Tipos de Dados Multimídia
• Texto: documentos estruturados, semi‐estruturados e
não estruturados. Ex.: ASCII, HTML, XML, SGML
• Gráficos: desenhos. Ex.: CAD e GIS
• Imagens: desenhos, pinturas, fotos, impressões
• Video: propriedades de audio + video, composto de
frames de video.
• Audio: fala, música, sons
2
19/02/2011
Aspectos Temporais
filme
música
fala
texto1 texto2
tempo
Tipos de Mídia
• Vídeo e áudio têm requisitos
– Espaciais (vídeo)
– Temporais
• Vídeo e áudio possuem dados contínuos
• Vídeo e áudio têm operações especiais:
– fast‐forward() e rewind()
– play()
– pause() e stop()
O que é um MMDBMS?
• “Um SGBD multimídia é um framework que gerencia
diferentes tipos de dados potencialmente
representados em diferentes formatos e em
diferentes fontes de mídia” Subrahmanian [2000]
3
19/02/2011
Um SGBDMM deve:
• Prover API única para consulta às diferentes mídias
• Recuperar dados MM de forma contínua
• Prover uma maneira transparente para o usuário da
representação dos dados
Tipos de Recuperação (Gudivada 96)
• Recuperação por Browsing
• Recuperação por Atributos de Objetos
• Recuperação por Restrições Espaciais
• Recuperação por Similaridade de Forma
• Recuperação por Similaridade Semântica
Exemplo de Aplicação MM
• Considere uma investigação de polícia sobre drogas
com as seguintes características:
– Vídeo: dados recuperado por câmeras espalhadas em
diversos locais
Áudio: dados capturados de “grampo
– Áudio: dados capturados de telefônico”
grampo telefônico
– Imagens: fotografias tiradas por investigadores
4
19/02/2011
Exemplo de Applicação MM (cont.)
– Documentos: relatórios escritos por policiais durante as
invesigações
– Dados relacionais estruturados de SGBD existentes (dados
bancários, telefônicos, comércio, empresas, histórico
policial)
– dados de GIS (locais onde existem drogas, plantações,
rotas de tráfego, etc.)
Consultas exemplo de Imagens
• Query 1: Um policial tem a foto de um suspeito e
consulta o SGBDMM por imagens similares
• Query 2: “Recupere todas as fotos em que João Pires
aparece””
Consultas exemplo de Imagens
• Nas consultas anteriores precisamos de uma função
que compute a similaridade entre imagens.
• Como a consulta é inexata, um ranking de imagens
parecidas deve ser formado
l l d b
• Na Query2 realizou‐se a consulta usando‐se atributos
(metadata) da imagem
5
19/02/2011
• Um policial está ouvindo uma fita de gravação de um
conversa telefônica entre suspeitos João Silva e X.
• Query 3: Encontre a identidade de X.
• Query 4: Mostre as fitas que têm participação de
l
João Silva
Consultas exemplo de Texto/Vídeo
• Texto:
– Busca em jornais, revistas, relatórios, ou um outro
documento.
– Text mining em bancos
Processos judiciários
– Processos judiciários
– “Busca por uma certa palavra chave”
• Video: encontre todos os vídeos onde a vítima
aparece.
Questões de Pesquisa em MM
• Linguagem de consulta
• Conteúdo de um dado MM
• Apresentação MM
• Armazenamento
6
19/02/2011
Linguagem de Consulta
• Linguagem para acesso aos diferentes tipos de dados
• Operações para combinar duas ou mais mídias
(diferença, união, junção)
• Acesso a Dados e Metadados
• Planos de consulta Otimizados
Conteúdo de um dado MM
• Como extrair conteúdo de:
– imagem
– vídeo‐clip
– áudio‐clip
– texto (documento não estruturado)
texto (documento não estruturado)
• Como indexar estes conteúdos
• Como computar similaridade?
Apresentação
• Como especificar o conteúdo de uma apresentação
MM?
• Como especificar os requisitos de espaço e tempo?
• Como garantir QoS?
7
19/02/2011
Armazenamento
• Como dados MM podem ser representados nos
dispositivos (CD‐ROM, Disco, Fita, DVD, etc.)?
• Como otimizar o armazenamento para que
operações como: play, fast forward, rewind, pause,
possam ser executadas de forma eficiente
possam ser executadas de forma eficiente
Produtos Multimídia no Mercado
• Desenvolvimento:
– Macromedia Director
– Click2Learn Toolbook
– Java Media Framework (JMF)
A i ã W b
• Animação Web:
– Macromedia Flash
– Adobe LiveMotion
– Corel Rave
Produtos Multimídia no Mercado
– Web design
• Macromedia DreamWeaver
• Adobe GoLive
• Microsoft FrontPage
• NetObjects Fusion
– Streaming
• Real realplayer, realserver
• Apple Quicktime
• Microsoft MediaPlayer, MediaServer
8
19/02/2011
Produtos Multimídia no Mercado
– SGBD OR
• Oracle 9i
– InterMedia Audio, Video, Image Cartridge
– Oracle Context
• IBM DB2
– DB2 Image Extender
– DB2 Video Extender
• Informix
– Excalibur Image Datablade Module
– Informix Video Foundation Datablade
– Excalibur Text Datablade
Exercício
• Em grupo
– Teste seu poder de síntese
• Crie um modelo para extração de características
• Utilize um modelo do seu trabalho diário