Anlise e Modelagem Multidimensional

Prof. Thiago Affonso de M. N. Viana tamnv@recife.ifpe.edu.br

Sistemas de Informao

Sistemas Dado x Informao Sistemas de Informao Sistemas de apoio s operaes Sistemas de apoio gesto EDP, MIS, DSS Data Warehouse Modelagem Multidimensional

Sistemas

Um conjunto de elementos interdependentes em interao, com vistas a atingir um objetivo. (Cautela & Polloni, 1986, p.15) Qualquer conjunto de partes unidas entre si pode ser considerado um sistema, desde que as relaes entre as partes e o comportamento do todo seja foco de ateno. ( Chiavenato, TGA, p. 516) Elementos de um sistemas podem ser outros sistemas (subsistemas).

Sistemas
Exemplos de sistema: Automvel

Quais os objetivos ? Quais os subsistemas que compem o sistema automvel ? Quais os objetivos? Quais os subsistemas que compem o sistema computador?

Computador

Dado x Informao

Dado qualquer elemento identificado em sua forma bruta que por si s no conduz a uma compreenso de determinado fato ou situao. Informao o dado trabalhado que permite a tomada de deciso.

Dado x Informao
Exemplo: Mede-se presso arterial Qual a tendncia de sade do cliente em funo dos dados histricos de presso arterial?

Dado x Informao
Exemplo: Exemplos de dados em uma empresa: quantidade de produo, custo da matriaprima, nmero de funcionrios. Como resultado da anlise de tais dados temse a informao : capacidade de produo, custo de venda do produto, produtividade do funcionrio. Como o executivo pode usar esta informao?

Dados x Informao

Caractersticas da Informao:

Clara Precisa Rpida Dirigida

Sistemas de Informao

Sistemas de Informao (SI) so sistemas que permitem a coleta, o armazenamento, o processamento, a recuperao e a disseminao de informaes. SI so, hoje, quase sem exceo, baseados no computador e apiam as funes operacionais, gerenciais e de tomada de deciso existentes na organizao.

Sistemas de Informao

Os sistemas de informao podem ser classificados em dois grupos principais

Sistemas de apoio s operaes. Sistemas de apoio gesto.

BIO (1996, p.34) :

Sistemas de apoio s operaes

Os sistemas de apoio s operaes so tipicamente sistemas que processam transaes , ou seja, so redes de procedimentos rotineiros que servem para o processamento de informaes recorrentes.

Sistemas de apoio s operaes

Sistemas de Informao Transacionais

Exemplos: folha de pagamento, processamento de pedidos, compra

Sistemas para a tomada de decises voltadas para a operao.

Exemplos: planejamento e controle da produo, custos, contabilidade.

Sistemas de apoio gesto

Os " sistemas de apoio gesto " existem especificamente para auxiliar processos decisrios. Exemplos: previses de vendas, oramentos, anlises financeiras, etc.

Processamento Eletrnico de Dados

Desenvolvimento dos sistemas de informao computacionais em empresas:

EDP: Eletronic Data Processing MIS: Management Information System DSS: Decision Suport System SPRAGUE(1991, p.9)

Processamento Eletrnico de Dados (EDP)

Aplicado inicialmente aos nveis operacionais mais baixos da empresa no sentido de automatizar o trabalho. Caractersticas:

Foco no armazenamento, processamento e fluxos de dados no nvel operacional; Processamento de transaes eficientes; Relatrios para gerenciamento.

Sistemas de Informao Gerenciais (MIS)

Caractersticas:

Foco sobre a informao, direcionando a gerentes de nvel mdio (ttico); Integrao de atividades de EDP por funo comercial, tais como MIS para produo, MIS para marketing, MIS para pessoal, etc.; Gerao de relatrios e consultas, normalmente com um banco de dados.

Sistemas de Suporte a Deciso (DSS)

Um DSS tem seu foco num nvel mais alto da organizao (estratgico). Caractersticas:

Foco sobre as decises, voltado para gerentes de alto nvel e para os responsveis pela tomada de decises; nfase na flexibilidade, adaptabilidade e capacidade de fornecer respostas rpidas;

Sistemas de Suporte a Deciso (SSD)

Permitem armazenar e analisar grandes BD para extrair informaes que auxiliam a compreenso do comportamento dos dados sobre o negcio. Fornecem apoio ao suporte estratgico de deciso. Consistem em sistemas computacionais de suporte deciso que integram dados oriundos de diversas fontes de dados.

Suporte a Deciso x Operacional

Operacional orientado por transao

Ex: o produto vendido, o artigo publicado, o imposto predial pago

Deciso orientado por assunto

Ex: Vendas, Publicaes de Artigos, Gerenciamento Urbano

Sistemas de Suporte a Deciso (SSD)

Visualizar tendncias:

Sazonalidade de vendas de determinados produtos Regionalizao de vendas Market Share

Sistemas de Suporte a Deciso (SSD)

Anlise de Dados

Qual o desempenho dos nossos representantes em cada regio? Para cada produto, qual o total de vendas no ltimo ano? Como tem variado o ndice de participao de cada produto em nossas vendas (Market Share) ao longo dos trs ltimos anos? Existe alguma relao entre o desempenho dos representantes e sua faixa de salrio?

Suporte a Deciso

Informaes normalmente resultam de processamento de sries histricas de dados. Desafios:

Grande quantidade de dados, acesso lento aos dados, aplicaes de controle, ...

Sistemas de Suporte a Deciso (SSD)

Dividir os dados em dois ambientes ortogonais

Operacional (normalmente j existe) Estratgico (construir um DW)

Data Warehouse

Definio

DW uma base de dados que facilita a execuo de consultas de apoio deciso (Bill Inmon) Armazm de dado onde a histria da empresa, seus clientes, fornecedores e operaes estejam disponveis e acessveis para consultas e anlises.

Data Warehouse

Objetivos

Fornecer uma imagem global da realidade do negcio. Exibir informaes em nveis apropriados de detalhes (resumido ou detalhado). Otimizar o processamento de consultas complexas (Modelo Estrela ou Flocos de Neve).

Data Warehouse

Diferente perspectiva para projetar sistemas

Consistncia entre dados no mais a preocupao fundamental. O mais importante que os dados estejam acessveis para anlise. Frequentemente so desnormalizados e sumarizados.

Data Warehouse

Reduzir tempo gasto com obteno e anlise dos dados para tomada de deciso.

Tornar tomada de deciso seja mais calculada e precisa. Clara, Precisa, Rpida (Acessvel), Dirigida

Enfim, fornecer informao de qualidade:

Modelagem Multidimensional

Tcnica desenvolvida para a obteno de modelos de dados de simples entendimento e alta performance de acesso a dados. Data Warehouse orientado somente para consulta de seus dados. Projeto de DW deve resultar num armazm de dados organizado e acessvel. Informaes necessrias gesto e no ao controle dos negcios.

Exerccio

Que tipo de SI voc desenvolveu no semestre anterior na disciplina LPOO I, DWEB II, ES I ? Identifique as caractersticas daquele S.I. Identifique informaes teis aos gerentes de alto nvel da empresa. Discuta as dificuldades de fornecer estas informaes a partir do banco de dados atualmente usado.

Anlise e Modelagem Multidimensional Ambiente de Data Warehouse

Prof. Thiago Affonso de M. N. Viana tamnv@recife.ifpe.edu.br

Caractersticas dos sistemas OLTP x OLAP

CARACTERISTICA
Operao tpica Nvel de requisitos analticos Quantidade de dados por transao poca dos dados Orientao

OLTP
Atualizaes Baixo

OLAP
Consulta Alto

Pequena

Grande

Atual Registros

Histricos Assunto

Por que OLTP no adequado para anlises complexas?

OLTP Anlises Complexas

Informao para dar Anlise de informaes suporte a servios do histricas. dia-a-dia. Dados armazenados em nvel de transao. Projeto do Banco de Dados: Normalizado Dados precisam ser integrados. Desnormalizado, esquema estrela.

Analisando dados de sistemas operacionais (transacionais)

Estruturas de dados complexas. Sistemas projetados para alta performance de processamento de transaes e no para anlise de informaes. Dados no representados de maneira significativa.

Analisando dados de sistemas operacionais (transacionais)

Dados dispersos. Mesmos elementos de dados podem ser representado de modo diferente em cada sistema. Processamento concorrente de transaes e analtico degrada o desempenho dos sistemas.

Extrao de Dados

Sistemas de Operaes

Extraes

Tomadores de deciso

Dados selecionados de um ambiente (operacional) e transportados para outro (deciso). Usurios possuem seus prprios dados

Extrao de Dados

Sistemas de Operaes

Extraes

Tomadores de deciso

Exploso de Extraes

Extrao de Dados - Problemas

Esforo duplicado. No h base de tempo comum. Diferentes algoritmos de clculos. Diferentes nomes dos campos de dados Diferentes significados dos campo de dados. No h regras de correo de dados. Ausncia de capacidade de drill-down.

Relatrios produzem dados =/= informaes.

Data Warehouses

Confivel Informao de qualidade nica fonte de dados

Data Warehouse
DW uma base de dados que facilita a execuo de consultas de apoio deciso (Bill Inmon) Uma base de dados de suporte a deciso mantida separadamente da base de dados operacional da organizao.

Data Warehouse
Objetivos:
Fornecer uma imagem global da realidade do negcio. Exibir informaes em nveis apropriados de detalhes (resumido ou detalhado) Otimizar o processamento de consultas complexas (Modelo Estrela ou Flocos de Neve)

Data Warehousing
Processo de fazer Data Warehouse. Tcnica para agrupar e gerenciar dados de vrias fontes com o propsito de responder questes de negcio. Construo do Data Warehouse exige:

Levantamento de necessidades da empresa e seus executivos. Transferncia e transformao dos dados existentes em sistemas corporativos.

Caractersticas do Ambiente de DW

Extrao de dados de fontes heterogneas. Orientao por Assunto. Variao no Tempo. No Voltil. Integrao.

Fontes de Dados
Exemplos de fontes para um ambiente analtico de empresa area:

Operaes: Horrios reais dos vos, Escala de Tripulao de cada vo. Reserva: Agendas dos vos, Reservas dos Passageiros Calendrio de feriados. Relacionamento com o cliente: Compensaes por atraso, Milhagem ganha. Informaes tcnicas: Tabela de milhagem entre cidades, Tabela de ligaes entre cidades.

Orientao por Assunto

Informaes agrupadas por assuntos de interesse da empresa =/=

Sistemas transacionais: orientados para as transaes realizadas diariamente. Mostra desempenho e possui indicadores de sua evoluo

Assuntos so os principais processos de negcio

No Data Warehouse somente interessam dados importantes para a tomada de decises.

Sistemas transacionais: dados para fins de controle operacional.

Orientao por Assunto

Pedido, nota fiscal Vendas

Ordem de produo, mquina

Produo

Falha, Produto

Qualidade

Variao de Tempo

Dados de um DW representam resultados operacionais em determinado momento. No podem ser atualizados. DW: Guarda histria da variao dos dados ao longo do tempo. Ex.: Visualizao de saldo bancrio X Evoluo dos saldos mensais durante um longo perodo. Horizonte de tempo dos sistemas DW muito maior que o dos sistemas transacionais 30 90 dias X 5 a 10 anos.

No Voltil

DW tem duas operaes bsicas:

Carga dos dados (inicial e incremental) Acesso aos dados em modo de leitura No h preocupao com atualizaes de registros, nem necessidade de bloqueio por concorrncia de usurios no acesso.

UMA VIA

Integrao
Dados em um DW possuem alto nvel de integrao.

Integrao
Exemplo: Convenes de nomes e valores de variveis so formalmente unificados e integrados.

Arquitetura do Ambiente

A arquitetura de um DW inclui:

Estrutura de dados, mecanismos de comunicao, processamento e apresentao da informao para o usurio.

As arquiteturas orientadas ao ambiente de DW so constitudas por:

Conjunto de ferramentas: Desde a carga inicial at o processamento de consultas. Repositrio de dados: o Data Warehouse e os Data Marts.

Arquitetura do Ambiente
Ferramentas:

Carga inicial e atualizaes peridicas do DW.

Extrao dos dados de mltiplos sistemas transacionais e fontes externas. Limpeza, transformao e integrao dos dados.

Consultas orientadas para o usurio final:

Elaborao de relatrios, anlise de desempenho e minerao de dados.

Arquitetura do Ambiente
Repositrios:
Data Warehouse: Grande conjunto de todos os dados (armazm de dados). Data Marts (DM): Prateleiras do armazm de dados. Repositrios menores, orientados a reas especficas.

Arquitetura do Ambiente

Componentes do ADW

Papis exercidos por pessoas. Processos / ferramentas

Papis:

Responsveis pela carga dos dados Usurios finais Responsveis pelo desenvolvimento e manuteno do DW e dos DM:

DBAs e Das (muitas vezes o desenvolvedor mesmo).

Processos e ferramentas

Os processos do ADW consistem

na extrao dos dados das diversas fontes, na organizao e integrao destes dados de forma consistente para o DW, no acesso aos dados integrados de modo eficiente e flexvel.

Desenvolvimento de sistemas ou avaliao de ferramentas para extrao de dados e atualizao do DW.

Filtragem, limpeza, sumarizao e concentrao dos dados espalhados pelas fontes externas e nos sistemas operativos.

Processos e ferramentas
Ferramentas para pesquisa e relatrios. Ferramentas do tipo OLAP (On-line Analytical Processing). Sistemas de informaes executivas Data Mining

Permite ao usurio avaliar tendncias e padres no conhecidos entre os dados. Redes Neurais, algoritmos genticos e lgica nebulosa.

ETL

Extract

Extrao de dados de fontes externas e ambientes operativos. Transformao dos dados para melhor se adequar s necessidades do negcio. Carregar os dados no data warehouse.

Transform

Load

Extrao
Projetos de Datawarehousing consolidam dados de diferentes fontes. Cada fonte pode usar um formato de dados diferente.

Mais comuns so tabelas de um banco de dados relacional e arquivos texto (flat files).

O processo de extrao converte os dados em um formato para o processo de transformao.

Transformao
Este processo aplica regras ou funes nos dados extrados para transform-los os dados a serem carregados no DW. Possveis transformaes so: Selecionar apenas algumas colunas para carregar. Traduzir valores codificados (e.x., se o sistema fonte armazena 1 para masculino e 2 para feminino, mas o DW armazena M e F).

Transformao
Codificar valores livres (e.x., mapear "Masculino" e "M" em 1) Obter um valor calculado (e.x., total_vendas = qtd * preco_unit) Sumarizar mltiplas linhas de dados (e.x., total de vendas para cada regio) . Quebrar uma coluna em vrias

Carga
Carregar os dados, j transformados, no Data Warehouse.

Mantendo a histria dos dados.

Os Dados
Os dados encontram-se em repositrios que constituem uma das principais preocupaes de um ADW

Apresentaremos trs Repositrios:

ODS, DW, DM, BDs individuais ou cubos.

O emprego ou no de qualquer um deles depende a arquitetura adotada.

Os Dados
Os dados podem ser armazenados em diferentes nveis de agregao, como: dados detalhados, configurando o nvel operacional, dados levemente sumarizados e dados altamente sumarizados. O ADW pode apresentar os seguintes repositrios de dados:

ODS, DW, DM, BD Individuais.

Operational Data Storage (ODS) ou Staging Area

Repositrio de dados operacionais integrados.

Operational Data Storage (ODS)

Consolidao de dados dispersos. Permite extraes em perodos fora de pico de operaes. Pode ser usada para limpar dados sujos.

Sistema de vendas

ODS

DW
Dados sincronizados

Sistema financeiro

Operational Data Storage (ODS)

No um componente indispensvel em um ADW. Sua criao uma deciso de projeto.

Inicialmente temporrio, informaes correntes.

DDS Dynamic Data Storage

No voltil Alteraes incrementais

Data Warehouse

a espinha dorsal deste ambiente.

Representa uma grande base de dados capaz de integrar, de forma concisa e confivel, as informaes (antes espalhadas) de interesse para a empresa.

Nem tudo que gerencial deve estar em um Data Warehouse, somente informaes em carter histrico e estatstico.

Data Warehouse
Ambiente Transacional

Anlise de comportamento Tendncias Crescimento Indicadores de Negcio

Acompanhamento de Campanha de vendas

Data Marts

Subconjunto de dados do DW.

Dados do DM direcionados a um departamento ou uma rea especfica do negcio.

Normalmente, modelado em um esquema estrela, de acordo com as necessidades especficas do usurio final.

Possibilidade de retorno rpido ao usurio final.

BDs Individuais ou Cubos

Permitem aos usurios armazenar, em carter temporrio, apenas dados de seu interesse,

Reduzindo o escopo da informao e acelerando seu processamento.

Normalmente so um subconjunto do DM. Destaque graas ao desenvolvimento de ferramentas OLAP para Desktop (DOLAP).

Arquiteturas de DW

Em evoluo Variedade de opes

Analisar o problema para avaliar a arquitetura mais adequada.

Atividade
Uma empresa pretende construir um DW: (Voc pode escolher qualquer ramo, exemplos: hotel, supermercado).

Identifique fontes de dados. Identifique assuntos de interesse para tomada de deciso. D pelo menos dois exemplos de transformaes nos dados. Uma ODS seria necessrio neste ambiente? Justifique. D dois exemplos de tendncias a serem analisadas com informaes do DW. D um exemplo de anlise que deve ser feita por uma aplicao especfica do ambiente transacional (e no no ambiente do DW). Identifique DMs para o Ambiente de DW em questo.

Anlise e Modelagem Multidimensional Arquiteturas de Data Warehouse

Prof. Thiago Affonso de M. N. Viana tamnv@recife.ifpe.edu.br

Granularidade de Dados

Nvel de sumarizao dos elementos e de detalhes disponveis nos dados. Importante aspecto do projeto de DW.

Afeta volume de dados e tipos de consulta. Quanto maior o volume menor a performance.

Exemplo:
Data Hora Vendedor Valor
50 registros/ms

Ms Vendedor Valor
1 registro/ms

Granularidade de Dados

Alto nvel de detalhes Baixo nvel de granularidade. Mais baixo nvel de granularidade: Sistemas de transaes. Exemplo:

Granularidade para vendas:

Ms, semana, dia Perodo de Natal, Perodo de Pscoa

Granularidade de Dados

No se refere apenas ao agrupamento de dados no tempo. Outras formas de agrupar informaes:

Local: regio, estado, cidade Produto: marca, produto

Granularidade de Dados
Do ponto de vista dos negcios... 1. Interessaria para o gerente analisar a evoluo das vendas no dia 5 de cada ms nos ltimos 5 anos? 2. E analisar o comportamento das vendas no ms de Dezembro nos ltimos 5 anos? 3. Analisar a evoluo das vendas de cada exemplar de um livro ou do de todos os exemplares? 4. Analisar a evoluo das vendas em cada loja ou nas lojas de uma regio?

Arquiteturas de DW

Tipos de Arquitetura

Arquitetura Global Arquitetura de DMs Independentes Arquitetura de DMs Integrados Top Down Bottom Up Combinada

Abordagens de Implementao

Arquitetura Global
Arquitetura
Determina o local onde o Data Warehouse, ou Data Marts, residem.

Arquitetura Global:

Global: Escopo de acesso das informaes (Centralizada) Disponvel para toda a empresa. Pode ser fisicamente centralizada ou distribuda. Arquitetura de integrao

Arquitetura Global

Trata a empresa como um todo Viso corporativa de dados Menor redundncia de dados Maior integrao e consistncia. Manuteno mais fcil Altssimo tempo de desenvolvimento

Arquitetura de Data Marts Independente

Cada departamento constri e gerencia o seu Data Mart. Data Marts atendem necessidades especficas de departamentos. No h foco corporativo (viso global). Maior redundncia. Menor integrao. Consultas mais limitadas. Tempo menor de desenvolvimento. Realidade Atual.

Arquitetura de Data Marts Integrados

Data Marts implementados separadamente, mas so integrados/ interconectados. Dados comuns a vrios Data Marts podem ser compartilhados. Mais complexo que DMs independentes. Possibilita viso corporativa . Soluo intermediria entre Arquitetura Global e de DMs independentes

Abordagens de Implementao
Como o DW ser desenvolvido Padro inicial

Abordagens de Implementao: Top Down

A partir do DW so extrados dados para os Data Marts Informaes dos Data Marts:

Maior nvel de sumarizao Menor nvel no histrico do DW Viso corporativa Repositrio de metadados centralizado e simples Controle e centralizao de regras

Vantagens da Abordagem Top Down

Abordagens de Implementao: Top Down

Desvantagens:

Alta taxa de risco Politicamente difcil de ser definida Implementao Longa Expectativa relacionadas ao ambiente

Abordagens de Implementao: Bottomup

Construo de um DW incremental a partir do desenvolvimento de DMs independentes

Abordagens de Implementao: Bottomup

Avaliao de ferramentas e tecnologias s deve ser realizada uma vez. Vantagens:

Implementao rpida Retorno rpido Enfoque da equipe (desenvolvimento por reas de interesse).

Abordagens de Implementao: Bottomup

Desvantagens:

No h garantias de padres nicos de metadados. Podem ocorrer redundncias de dados e inconsistncias entre Data Marts. Extrao de dados para mltiplos Data Marts crtico na interferncia junto aos sistemas transacionais. Desfio de possuir a viso corporativa.

Abordagem Bottom Up

Muitas das novas abordagens propostas, baseiamse na arquitetura "bottom-up". Objetivos:

Otimizar o processo de desenvolvimento. Garantir a consistncia dos metadados e facilidade de integrao do ambiente. Enterprise Data Mart Architecture (EDMA) Data Storage/Data Mart (DS/DM)

Exemplos:

Abordagem Bottom Up
Enterprise Data Mart Architecture (EDMA)

Garantir uma padronizao dos metadados utilizados na construo do ambiente, permitindo o desenvolvimento incremental do DW, com margens mnimas de duplicidade e inconsistncia de informaes. Introduz o DDS (substituindo o conceito do ODS original).

Abordagem Bottom Up
Enterprise Data Mart Architecture (EDMA)

Abordagem Bottom Up
Data Storage/Data Mart (DS/DM) Similar arquitetura EDMA, entretanto ela substitui o DW por uma viso que representa uma conjuno lgica de DM.

Abordagem Combinada

Planejamento Top-down Desenvolvimento Bottom-up

Um DM de cada vez, escolhido por rea de interesse. Modelo de dados nico.

Coerncia entre vrios Data Marts.

Anlise e Modelagem Multidimensional Modelagem de Dados para Data Warehouse

Prof. Thiago Affonso de M. N. Viana tamnv@recife.ifpe.edu.br

Por que modelagem?

Modelo: abstrao do mundo real. Modelar: Forma de visualizar o que se deseja realizar. O mesmo vale para modelagem de dados

Abordagens diferentes de modelagem

Diferentes tcnicas para modelagem de dados:

Diagrama ER:

Anlise de requisitos de negcio. Desenho de uma estrutura de dados. Visualizao de questes abstratas requisitos dos usurios de negcio. Exige nvel de abstrao superior ao utilizado em modelo de dados transacionais.

Modelagem multidimensional

Abordagens diferentes de modelagem

Operacionalizao do negcio vs. Gesto do negcio.

Exemplo de negcio residncia:

Como est a evoluo das despesas durante o ano? Controlar despesas com relao ao oramento do ms. Saber quais produtos ou servios esto relacionados com estas despesas. Como est a relao percentual da despesa por tipo de gasto em relao ao oramento?

Abordagens diferentes de modelagem

Porque no mover o modelo de dados transacional para um banco de dados separado, inserindo dados histricos?
- Complexidade de consultas ad-hoc. - Desempenho (joins de tabelas)

Modelagem ER Conceitos Bsicos

Entidades Atributos Relacionamentos Integridade

Modelagem Multidimensional

Mais simples e fcil de entender que modelagem ER Conceito relativamente novo Modelo Multidimensional:

Fatos Dimenses Medidas

Fatos

Representa um item, uma transao ou um evento de negcio. Usado para analisar o processo de negcio de uma empresa. Reflete a evoluo dos negcios do dia a dia de uma organizao. Representado por valores numricos.

Dimenses

So os elementos que participam de um fato. So as possveis formas de visualizar os dados (por):

Por ms, por pas, por produto, por regio, etc. Classificao de dados dentro de uma dimenso Dimenso tempo: Ano, Trimestre, Ms, Dia.

Hierarquia de Dimenses

Dimenses
Exemplo:

Fato: vendas de produtos.

Dimenses:

Tempo Localizao Clientes Vendedores

Medidas (Variveis)
So os atributos numricos que representam um fato. Performance de um indicador de negcios relativo s dimenses que participam deste fato.

Medidas (Variveis)
Exemplo:

Fato: vendas de produtos. Dimenses: Tempo, Localizao, Clientes, Vendedores. Medidas:

Valor reais em vendas Nmero de unidade de produto vendidas Quantidade em estoque

Medidas
Determinada pela combinao das dimenses que participam de um fato.

Atributos de um fato.

Visualizao de um modelo multidimensional

Cubo: Usado para visualizar um modelo dimensional. Hipercubo (difcil visualizao)

Visualizao de um modelo multidimensional

Fato? Dimenses? Hierarquias? Medidas?
PE PB Recife So Loureno Joo Pessoa 11 22 41 A NOKIA 21 43 45 B 38 Tempo 35 56 C LG Produto Localizao

Visualizao de um modelo multidimensional

Medida: volume de vendas Determinado pela combinao de trs dimenses.
PE

Localizao

Recife So Loureno Joo Pessoa

11 22 41 A NOKIA

21 43 45 B

38 Tempo 35 56 C LG Produto

Dimenses localizao e produtos possuem dois nveis de hierarquia

PB

Visualizao de um modelo multidimensional

Cubo Metfora Pode-se ter 2,3,4..., n nmeros de dimenses

Visualizao de um modelo multidimensional

Modelo Estrela

Estrutura bsica de um modelo de dados multidimensional. Composio

Fato (entidade central) Tabelas de Fato Dimenses (entidades menores) Tabelas de Dimenso

Modelo Estrela

Elemento Central: Fato Vendas Dimenses ao redor Diagramao padro Relacionamentos

Um para muitos no sentido da dimenso para o fato

Modelo Floco de Neve

Decomposio de dimenses que possuem hierarquias entre seus membros. Relacionamentos muitos para um entre entidades dimenses. Resultado da terceira forma normal sobre as entidades dimenso.

Modelo Floco de Neve

Modelo Floco de Neve

Evita redundncia de valores em uma tabela. Lembrar que:

A prioridade no economia de espao Informao rpida

Anlise e Modelagem Multidimensional Fatos

Prof. Thiago Affonso de M. N. Viana tamnv@recife.ifpe.edu.br

Modelo Multidimensional

Elementos Bsicos:

Fatos Dimenses Medidas

Fatos
Que tipo de informaes so armazenadas em um DW?
Informaes sobre notas fiscais? Qual o assunto das notas fiscais?

Fatos

Tudo que pode ter importncia para tomarmos decises na vida. Assunto sobre o qual necessitamos possuir informaes histricas para compreender seu comportamento e tomar decises sobre ele. Identificar Fatos:

Ponto delicado em um projeto de DW.

Fatos
Caractersticas:

Podem ser representados por um valor aditivo (numrico)

Mtricas ou Medidas. Sua medida varia com o tempo

So evolutivos:

Seu histrico mantido e cresce com o tempo.

Fatos
O ndice de aprovao escolar na cadeira de Banco de Dados vem diminuindo nos ltimos dois anos

De que Fato se trata? Representado por valores numricos? Varia com o tempo? Possui histrico?

Fatos
2005 Curso BD Redes LPOO Alunos 50 45 48 AP 41 40 37 %AP 0,82 0,89 0,77 Alunos 45 55 50 2006 AP 35 42 37 %AP 0,78 0,76 0,74 Alunos 50 45 48 2007 AP 35 42 40 %AP 0,7 0,93 0,83

2009 Curso BD Redes LPOO Alunos 5 13 4 AP 0 7 1 %AP 0,0 0,53 0,25 Alunos 12 11 3

2010 AP 1 6 0 %AP 0,08 0,54 0,0 Alunos 12 5 4

2011.1 AP 3 4 4 %AP 0,25 0,80 1,00

Fatos
O consumo de bebidas alcolicas aumentou no Brasil entre 2009 e 2010 O ndices de criminalidade aumentaram no ano atual 50% sobre os ltimos dois anos

Observe: ndices do a ideia de se tratar de conjuntos de medidas de alguma coisa.

Identificando fatos

Quando entrevistamos um executivo suas necessidades no aparecem sob a forma de um modelo de dados. Entretanto eles so muito objetivos quanto aos indicadores de negcio. Vamos buscar identificar os fatos do negcio. S ento poderemos projetar algo sensato para um DM/ DW.

Identificando fatos
Qual a participao dos clientes da regio sudeste em nosso mix de vendas? Qual a performance de nossos representantes em cada regio? Precisamos saber qual o ndice de participao de cada produto nas nossas vendas, o product share.

Identificando fatos

O que o fato?

O que varia ao longo do tempo? O que possui valor numrico relativo a perodos de tempo? Sobre o que podemos manter dados histricos com o passar do tempo?

Identificando fatos

O que o fato?

O que varia ao longo do tempo? O que possui valor numrico relativo a perodos de tempo? Sobre o que podemos manter dados histricos com o passar do tempo?

VENDAS

Identificando fatos

O que vem a ser considerada a participao dos clientes na regio sudeste? Performance dos representantes seria um fato?

Identificando fatos

Indicadores numricos obtido a partir de um conjunto de valores.

Exemplos??

Identificando fatos

Em modelagem ER tradicional:

Verbos: Relacionamento Nomes: Entidades

E em modelagem multidimensional? O que identifica um fato?

Identificando fatos

Em modelagem ER tradicional:

Verbos: Relacionamento Nomes: Entidades

E em modelagem multidimensional? O que identifica um fato?

Indicadores matemticos:
Participao, Performance, Evoluo, ndice

Exerccio 1
Identifique o fato e justifique sua resposta: Um programa exemplar faz do RS campeo em transplantes mltiplos de rgos. Cerca de 90% dos transplantes realizados no ano passado foram mltiplos. Em SP, 70% dos transplantes so realizados desta forma. No RJ, metade dos transplantes entram nesta categoria. Apenas nos dois primeiros meses deste ano quinze doadores permitiram que 46 pessoas continuassem vivendo

Exerccio 2
Busque na Internet, ou em jornais e revistas duas reportagens que permitam identificar fatos em determinados contextos.

Anlise e Modelagem Multidimensional Dimenses e Medidas

Prof. Thiago Affonso de M. N. Viana tamnv@recife.ifpe.edu.br

Dimenses

So os elementos, entidades, que participam de um fato. O por dos dados. Considere o fato Compras em uma organizao. Quais so os elementos participantes deste fato? Aplicao dos quatro pontos cardeais:

Quando a compra foi realizada. Onde foi realizada. Quem realizou. O que foi comprado.

Dimenses
Identificamos ento quatro dimenses envolvidas nesse fato
Onde? Quando?

Compra

Quem?

O que?

Dimenses

Por meio do arranjo das dimenses podese analisar as informaes sob diferentes perspectivas. Ex.: Quanto o comprador Felipe comprou de produtos do tipo calado em Setembro de 2009 nas lojas Tamanco de Ouro? Dimenses de anlise: quem, quando, o que, onde.

Esquema Estrela

Um DM modelado para ambientes de bancos de dados relacionais. Esquema Estrela: A modelagem conceitual dos fatos o principal elemento de desenvolvimento de um DM/ DW. Conjunto de entidades Relacionadas.

As tabelas possuem atributos de identificao e que estabelecem o relacionamento entre elas, as chaves estrangeiras.

Esquema Estrela

A tabela fato um grande relacionamento muitos para muitos. Aplicao de atributos s tabelas permite visualizar um esquema estrela mais delineado.

Dimenso Tempo

Est presente em qualquer DM/ DW. A dimenso tempo uma hierarquia de espaos de tempo. Ex:

Ano Trimestre Ms Semana Dia

Anlise dos fatos so feitas sobre transaes em um espao de tempo definido como gro de anlise. Gro de anlise a unidade de tempo na qual os dados esto armazenados e podem ser sumarizados.

Dimenso Tempo

Exemplo: Dados agrupados por semana Compras realizadas diariamente, porm o menor gro de anlise so compras semanais. Valores so agregados hierarquicamente de semana at ano:

Ms = conjunto de semanas Trimestre = conjunto de meses Ano = conjunto de trimestres

Dimenso Onde
Competio de programao no Rio de Janeiro marcado para as 10:00h. Quando faltavam 5 minutos para as 11:00h um locutor anunciou que as provas comeariam dali a 15 minutos.

Onde?

Rio de Janeiro

Dimenso Onde
Posse de Armnio Fraga no Banco Central agendada para as 14:00h em Braslia. A cerimnia comeou as 14:40h porque o Ministro da Fazenda custou a chegar

Onde?

Braslia Banco Central Duas ocorrncias da mesma entidade ou duas entidades Onde?

Dimenso Onde
Posse de Armnio Fraga no Banco Central agendada para as 14:00h em Braslia. A cerimnia comeou as 14:40h porque o Ministro da Fazenda custou a chegar

Onde?

Braslia Banco Central Duas ocorrncias da mesma entidade ou duas entidades Onde?

Pode existir mais de uma dimenso relativa a um ponto cardeal

Atributos de Dimenso
Voltando ao fato compras

Atributos de Dimenso

Quais seriam os atributos da dimenso fornecedor?

Nome do fornecedor rea do fornecedor Cdigo do fornecedor

Qual a chave primria do fornecedor no modelo do ambiente transacional? E no Data Mart?

Atributos de Dimenso

Cdigo do fornecedor mantido como um atributo da dimenso. Utilizaremos outra chave primria para o DM.

Por qu?

Atributos de Dimenso

Cdigo do fornecedor mantido como um atributo da dimenso. Utilizaremos outra chave primria para o DM.

Por qu?

Manter as informaes histricas.

Atributos de Dimenso

O que aconteceria se o fornecedor X mudasse para a rea 3? Histrico do fornecedor no muda. E o histrico das reas? Soluo: inserir uma nova ocorrncia de fornecedor, com uma nova rea.

Nova ocorrncia no Data Mart tem chave primria diferente. O atributo referente chave do ambiente transacional (Cdigo_fornecedor) o mesmo.

Dimenses
Eliminando o problema de mudana de rea do Fornecedor fornecedor.
Chave Fornecedor

Tempo
Chave Tempo

rea
Chave rea

Compra
Chave Fornecedor Chave Tempo Chave Comprador Chave rea Chave Produto

Comprador
Chave Comprador

Produto Chave Produto

Dimenses
No ambiente transacional:
Cdigo Fornecedor Cdigo rea (FK) Nome Fornecedor Cdigo rea

1 N
Nome rea

Relacionamento garante integridade.

No DM: entidade rea e fornecedor no esto relacionadas. E a integridade?

Atributos de Dimenso
Atributos da dimenso tempo:
Fornecedor
Chave Fornecedor

Tempo
Chave Tempo Ano Trimestre Ms

rea
Chave rea

Compra
Chave Fornecedor Chave Tempo Chave Comprador Chave rea Chave Produto

Comprador
Chave Comprador

Produto Chave Produto

Dimenses e Hierarquias

Quando carregamos dados para os fato compra as transaes so agrupadas pela granularidade mnima de tempo. Roteiro:

Agrupar registros por ms Identificar o ms na tabela tempo Obter a chave de tempo Usar a chave de tempo na gravao de um registro do fato.

Dimenses e Hierarquias
Informaes so organizadas hierarquicamente para fins de anlise. Exemplo: Informaes sobre produtos de uma empresa farmacutica.
Classe Teraputica

Familia

Sub Familia

Como fica o modelo de dados?

Apresentao

Produto

Modelo Floco de Neve

Modelo Floco de Neve (SnowFlake):

Dimenso Produto Normalizada Entidades encadeadas

Familia Sub Familia Apresentao

Classe Teraputica

Produto Vendas Vendedor Tempo

Modelo Floco de Neve

Modelo Floco de Neve:

Fcil de entender. Para totalizar os valores preciso realizar um join entre as seis tabelas realizar clculos de totalizao dos valores. No a melhor soluo em termos de performance das consultas.

Modelo Estrela

Classe Teraputica

Familia

Sub Familia

Apresentao

Produto Vendas Vendedor Tempo

Modelo Estrela
Muito usado na prtica Acesso direto entre a entidade da hierarquia e o fato, com simples seleo de dados e acumuladores de valores.

Dimeses e Hierarquias

Hierarquias mltiplas Exemplo: Produtos de um supermercado podem ser classificados em categorias: Alimento, Material de Limpeza, etc. Alimentos podem ter subcategorias.

Perecveis, No perecveis Dietticos, No dietticos

Medidas

Data Marts so usados para consultar dados histricos sumarizados por perodos de tempo, e as mais variadas combinaes de classificao de uma informao. Normalmente se deseja ver a evoluo ou no de valores numricos, em um espao de tempo. Medidas

Medidas
Os ndices de criminalidade aumentaram no ano de 1999, 50% sobre os dois anos anteriores ndice: valor obtido sobre valores numricos de ocorrncia de um fato.

Tipos de Medidas

Valores Aditivos

Podem ser aplicadas operaes como soma, subtrao e mdia sobre estes valores. No podem ser manipulados livremente. Percentuais ou valores relativos

Valores No Aditivos

Operaes matemticas com valores aditivos permitem a obteno de valores no aditivos

Tipos de Medidas

Manter valores no aditivos ou apenas aditivos na tabela de fatos?

Gerao de muitas colunas VS Performance. Possuem contagem dupla Ex.: Controle de estoque totaliza mensalmente os produtos estocados.

Valores semiaditivos:

Produto pode permanecer em estoque durante dois meses: Novembro e Dezembro de 2009. Soma dos totais em estoque em mais de um perodo contabilizaria mais de uma vez os mesmos itens de estoque.

Hierarquias de Medidas

Uma determinada medida pode possuir uma hierarquia de composio de seu valor. Ex.: Valor das Receitas uma medida composta de outras e que pode compor outras.
1. Receita Bruta = Valor de Venda Custo de Venda 2. Lucro antes dos impostos = Receita Bruta Despesas Corporativas 3. Lucro Lquido = Lucro antes dos impostos (Lucro antes dos impostos * 3%)

Hierarquias de Medidas
Observe: impostos tambm uma frmula, mas uma frmula no hierrquica, ou seja, no aplica operador sobre outro nvel hierrquico

Hierarquias de Medidas

Medidas existem em funo de dimenses que participam de um fato. Vamos considerar a dimenso produto. Cada valor das medidas est associado a um produto. Temos o produto participando do fato e os valores das medidas que aparecem no problema.

Hierarquias de Medidas

Product Share: participao de um produto no total de vendas da empresa.

Product Share = 100 * (Lucro Lquido (Produto) / Lucro Lquido)

Hierarquias de Medidas

obtida a partir de uma operao sobre Lucro Lquido No est associada hierarquicamente com nenhuma outra medida Mesmo nvel hierrquico que Lucro Lquido.

Hierarquias de Medidas

At aqui vinculamos as medidas do fato vendas apenas a uma dimenso (produto). Vamos adicionar uma nova dimenso: regio.

preciso conhecer os valores relativos a venda por regionais de operao. At aqui consideramos as despesas como um todo, corporativas.

Hierarquias de Medidas

Hierarquias de Medidas

Colocar medidas na entidade fato. Manter todos os atributos na entidade? Manter apenas os necessrios para os clculos?

Discutvel...

Atributos de um Fato

Os atributos identificados so todos relativos ao fato venda? O usurio consegue montar uma planilha com estes dados? Se sim, os atributos so relativos ao fato
Chave Produto Chave Regio Chave Regio Nome Regio 1 Impostos * Venda Bruta Custo de Venda 1 * Despesa Corporativa Despesa Marketing Despesa Administrativa Despesa Compras Despesa Outras Chave Produto Descrio Produto

Anlise e Modelagem Multidimensional Modelagem de um DW Exemplo

Prof. Thiago Affonso de M. N. Viana tamnv@recife.ifpe.edu.br

O sistema transacional
Controla filmes por sala de cinema onde so exibidos, tendo informaes sobre a capacidade de lotao de cada sala, localizao regional no pas, assim como os registros de bilheteria de cada sesso diria de cinema.

As necessidade executivas

Acompanhar a evoluo do pblico e o valor arrecadado em cada regio do pas, estado e cidade, classificados por gnero de filme e sala de cinema. Avaliar a evoluo de filmes por ator participante, assim como por diretor. Quais diretores atraem o maior pblico e em que gnero est este pblico. Quais perodos do ano possuem maior pblico por gnero, ator e diretor, e geograficamente.

Identificando o fato
Acompanhar a evoluo do pblico e o valor arrecadado em cada regio do pas, estado e cidade, classificados por gnero de filme e sala de cinema. Quem tem pblico? Quem tem valor arrecadado?

Identificando o fato
Acompanhar a evoluo do pblico e o valor arrecadado em cada regio do pas, estado e cidade, classificados por gnero de filme e sala de cinema. Quem tem pblico? Quem tem valor arrecadado? EXIBIO DE FILME

Identificando o fato
Em geral, fatos correspondem a relacionamento muito para muitos no modelo de dados transacional
Onde? Exibio_de_Filmes Quem?

Quando?

O que?

Medidas

Quais as medidas do fato?

Quem so os valores numricos de avaliao do fato?

Acompanhar a evoluo do pblico e o valor arrecadado em cada regio do pas, estado e cidade, classificados por gnero de filme e sala de cinema.

Dimenses
Onde o filme exibido? Acompanhar a evoluo do pblico e o valor arrecadado em cada regio do pas, estado e cidade, classificados por gnero de filme e sala de cinema. Duas dimenses relativas ao ponto cardeal onde.

Dimenses
O qu exibido? Acompanhar a evoluo do pblico e o valor arrecadado em cada regio do pas, estado e cidade, classificados por gnero de filme e sala de cinema

Filme, Agrupados por gnero

Dimenses
Quem participa do filme exibido? Avaliar a evoluo de filmes por ator participante, assim como por diretor.

Dimenses
Quando?

Hierarquia de tempo: ano trimestre ms data

Modelo Estrela
Chave_Tempo Ano Trimestre Mes Periodo Dia

Chave_Cidade Regiao Estado Cidade

Chave_Genero Descricao

Exibio_de_Filmes Numero_de_pessoas Valor_arrecadado Chave_Sala Nome_Sala Chave_Diretor Nome_Diretor Chave_Ator Nome_Ator

Chave_Tempo

Modelo Estrela

Ano Trimestre Mes Periodo Dia Exibio_de_Filmes Chave_Genero Descricao

Chave_Cidade Regiao Estado Cidade

Chave_Tempo(FK) Chave_Cidade(FK) Chave_Sala(FK) Chave_Diretor(FK) Chave_Ator(FK) Chave_Genero(FK) Chave_Genero Descricao Chave_Ator Nome_Ator Numero_de_pessoas Valor_arrecadado

Chave_Sala Nome_Sala

Chave_Ator Nome_Ator Chave_Diretor Nome_Diretor

Sistema Transacional
Sistema usado at o presente momento pela instituio, que cadastra os docentes, alunos e gerenciam as suas notas, freqncias e matriculas. H ainda dados em cada gerencia acadmica referente a protocolos e entradas extras que alunos podem vir a requisitar como casos extraordinrios.

As necessidade executivas

A produtividade de cada professor ao longo de vrios perodos. A produtividade descrita da seguinte maneira:

(a) N de alunos matriculados em disciplinas do professor por perodo acadmico (b) N de alunos aprovados / N total de alunos

A produtividade de cada departamento: mdia da produtividade dos seus professores. O ranking dos professores mais produtivos perodo a perodo, por curso e por departamento. Produtividade disciplinas tericas versus disciplinas prticas

Esquema ER
Disciplina:Cdigo,Nome,No_creditos,Natureza{teoria,prtica} Professor:Matrcula,Nome,Titulao,Endereo Aluno:Matrcula,Nome,Estado_civil,Sexo,Ano_ingresso Curso:Cdigo,Descrio,No_crditos,Durao_normal Turma:Ano,Perodo,Sala Departamento:Cdigo,Nome

Esquema Estrela??
Fato? Dimenso Onde? Dimenso O que? Dimenso Quem? Dimenso Quando?

Esquema Estrela??
Fato? Produo escolar Dimenso Onde? Curso, Departamento Dimenso O que? Disciplina Dimenso Quem? Professor Dimenso Quando? Tempo Ano/Periodo

Modelo Multidimensional

Ambientes para AMM

ROLAP: Modelagem multidimensional, ambiente transacional, consultas analticas atravs de SQL puro. HOLAP: Modelagem multidimensional, ambiente transacional, consultas analticas atravs de ferramenta. OLAP: Modelagem multidimensional, ambiente analtico, consultas analticas atravs de ferramenta.

Exemplo ROLAP: Criao e Carga de Dimenses

TEMPO:

Criao: CreatetableDim_Tempo(Idserial, Semestreint,Anoint,Primarykey(id)); Carga: InsertintoDIM_TEMPO(semestre, ano)SelectV.ano,V.periodofrom (SelectT.ano,T.periodofrom(Select DISTINCTano,periodofromturma)T)V

Exemplo ROLAP: Criao e Carga de Dimenses

CURSO: Criao: CreatetableDim_Curso(Idserial, NomeVARCHAR(30),Primarykey(id)); Carga: InsertintoDIM_CURSO(nome) SelectV.nomefrom(SelectDISTINCT nome_cursonomefromcurso)V;

Exemplo ROLAP: Criao do Fato

Create table Producao_Escolar( Id_Tempo int not null, Id_Prof int not null, Id_Dept int not null, Id_Dis int not null, Id_Cur int not null, Qtd_Alunos int, Qtd_Alunos_Ap int, Foreign key(Id_Tempo) references Dim_Tempo(ID), Foreign key(Id_Prof) references Dim_Professor(ID), Foreign key(Id_Dept) references Dim_Dept(ID), Foreign key(Id_Dis) references Dim_Disciplina(ID), Foreign key(Id_Cur) references Dim_Curso(ID) );

Exemplo ROLAP: Criao de Views para Carga

CREATE VIEW QTD_ALUNOS_PERIODO AS SELECT P.NOME, COUNT(*) "qtd_alunos", T.ANO, T.PERIODO, DEP.NOME_DEP, C.NOME_CURSO, D.NATUREZA FROM ALUNO_TURMA AT, TURMA T, PROFESSOR P, DISCIPLINA D, DEPART DEP, CURSO C WHERE AT.COD_TURMA=T.COD_TURMA AND T.COD_PROF=P.MATRICULA AND D.COD_CURSO=C.CODIGO AND T.COD_DISCIPLINA=D.CODIGO AND P.COD_DEPT=DEP.CODIGO GROUP BY P.NOME, T.PERIODO, D.NATUREZA, DEP.NOME_DEP, C.NOME_CURSO, T.ANO;

Exemplo ROLAP: Criao de Views para Carga

CREATE VIEW QTD_ALUNOS_AP_PERIODO AS SELECT P.NOME, COUNT(*) "qtd_alunos_ap", T.ANO, T.PERIODO, DEP.NOME_DEP, C.NOME_CURSO, D.NATUREZA FROM ALUNO_TURMA AT, TURMA T, PROFESSOR P, DISCIPLINA D, DEPART DEP, CURSO C WHERE AT.COD_TURMA=T.COD_TURMA AND T.COD_PROF=P.MATRICULA AND D.COD_CURSO=C.CODIGO AND T.COD_DISCIPLINA=D.CODIGO AND P.COD_DEPT=DEP.CODIGO AND AT.NOTA>6 GROUP BY P.NOME, T.PERIODO, D.NATUREZA, DEP.NOME_DEP, C.NOME_CURSO, T.ANO;

Exemplo ROLAP: Criao de Views para Carga (ODS)

CREATE VIEW fato_view AS SELECT a.nome, a.ano, a.periodo, a.nome_dep, a.nome_curso, a.natureza, "qtd_alunos", "qtd_alunos_ap" FROM qtd_alunos_periodo a, qtd_alunos_ap_periodo b WHERE a.nome=b.nome (+);

Exemplo ROLAP: Carga nos Fatos

INSERT INTO producao_escolar select t.id, p.id, de.id, d.id, c.id, "qtd_alunos", "qtd_alunos_ap" from dim_curso c, dim_disciplina d, dim_dept de, dim_tempo t, dim_professor p, fato_view f where p.nome=f.nome and periodo=semestre and t.ano=f.ano and de.nome=f.nome_dep and d.natureza=f.natureza and c.nome=f.nome_curso;

Exemplo ROLAP: Consultas com SQL puro

A produtividade de cada professor ao longo de vrios perodos. A produtividade descrita da seguinte maneira:

(a) N de alunos matriculados em disciplinas do professor por perodo acadmico (b) N de alunos aprovados / N total de alunos

SELECTp.nome"Professor",Ano,Semestre "Periodo",qtd_alunos"ProdutividadeA", qtd_alunos_ap/qtd_alunos"ProdutividadeB"from producao_escolarpe,dim_professorp,dim_tempo twhereid_prof=p.idandid_tempo=t.id;

Exemplo HOLAP
Mesmo Banco de Dados com uma ferramenta de criao de consultas automticas: PENTAHO

Exemplo - OLAP
Banco de dados e ambiente de consultas diferenciado: - Oracle BI - SQL Server Analysis Services

Anlise e Modelagem Multidimensional Operaes OLAP

Prof. Thiago Affonso de M. N. Viana tamnv@recife.ifpe.edu.br

Processamento Analtico On-line

OLAP (Online Analytical Processing) uma das ferramentas de consulta (front-end) que servem para apresentar respostas aos usurios do DW. Um dos fatores importantes para o desempenho e a qualidade do DW est relacionado com seu frontend.

OLAP Definio

OLAP (Processamento analtico on-line) uma categoria da tecnologia de software que permite que, analistas, gerentes e executivos obtenham, de maneira rpida, consistente e interativa, o acesso a uma variedade de visualizaes possveis da informao (INMON,1997);

OLAP Definio

OLAP : processamento de dados, dedicado ao suporte deciso, por meio de visualizao de dados agregados ao longo de vrias dimenses analticas (tempo, espao, categoria de produto, quantidade vendida, preo...), armazenados em BD dimensional.

OLAP Objetivos

A tecnologia OLAP foi definida em decorrncia da forte necessidade de anlises dos dados de forma fcil e flexvel, analisando mltiplas vises do negcio em diferentes nveis de detalhe, comparaes e tendncias.

OLAP Objetivos

Ajudar analistas e gerentes a sintetizarem informaes sobre a empresa atravs de comparaes, vises personalizadas, anlise histrica e projeo dos dados em vrios cenrios

Operaes OLAP

Operaes Drill

Utilizam navegao nos dados, modificando o nvel de granularidade da consulta. Drill down/ Roll up (Drill up) Drill Across Drill Throught Navegar nas dimenses

Slice and Dice

Drill Down e Roll Up

So operaes para movimentar a viso dos dados ao longo dos nveis hierrquicos de uma dimenso:

Drill down:

O usurio navega de um nvel mais baixo de detalhe at um nvel mais alto (diminui-se a granularidade) O usurio navega de um nvel mais alto de detalhe at o nvel mais baixo (aumenta-se a granularidade).

Roll up:

Os caminhos de navegao so determinados pelas hierarquias de dimenso.

Drill Down e Roll Up

Drill Down: aumentar o nvel de detalhe, ir para o menor gro. Roll Up: diminuir o nvel de detalhe, subir para o maior gro.

Drill Across

O Drill Across ocorre quando o usurio pula um nvel intermedirio dentro de uma mesma dimenso.

Por exemplo: a dimenso tempo composta por ano, semestre, trimestre e ms. O usurio estar executando um Drill Across quando ele passar de ano direto para ms.

Drill Throught

O Drill Throught ocorre quando o usurio passa de uma informao contida em uma dimenso para uma outra.

Por exemplo: Estou na dimenso de tempo e no prximo passo comeo a analisar a informao por regio.

Slice and Dice

Operaes para realizar navegao por meio dos dados na visualizao por meio de um cubo. Slice

Corta o cubo, mas mantm a mesma perspectiva de visualizao dos dados. Funciona como um filtro restringindo uma dimenso somente algum ou alguns de seus valores

Slice and Dice

Dice

Mudana de perspectiva da viso multidimensional, como se o cubo fosse girado. Permite descobrir comportamentos e tendncias entre os valores das medidas analisadas, em diversas perspectivas

Slice (exemplo)

Dice (exemplo)

Anlise e Modelagem Multidimensional Aspectos Avanados de Modelagem para DW

Prof. Thiago Affonso de M. N. Viana tamnv@recife.ifpe.edu.br

Esquema Estrela

Esquema Estrela

Tabelas Fato Tabelas Dimenso Um modelo dimensional pode ser representado por uma ou mais tabelas de fatos, relacionadas com tabelas de dimenses. Entretanto, a viso de um esquema por vez torna o modelo mais claro.

Tabelas Secundrias

Qual a produo escolar por titulao de professores? Quais as disciplinas que mais reprovam alunos? Qual das provas tem notas mais baixas? Primeira, Segunda, Reposio, Final? Qual o product share da produtividade dos departamentos/cursos/disciplinas?
Clculos que aumentam o processamento das consultas

Tabelas Secundrias

Dados Secundrias
Dimenses Secundrias Fatos Secundrios Medidas Secundrias Formas de acelerar as consultas a partir de novas sumarizaes
Ex: Agregado apenas de ano

Agregados

Tabelas Secundrias

Tabelas Secundrias

Controlar crescimento do banco de dados pelas tabelas secundrias vs. conservar os benefcios!

Esparsidade do DW
Em um DW, em geral a tabela de fatos primria bastante esparsa, isto , h muito menos valores da chave composta do que o produto cartesiano dos valores das chaves de cada dimenso. Isto bom porque, do contrrio, o tamanho da tabela primria tenderia ao "infinito"!

Esparsidade do DW

Dimenso Tempo: 2 anos x 365 dias = 730 dias Dimenso Loja: 300 lojas Dimenso Produto: 30.000 produtos Nmero de registros da tabela de fatos: 730 x 300 x 30.000 = 6570 x 10 registros Porm, dos 30.000 produtos em estoque, somente 3.000 aproximadamente (10%) so comercializados diariamente, por loja.

Poda e Arrumao
Para montar o esquema estrela necessrio descobrir quais os atributos do MER que sero utilizados
Cdigo Nome

Departamento Qtd_alunos Qtd_alunos_ap Ano Perodo Nome

Matricula

Nome

Cdigo N. de crditos

Titulao

Disciplina Natureza

Producao_escolar

Turma

Professor

Endereo

Nota

Poda
Remoo de campos desnecessrios ao modelo: - Professor: Tiramos endereo, matricula e deixamos apenas nome e titulao. - Turma: Tiramos a nota, e deixamos apenas o ano e o perodo, e a chamamos de tempo. - Departamento: Tiramos o cdigo e deixamos apenas o nome. - Disciplina: Apenas deixamos natureza.

Poda
Nome

Departamento Qtd_alunos Qtd_alunos_ap Ano Perodo

Natureza

Nome

Disciplina

Producao_escolar

Tempo Titulao

Professor

Arrumao (ou enxerto)

Se necessrio, pode ser preciso criar campos, dimenses, modificar relacionamentos e assim arrumar e enxertar os dados de um modelo.