Fases para um Projeto de Data Warehouse

Definio escopo do projeto (departamental,

empresarial)

Fases para um Projeto de Data Warehouse

Planejamento Levantamento das necessidades Modelagem dimensional Projeto fsico dos BD Projeto ETC Desenvolvimento aplicaes Validao e teste Treinamento Implantao

Planejamento Levantamento das necessidades Modelagem dimensional Projeto fsico dos BD Projeto ETC Desenvolvimento aplicaes Validao e teste Treinamento Implantao

Grau de redundncia dos dados(ODS, data

staging)

Tipo de usurio alvo

(executivos, unidades)

Definio do ambiente (relatrios e consultas prestruturadas geram pouca demanda de BD, anlises complexas exigem maior demanda de BD, frequncia de necessidade de atualizao (grandes volumes de dados que so atualizados em intervalos regulares, favorecem uma arquitetura centralizada)

Necessidades inf gerenciais Planejamento para integrao Definio arquitetura tecnolgica

SGBD Ferramentas OLAP e Data Mining Ferramentas ETC Ferramentas metadados Mecanismos para transferncia de dados entre ambientes heterogneos (ODBC, XML etc)

Identificao de dois modelos: Modelo dimensional Modelo relacionado com as fontes das informaes (modelo fonte dos dados) Anlise da qualidade e integridade dos dados fonte

Fases para um Projeto de Data Warehouse

Planejamento Levantamento das necessidades Modelagem dimensional Projeto fsico dos BD Projeto ETC Desenvolvimento aplicaes Validao e teste Treinamento Implantao

Fases para um Projeto de Data Warehouse

Planejamento Levantamento das necessidades Modelagem dimensional Projeto fsico dos BD Projeto ETC Desenvolvimento aplicaes Validao e teste Treinamento Implantao

Anlise dos volumes brutos dos dados visando o processamento para obteno de informaes consolidadas As tarefas de modelagem dimensional devero ser suportadas por planilhas de apoio, para facilitar os calculos e estimativas de carga e volumes projetados. Definio fatos e dimenses e respectivos atributos Nvel de granularidade e agregadores

Desenho fsico das estruturas lgicas do modelo dimensional: estimativa de tamanho do database criao do database criao das: tabelas fato e dimenso relacionamentos indexao atributos de tabelas campos chaves restries, e implantao de regras.

Fases para um Projeto de Data Warehouse

Planejamento Levantamento das necessidades Modelagem dimensional Projeto fsico dos BD Projeto ETC Desenvolvimento aplicaes Validao e teste Treinamento Implantao

Fases para um Projeto de Data Warehouse

Planejamento Levantamento das necessidades Modelagem dimensional Projeto fsico dos BD Projeto ETC Desenvolvimento aplicaes Validao e teste Treinamento Implantao

Definio dos processos requeridos de extrao, transformao e carga do modelo fonte para o modelo dimensional. Definio dos tratamentos a serem utilizados (filtro de dados, integrao de dados, condensao de dados (resumidos e sumariados), converso de dados e derivao de dados (criao dados virtuais a partir de existentes))

Desenvolvimento das aplicaes para ETC e tambm para consultas gerenciais Em caso de utilizao de ferramentas adquiridas gerao de modelos para facilitar ao usurio final a elaborao de consultas

Fases para um Projeto de Data Warehouse

Planejamento Levantamento das necessidades Modelagem dimensional Projeto fsico dos BD Projeto ETC Desenvolvimento aplicaes Validao e teste Treinamento Implantao
Sistema testado considerando-se o mximo possvel as simulaes de volume e de processamento. O sistema dever ser liberado para um grupo restrito de usurios e aps anlise implantado em ambiente produtivo.

Fases para um Projeto de Data Warehouse

Planejamento Levantamento das necessidades Modelagem dimensional Projeto fsico dos BD Projeto ETC Desenvolvimento aplicaes Validao e teste Treinamento Implantao

Ser efetuado treinamento para usurio nas ferramentas OLAP e no modelo dimensional criado.

Fases para um Projeto de Data Warehouse

Planejamento Levantamento das necessidades Modelagem dimensional Projeto fsico dos BD Projeto ETC Desenvolvimento aplicaes Validao e teste Treinamento Implantao

Fases para um Projeto de Data Warehouse

Planejamento Levantamento das necessidades Modelagem dimensional Projeto fsico dos BD Projeto ETC Desenvolvimento aplicaes Validao e teste Treinamento Implantao

A implantao dever ser seguida de rigoroso acompanhamento de uso das aplicaes disponibilizadas.

Em paralelo a todas as etapas dever ser construdo o diretrio de metadados do projeto. Este diretrio dever permitir ao usurio obter as informaes para uso do sistema

Data Mining (garimpagem de dados)

Busca de correlaes escondidas emaltos volumes de dados, nem sempre evidentes, principalmente no tratamento cotidiano dos sistemas de informao. Forma de capitalizar em cima de informaes,tentando descobrir padres de comportamento de clientes, ou identificando estilos de aes fraudulentas em cartes de crdito ou em seguradoras. Exemplos de produtos comprados na cesta de supermercado: Salsicha e catchup Fraldas e cerveja Ax music com remdio para fgado

Data Mining (garimpagem de dados)

O problema desta abordagem que alm da possibilidade de serem obtidos correlaes teis, h tambm alta possibilidade de serem obtidas correlaes inteis e em grande quantidade. Como resolver isto? Atravs de algortmos inteligentes que possam selecionar padres mais relevantes para certas aplicaes.

Data Mining

Data Mining (garimpagem de dados)

A tcnica busca algo mais que a interpretao dos dados existentes. Visa realizar inferncias, tentando adivinhar possveis fatos e correlaes no explicitadas nas montanhas de dados de um DW ou DM.
Por exemplo: Numa empresa de servios as ferramentas OLAP responderiam a perguntas do tipo: -Qual o valor mdio do faturamento de clientes do tipo industrial, da area de aluminio nas regies da Mantiqueira comparando-se os anos de 1998 e 1999? J as ferramentas de Mining serviriam para indicar quais os atributos de clientes seriam importantes para serem considerados numa possvel e indesejvel quebra de fidelizao (migrao do cliente para o concorrente)

Viso geral dos diversos espaos de conhecimento

Banco de dados

Espao dos dados Espao da informao analtica Espao da Influncia e variao

Data Mining

Qual o preo do livro x?

DW e DM

Business Intelligence

Vendas de livro de informtica por ms e por regio Que fatores influenciam a venda de livros em BH? Que fatores influenciaram a variao de venda de livros de informtica nos ltimos 3 meses?

Consulta tpica de Data Mining

O usurio no ir especificar a consulta desta forma, mas as ferramentas de Data Mining apresentam uma interface onde o usurio seleciona aqueles atributos que podem definir o perfil do cliente, tais como: idade, estado civil, nmero de filhos, renda familiar, e assim por diante. Como resultado da anlise, poderiam ser geradas regras ou concluses frequentemente representadas em termos de regras associativas (if-then), tal como: se idade cliente >30 e <42 e estado civil = casado e num-crianas <2 ento taxa de compra > 65%.

Viso geral do processo de Data Mining

DW/DM
Conjunto Total dos dados Dado preparado

Qual o perfil dos clientes que compra determinado automvel?

Preparao

Minerao Anlise

Aplicao

Viso geral do processo de Data Mining

Preparao Minerao Anlise Aplicao
Coletar o dado que ser garimpado Definir metadados, entender semntica dos campos, unidade de medida, etc Selecionar o subconjunto para o processo de garimpagem Atentar para qualidade dos dados (os campos tem que estar corretos e o conjunto selecionado sem dados irrelevantes Definir para campos consolidados os critrios de reconciliao (ex. diversos endereos do mesmo cliente) Carregar o BD para o processo de Mining

Viso geral do processo de Data Mining

Preparao Minerao Anlise Aplicao
Criar modelos de Data Mining Definir amostras ou populao Selecionar dados para treinar o modelo Definir a formatao requerida pelas ferramentas . Por exemplo: redes neurais exigem dados na forma dicotmica (sim/no) e rvores de deciso demandam agrupamentos como (bom, mdio, ruim) Criar previsores ou atributos chaves para a anlise do negcio (Por exemplo: risco de crdito depende de valor-renda e histrico de pagamento)

Registros de compras de gnero musical nas 10 transaes analisadas

1 pagode, sertanejo, clssico, samba 2- clssico, samba 3 pagode, sertanejo, samba 4 sertanejo, clssico, samba 5 samba 6 clssico 7 pagode,clssico 8 sertanejo 9 pagode, sertanejo, samba 10- pagode, sertanejo, clssico, samba

Preparao
Alguns coeficientes podem ser obtidos na anlise de associao efetuada: Valor de confiana (confidence) ou probabilidade da cesta contendo sertanejo conter tambm pagode -Sertanejo aparece em 6 transaes -Pagode aparece em conjunto com Sertanejo em 4 Confidence = 4/6 (67%) quanto maior este valor mais forte a correlao

Tcnicas bsicas definidas no processo de garimpagem: Associao indica coeficiente de afinidade entre registos de determinados fatos. Exemplo Padres sequenciais Definidos como processos que visam a identificao de fatos que implicam em outros fatos, em momentos diferentes de tempo (Ex:
estabelecer correlaes como 60% dos clientes que compram lambada, num espao mximo de 2 meses voltam para comprar um cd de Maria Rita (certamente como elemento de desintoxao)), anlise de comportamento de fraudes e perfis de consumidores.

Minerao Anlise Aplicao

Classificaes So processos que definem agrupamentos de itens em classes segundo referncias estabelecidas. Ex. em sistemas de anlise de
risco de crdito onde os clientes so classificados segundo padres de atraso de pagamento, classe, idade, etc. Modelos definidos atravs de redes neurais, rvores de deciso, etc

Agregao Atua em conjunto de registros porm os registros no esto classificados nem definidos em referncias estabelecidas. Ex. trabalhos para
segmentao do mercado, anlise de defeitos, etc.

Viso geral do processo de Data Mining

Preparao Minerao Anlise Aplicao
Depois de definido e testado o modelo, a aplicao se d pela utilizao daqueles algortimos ajustados em situaes reais de sistemas.