Data Warehouse

Universidade Estadual de Campinas

Laboratrio pr-requisitos
1. My SQL verso ...
2. My SQL Workbench ...

3. Ver um gerador de grficos

Laboratrio - incio
1. Ambiente
2. Criao do DW

3. Criao das dimenses e cargas das tabelas

4. Primeiras consultas no DW

1. Ambiente
Banco de dados: : MySQL

2. Criao do DW
Conectar-se no MySQL Workbench e executar os scripts abaixo:

create_user_id.sql
create_databases.sql

create_dw_tables.sql
customer_sk.sql
more_customer_sk.sql
Os scripts acima esto no diretrio ..\L1.

3. Criao das dimenses e cargas das tabelas

No MySQL Workbench e executar os scripts abaixo:

create_customer_stg.sql e scd1.sql
Os scripts create_customer_stg.sql e scd1.sql iro
criar a tabela customer_stg e carregar a tabela de
dimenses customer_dim.

Os scripts acima esto no diretrio ..\L2.

3. Criao das dimenses e cargas das tabelas

No MySQL Workbench e executar os scripts abaixo:
create_product_stg.sql, load_product_stg.sql e
scd2.sql
Os scripts create_product_stg.sql, load_product_stg.sql
iro criar e carregar a tabela product_stg e o
e
scd2.sql carregar a tabela de dimenses product_dim.

Os scripts acima esto no diretrio ..\L3.

4. Primeiras consultas no DW
No MySQL Workbench e verificar os itens abaixo:
1. Volume de pedidos por cliente.

2. Soma dos valores de pedidos, verificando as

dimenses de data, de clientes e de pedidos.

3. Soma os valores de pedidos, verificando as dimenses

de data e ordens.

4. Valores das vendas e do nmero de encomendas para

cada ms.

4. Primeiras consultas no DW
No MySQL Workbench e verificar os itens abaixo:
5. Resumo anual de vendas, contendo Os valores dos
pedidos, o nmero de ordens, agregados por data, por
produto e a cidade do cliente.

6. Resumo das vendas mensais e o nmero de encomendas a

cada ms, cuja categoria seja Storage.

7. Ordens de venda de produtos com valores mensais

maiores que 75 mil.

Laboratrio - continuao
5. Extrao
6. Transformao

7. Carga (Load)

10

5. Extrao
O primeiro passo para carregar um DW a
extrao de dados de uma fonte.

Pode-se fazer isso, lendo os dados diretamente

da fonte ou solicitando uma carga da fonte para o
DW.
Um fator importante sobre a extrao de dados
o volume e a disponibilidade de dados nas bases
de origem.

11

5. Simulando uma extrao para o DW

No MySQL Workbench e executar os scripts abaixo:
create_sales_order.sql, para criar a tabela SALES_ORDER.

push_data.sql, para dar carga nas tabelas ORDER_DIM e

DATE_DIM, no banco DW e na tabela SALES_ORDER no banco SOURCE.

push_sales_order.sql, para dar carga na tabela fato

SALES_ORDER_FACT, no banco SOURCE.

Consultar a tabela SALES_ORDER_FACT, para verificar os

resultados.

Os scripts acima esto no diretrio ..\L5.

12

7. Carga (Load)
A carga o processo que armazena os dados no
Data Warehouse.
Esse processo muitas vezes lento, devido aos
grandes volumes e as restries nas janelas de
atualizao.

13

7. Simulando uma carga no DW

No MySQL Workbench e executar os scripts abaixo:
truncate_tables.sql, para limpar as tabelas do DW.
pre_populate_date.sql, cria uma procedure para colocar datas
de incio e fim para a tabela DATA_DIM.
sales_order_initial.sql, para dar carga na tabela fato
SALES_ORDER, no banco SOURCE.
dw_initial.sql, para dar cargas nas demais tabelas do DW.

confirm_initial_population.sql, para consultar se a tabela

de vendas foi carregada corretamente.
Os scripts acima esto no diretrio ..\L6.

14

6. Transformao
Transformao o processo de preparao dos
dados.
A transformao pode envolver, adio de
chaves, manuteno histrica, e tambm a
integrao de mltiplas fontes, o tratamento de
erros de fonte de dados.

15

6. Simulando transformaes no DW

16

6. Simulando transformaes no DW
No MySQL Workbench e executar os scripts abaixo:
shipping_address.sql, para incluir as novas colunas nas
tabelas CUSTOMER_DIM e CUSTOMER_STG.
order_quantity.sql, para incluir as novas colunas nas
tabela SALES_ORDER_FACT.
Aps a incluso das colunas, verificar na base de dados.

Os scripts acima esto no diretrio ..\L7.

17

6. Simulando transformaes no DW
No MySQL Workbench e executar os scripts abaixo:
dw_regular_10.sql, limpa as tabelas do DW e refaz as cargas
utilizando as novas colunas adicionadas nas tabelas
CUSTOMER_DIM e CUSTOMER_STG.
add_sales_order_quantity.sql, carrega os dados utilizando a
nova coluna para a tabela SALES_ORDER, no banco SOURCE.
Aps a carga, verificar as tabelas na base de dados.

Os scripts acima esto no diretrio ..\L8.

18

Laboratrio - continuao
8. Dimenses Hierarquizadas
9. Esquemas Multi-Estrelas

10. Dimenses Consolidadas

19

8. Dimenses Hierarquizadas
So dimenses que podem ter um ou mais nveis
que so representados por colunas nas tabelas.
Exemplo: a dimenso de data pode ter uma
hierarquia de quatro nveis: o nvel do ano, o
nvel do trimestre, o nvel de ms, e o nvel de
data.

20

8. Simulando dimenses hierarquizadas no

DW
No MySQL Workbench e executar os scripts abaixo:
grouping.sql,

consulta

recupera

valor

das

vendas

agrupadas por produtos e os trs nveis de hierarquia da

dimenso de data (ano, trimestre e nome do ms).

drilling.sql, a consulta mostra a soma das ordens para

cada um dos nveis das dimenses data (nveis de ms,
quarter e ano).
Os scripts acima esto no diretrio ..\L9.

21

9. Esquemas multi-estrelas
So esquemas que possuem mais de um schema
estrela, estes esquemas tambm so conhecidos
como constelao.
Muitas vezes so utilizados para permitir um
detalhamento no processo de pesquisa.

22

9. Adicionando mais um esquema estrela no DW

No MySQL Workbench e executar os scripts abaixo:
third_star_tables.sql, script que criar duas tabelas uma
de dimenso FACTORY_DIM e outra de fatos PRODUCT_FACT.
factory_master.sql,

script

que

ir

criar

tabela

popular

tabela

FACTORY_MASTER no banco de dados SOURCE.

factory_ini.sql,

oscript

que

ir

FACTORY_DIM.

Os scripts acima esto no diretrio ..\L10.

23

9. Adicionando mais um esquema estrela no DW

No MySQL Workbench e executar os scripts abaixo:

factory_stg.sql, script que criar a tabela de stage FACTORY_STG e

outra de fatos PRODUCT_FACT.

daily_production.sql,

script

que

ir

criar

tabela

DAILY_PRODUCTION, no banco de dados SOURCE e depois ir carregar a

dimenso PRODUCT_DIM.

production_regular.sql,

ir

popular

as

tabelas

FACTORY_STG,

FACTORY_DIM e PRODUCT_FACT.

daily_production_data.sql,

script

que

criar

tabela

de

stage

DAILY_PRODUCTION, no banco de dados SOURCE.

Os scripts acima esto no diretrio ..\L10.

24

10. Dimenso consolidada

A consolidao de dimenses ocorre quando o
nmero de dimenses do DW aumenta. Nesse
caso pode-se encontrar alguns dados comuns
em mais de uma dimenso.
Exemplo, o CEP, cidade e estado esto nas
tabelas de clientes e dimenso dos endereos do
cliente, e na dimenso da fbrica.

25

10. Consolidando uma dimenso no DW

No MySQL Workbench e executar os scripts abaixo:

Executar uma validao de CEPs nas dimenses

CUSTORMER_DIM, CUSTOMER_ZIP_CODE_DIM,
SHIPPING_ZIP_CODE_DIM e na tabela fato

SALES_ORDER_FACT.

26

10. Consolidando uma dimenso no DW

No MySQL Workbench e executar os scripts abaixo:

Executar uma validao de CEPs nas dimenses

CUSTORMER_DIM, CUSTOMER_ZIP_CODE_DIM,
SHIPPING_ZIP_CODE_DIM e na tabela fato
SALES_ORDER_FACT.

27