Académique Documents
Professionnel Documents
Culture Documents
-----------------------------------
A - INTRODUO
--------------------------------------------------------------------------------
-----------------------------------
- APRESENTAO DAS TOOLS SPOON, PAN, KITCHEN E CARTE
SPOON - TOOL GRAFICA DE DESENHO DE ETL
PAN - TOOL DE LINHA DE COMANDO PARA EXECUTAR TRANSFORMATIONS
KITCHEN - TOOL DE LINHA DE COMANDO PARA EXECUTAR JOBS
CARTE - SERVIDOR PARA EXECUTAR JOBS E TRANSFORMATIONS
- APRESENTAO DOS CONCEITOS DE TRANSFORMAO E JOB
TRANSFORMAO - PROCESSO DE TRANSFORMAO DE DADOS COM PROCESSAMENTO EM PARALELO (TEMPO
DE EXECUO IGUAL AO STEP MAIS LENTO)
JOB - PROCESSO SEQUENCIAL - MAIS ORIENTADO PARA OPERAES SEQUENCIAIS, COMO COPIA DE
FICHEIROS, ZIPAR FICHEIROS ETC.
TIPICAMENTE O JOB O START POINT DE UM PROCESSO DE ETL E PODE INVOCAR UMA O
U MAIS TRANSFORMATIONS
--------------------------------------------------------------------------------
-----------------------------------
B - TRANSFORMATIONS
--------------------------------------------------------------------------------
-----------------------------------
1 - ADICIONAR DATA GRID COM OS SEGUINTES CAMPOS:
------------------------------------------------
Nome (STRING)
Data_nasc (DATE)
Sexo (NUMBER) (M/F)
Peso (NUMBER)
Altura (NUMBER)
1.1 ADICIONAR DADOS EXEMPLO
1.2 Adicionar uma sequencia (campo ID) - object Add sequence
1.2 TRADUZIR CAMPO SEXO(MASCULINO/FEMININO) para (M/F)
1.3 CALCULAR IMC ( IMC=PESO/(ALTURA X ALTURA) ) COM BASE NOS OBJECTOS:
1.3.1 CALCULATOR
1.3.2 Modified Java Script Value
1.4 criar um CSV com o output do ETL
1.5 criar tabela destino numa BD
drop table funcionarios
go
create table funcionarios
(
nome varchar(50),
email varchar(100),
data_nasc datetime,
sexo varchar(1),
peso numeric(10,2),
altura numeric(10,2),
imc numeric(10,2),
id numeric
)
1.6 actualizar tabela destino previamente criada com o resultado do ETL com os s
eguintes objectos:
1.6.1 table output
1.6.2 Insert/Update
1.7 adicionar dados duplicados (mesmo email)
1.8 eliminar os duplicados no etl
1.8.1 ordenar os registos pelos campos unicos (email) com o objecto Sort Rows
1.8.2 Seleccionar os registos unicos atravs dos campos (email) atravs do objecto U
nique Rows
1.9 lookups
1.9.1 recriar a tabela funcionarios com o campo id_categoria
drop table funcionarios
go
create table funcionarios
(
nome varchar(50),
email varchar(100),
data_nasc datetime,
sexo varchar(1),
peso numeric(10,2),
altura numeric(10,2),
imc numeric(10,2),
id numeric,
id_categoria numeric
)
1.9.2 criar tabela de categorias
create table categorias
(
id_categoria numeric,
categoria varchar(50)
)
1.9.3 inserir categorias
insert into categorias values (1,'Empregada de Limpeza')
go
insert into categorias values (2,'Supervisor')
go
insert into categorias values (3,'Encarregado')
go
1.9.4 efectuar o lookup da categoria na tabela categorias e obter o campo id_cat
egoria para inserir na tabela funcionarios (object database lookup)
1.10 validar o email com o objecto mail validator
1.11 Ignorar os registos que no possuem email vlido (filtrar os email correctos)
1.12 Aps terminar a transformao, deve ser lanada aplicao notepad.exe
1.13 - Criar um ficheiro CSV com os dados de input e substituir o objecto de inp
ut "Data grid" pelo "Text file input"
1.14 - Copiar output file para a pasta de backup
1.15 - Zipar o ficheiros de output mantendo-o tambm
1.16 - Executar a transformao com a tool PAN
-----------------------------------------
C - JOBS
-----------------------------------------
1- Criar um JOB que faa o copy do ficheiro CSV de input de uma pasta input extern
a para a pasta input da transformao criada em B (step Start e copy files)
1.1 - Adicionar ao Job a transformao criada no ponta B
1.2 - Executar o Job
1.3 - Ver as configuraes do step start (scheduler)
1.4 - Executar o Job com o KITCHEN
-----------------------------------------
D - CARTE
-----------------------------------------
1.1 - executar o servidor carte (carte 127.0.0.1 8081)
1 - EXECUTAR A TRANSFORMAO COM O CARTE (SPOON)
1.1 - VALIDAR NO INTERFACE WEB DO CARTE (http://127.0.0.1:8081) (user:CLUSTER Pa
ss:CLUSTER)
2 - EXECUTAR O JOB COM O CARTE
1.1 - VALIDAR NO INTERFACE WEB DO CARTE
-----------------------------------------
E - ANALISE DE EXEMPLOS
-----------------------------------------
1 - ANALISAR EXEMPLOS DE PROCESSAMENTO DE CDRS ERICSSON AXE10 (TEXTO EM BLOCOS)
2 - ANALISAR EXEMPLOS DE PROCESSAMENTO DE CDRS ERICSSON ANS (BINRIOS)
3 - ANALISAR EXEMPLOS DA PASTA SAMPLES DO PDI/KETTLE