<Insert Picture Here>

Oracle Data Integrator

Erika Savio

Agenda
Por que Integrao ? Oracle Data Integrator
Diferenciadores Chave Funcionalidades Adicionais Arquitetura
<Insert Picture Here>

Alguns Cenrios Soluo de Qualidade de Dados

Por que integrar dados ?

Precisa

Informao Como e Onde voc precisa

Corporate Performance Management Business Process Management Business Activity Monitoring

Business Intelligence

Data Integration
Migration Data Warehousing Master Data Management Data Synchronization --------Federation SOA (Messaging)

Hoje
---

Dados em ambientes heterogneos

---------------

---------------

---------------

Legacy

ERP

CRM

Best-of-breed Applications

Oracle Data Integrator

Movimentao de Dados e transformao de mltiplas origens para destinos heterogneos

BENEFCIOS

DIFERENCIADORES CHAVE

Desempenho Flexibilidade Produtividade Hot Pluggable

Heterogneo E-LT Active Integration Platform Desenvolvimento Declarativo Knowledge Modules

Arquitetura E-LT
Alto Desempenho
Arquitetura Convencional ETL
ARQUITETURA CONVENCIONAL ETL

Engine Proprietria Problemas de Escalabilidade Alto Custo

Extract

Transform

Load

ARQUITETURA ELT

Recursos Nativos Eficincia e Escalabilidade Alto Desempenho

Arquitetura da Prxima Gerao

BENEFCIOS

E-LT
Transform Extract Load Transform

Desempenho Escalabilidade Produtividade na Administrao Baixo Custo

Desenvolvimento Declarativo
Produtividade no Desenvolvimento
Conventional ETL Design
ARQUITETURA CONVENCIONAL ETL

Desenvolvedor deve definir cada passo do fluxo

de ETL e lgica do processo de transformao

Abordagem tradicional requer profissionais

especializados em processos de ETL

Esforo significativo para manuteno e

desenvolvimento
DESENVOLVIMENTO DECLARATIVO

ODI Declarative Design

Simplificao do nmero de passos Gerao Automtica do fluxo de dados

independente de tecnologias
BENEFCIOS

1
Define

2
Automatically Generate Dataflow

What
You Want

Reduo significativa da curva de aprendizado Implementaes em tempos menores

Define How: Built-in Templates

Knowledge Modules
Hot-Pluggable: Modular, Flexvel e Estensvel
Pluggable Knowledge Modules Architecture
Reverse Engineer Metadata Journalize Read from CDC Source Load From Sources to Staging Check Constraints before Load Integrate Transform and Move to Targets Service Expose Data and Transformation Services
W W S S W S

Reverse

Staging Tables

Load CDC
Sources Journalize

Integrate Check
Error Tables Target Tables

Services

Exemplo de Knowledge Modules j construdos

SAP/R3 Siebel Log Miner SQL Server Triggers Oracle DBLink JMS Queues Check MS Excel TPump/ Multiload Oracle Merge Siebel EIM Schema Oracle Web Services

DB2 Journals

DB2 Exp/Imp

Oracle SQL*Loader

Check Sybase

Type II SCD

DB2 Web Services

BENEFCIOS

Customizado para as melhores prticas existentes Atividade de Administrao Simples

<Insert Picture Here>

Funcionalidades e Caractersticas de Uso

Graphical Declarative Design

Defina O QU voc quer

Gera o Fluxo de Dados Automaticamente

Oracle Data Integrator Interface

Declarative Design

Defina COMO fazer: Selecione Modelo

Bulk Load Changed Data Capture Incremental Update Slowly Changing Dimension

Changed Data Capture

Framework para Publicao e Assinatura de CDC
CDC

Database LOGs Triggers Third-Tier Solutions

Garantir leitura com integridade transacional 1.Desenvolver ou Gerar Mapeamentos 2.Selecionar Jornalizao de Dados 3.Iniciar o processo de Jornalizao

Data Lineage
Grande nmero de fluxos de dados em um ambiente complexo Como ter uma viso geral ? Linhagem de Dados baseada em Web
Entender os fluxos de dados Acompanhar o caminho do dado Drill-Down para transformaes

Data Integrity Framework

Framework para Integrao de Dados Auditoria, Limpeza e Reciclagem

Message Duplicated Record Duplicated Record Invalid City Reference

Id 001 022 230

Name John Doe John Doe Albert Fresh

City New York Boston Maris

1.Declarao de Constraints para tabelas 2.Desenvolvimento de Mapeamentos e fluxos de checagem de integridade 3.Auditoria, limpeza ou reciclagem de registros rejeitados

Data Access Services

SOA Infrastructure
Services Data Access Transform ESB Business
Business Processes

Gerar e Compartilhar servios de acesso aos dados

Gerao e publicao de servios Teste dos Servios Integrao dos Servios na arquitetura SOA via WebServices

Desenvolvimento e Produo
Development Production

Design-time

Runtime

Agent UIs Repository

Agent

Repositrio Multi-Usurio para projetos de grande escala Controle de Versionamento e Bloqueio de Objetos para modificaes Suporte a publicao em Multi-Contexto
Operator

Repository

1. Teste seus pacotes em desenvolvimento 2. Crie e exporte verses 3. Execute e monitore em qualquer contexto

<Insert Picture Here>

Arquitetura do Oracle Data Integrator

ODI Architecture a Global View

Graphical Modules Designer Reverse-Engineer Develop Projects Release Scenarios Java - Any Platform Operator Operate production Monitor sessions Topology Manager Define the IS infrastructure Security Manager Manage user privileges Any Web Browser Browse metadata lineage Operate production

Repository

Any ISO-92 RDBMS Scheduler Agent Handles schedules Orchestrate sessions Java - Any Platform Information System Runtime Components Metadata Navigator Web access to the repository J2EE Application Server Repository Access HTTP Connection Execution Query

ODI Architecture Repository

Security Topology Versioning Master Repository

Models Projects Execution Work Repository

ODI Repository is composed of a Master Repository and one or more Work Repositories. Master Repository contains security information, topology information and versions of objects. Work Repository stores information related to
Models : datastores, columns, data integrity rules, cross references, data lineage. Projects: interfaces, packages, procedures, folders, knowledge modules, variables Runtime: scenarios, scheduling information, logs.

Intro : Architecture
ODI Repository (RDBMS) Sources Data Targets

SQL orders
Agent

SQL orders

ODI GUI (Java)

ODI Agent (Java)

Intro: Zoom on ODI repositories

Technical Meta-data :
Connections Environments Versions Security

Master Repository

Global View of the Information System

Work Repository (Dev)

Separation of environments

Work Repository (Prod)

Functional Data :
Models Business Rules Verification Rules

Runtime Information
Scenarios Journals Schedules

Runtime Information :
Scenarios Journals Schedules

Viso Conceitual
Development
ODI Design-Time Environment User Interfaces Topology/Security Administrators Design-time Metadata/Rules Repositories Designers
ESB Files / XML

Development Servers and Applications Execution Agent Data Flow Conductor Return Codes
CRM Data Warehouse

Code Execution Log

Legacy ER P

Production

Scenarios and Projects Releases ODI Runtime Environment Production Servers and Applications Code Execution Log Runtime Repository Execution Log Execution

User Interfaces Topology/Security Administrators

Operators

Agent Data Flow Conductor

Return Codes

CRM

Data Warehouse

Legacy

Thin Client Metadata Lineage Data Stewarts Metadata Navigator

ESB

ER P Files / XML

<Insert Picture Here>

Cenrios

E-LT para Data Warehouse

Criar e popular ambientes de Data Warehouse com Alto Desempenho e Jornalizao
Fontes de Dados de Origem e Destino Heterogneas Carga Incremental Integridade e Consistncia Linhagem de Dados Slowly changing dimensions Changed data capture

Load Transform Capture Changes

Incremental Update Data Integrity

Aggregate Export

Cube

Operational

Analytics

-------------

Data Warehouse

Cube

Cube

Metadata

Iniciativa SOA
Estabelecer Arquiteturas de Mensagens de Integrao

Generate Data Services Expose Transformation Services

Deploy and reuse Services

Services

Business Processes

Data Access -------------

Transformation

Servios Externos para Integrao de Dados Publicao de Servios de Acesso aos Dados Publicao de Servios de Transformao de Dados Integrao das transformaes de dados a partir de sua infraestrutura de SOA

Operational

Others

Metadata

Master Data Management

Criar uma nica viso de verdade atravs da sincronizao de dados
Uso em conjunto com pacotes de Solues MDM Uso como infraestrutura para desenvolvimento de seu prprio HUB Criao declarativa de fluxos de dados Capture changes (CDC) Reconciliao e limpeza de dados Publicao e Disponibilizao Extenso das definies de metadados

Change Data Capture Master Data Load

Canonical Format Design Cleansing and Reconciliation

Master Data Publishing

CDC CDC -------------

Master Data

CDC -------------

Metadata

Migrao
Upgrade de Aplicaes ou Migrao de Aplicaes para um novo ambiente de banco de dados
Carga de dados histricos para o novo ambiente/aplicao Transformao caso seja necessria Sincronizao dos dados durante momento de overlap das aplicaes Captura das modificaes nos dois sentidos da informao (CDC)

Initial bulk load CDC for synchronization

Transformation to new application format

CDC for loopback synchronization

Old Applications

New Application

CDC

-------------

CDC

Metadata

<Insert Picture Here>

Qualidade de Dados

Qualidade de dados
O que ? Processo capaz de criar e manter dados:
completos, vlidos, consistentes, atualizados e precisos

tornando-os aptos para utilizao.

Qualidade de dados
Exemplo

Registros duplicados

Falta de padro de formatao

Phone 617 555 000 617555000 617-532-9550 617-536-5480 mburkes@gmail.com 6175541329 Email bob.williams@yahoo.com

Name Bob Williams Robert Williams Burkes, Mike and Ilda Jason Bourne, Bourne & Cie.

Address 36 Jones Avenue 36 Jones Av. 38 Jones av. 76 East 51st

City Newton

State MA MA

Zip 02106 02106 02106

Nweton Newton

MA MA

Mltiplos nomes Registros misturados Ex.: PF e PJ Erros de digitao

Dados incorretos

Falta de dados

Oracle Data Integrator

ODI EE Better Data Visibility Tighter Data Control Greater Data Accuracy

Visual Data Quality Tools

Oracle Data Profiling Metadata Profiling of Source & Target Oracle Data Quality Duplicate Detection, Matching & Merging

Oracle Data Integrator Data Profiling

Criao automtica de perfis e regras de qualidade de dados
Oracle Data Quality Profiling

Configurao visual
Modelamento visual Ferramenta intuitiva Colaborao entre usurios Gerao automtica de regras de qualidade Customizvel pelo usurio

?
Fontes

Data Stewards and Business Analysts

Anlise

Performance na execuo
Execuo otimizada para grandes volumes de dados Auditoria completa e detalhada

Oracle Data Integrator Data Profiling

Navegador para identificao de problemas
Examplo: Nmero do carto de crdito

Caracterstica Preenchimento

Exemplos de mtricas
Campos nulos Tamanhos mnimo e mximo Estrutura dos campos Tipo dos dados Padres e mscaras Valores nicos Regras de negcios especficas Soundex Metaphones Dependncias Chaves Relacionamentos

Conformidade

Validao

Consistncia Integridade

Oracle Data Integrator Data Quality

Oracle Data Integrator Destino

Integration Process
Fontes

Anlise, Limpeza, Padronizao, Combinao

Oracle Data Quality for Data Integrator

Global Data Router

Transformer

Parser

Postal Matcher

Relationship Linker

Oracle Data Integrator Data Quality

Integridade dos dados
Parametrizao visual Controle dos registros com erros Customizvel para incluir regras de negcios

34

Oracle Data Integrator Data Quality

Tratamento das excees
Oracle Data Integrator Validao durante insero

Integration Process
Fontes

Destino

Validao durante a integrao

Erros

Correes

Erros

Reprocessamento

Human

BPEL Process Manager

Workflow