Académique Documents
Professionnel Documents
Culture Documents
INFORMATICA
POWERCENTER
Page 1
Introduction: .................................................................................................................................. 4
2.
2.2.
ETL: ................................................................................................................................................. 6
2.3.
Mtadonnes: ................................................................................................................................ 7
2.4.
Workflow: ....................................................................................................................................... 7
3.
4.
Pr-requis: .................................................................................................................................... 10
4.2.
4.2.1.
4.2.2.
4.3.
4.4.
4.5.
Console d'administration:............................................................................................................. 32
4.5.1.
4.5.2.
4.5.3.
4.6.
4.6.1.
4.6.2.
5.
5.1.
Cas N1 :Dfinitions des Sources et Cibles partir de bases de donnes
relationnelles:.......................................................................................................................................... 49
5.2.
6.
Page 2
6.1.
Cas N1 :Dfinitions des Sources et Cibles partir de bases de donnes
relationnelles:.......................................................................................................................................... 63
6.1.1.
6.1.2.
6.1.3.
6.2.
6.2.1.
6.2.2.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
17.1.
17.2.
18.
18.1.
18.2.
19.
Page 3
1. Introduction:
Une des plus grandes richesses d'une entreprise est son information. Mais l'
information pertinente est souvent noye dans une masse volumineuse de donnes
parses, dstructures et htrognes
Linformatique dcisionnelle ou "Business Intelligence" permet de rpondre
cette problmatique. Elle met disposition un ensemble de technologies
informatiques (ou systmes dintgration de donnes) permettant lanalyse des
donnes de lentreprise, afin den dgager des informations qualitatives nouvelles,
qui seront la base d'aide aux dcisions tactiques ou stratgiques. Les donnes sont
collectes, consolides, modlises et restitues sous la forme la plus adapte la
prise de dcision. Ces technologies sont dsignes par le terme ETL ( qui signifie
Extract , Transform and Load )ou datapumping.
Les outils ETL les plus connus sont :
Page 4
2.1.
Page 5
2.2.
ETL:
ETL est une abrviation de trois mots Extract, Transform and Load . Il s'agit d'un
processus pour extraire des donnes , partir de diffrents types de systmes , les
transformer en une structure qui est plus approprie pour le reporting et l'analyse ,
et enfin les charger dans des base de donnes
L'ETL est base sur une technologie informatique "intergicielle" (middleware)
Elle repose sur des connecteurs servant exporter ou importer les donnes dans
les applications, des transformateurs qui manipulent les donnes(agrgations,
filtres, conversions), et des mises en correspondance (mappages).
Mais , aujourd'hui , l'ETL est beaucoup plus que cela. Il couvre galement le
profilage des donnes, le contrle de la qualit des donnes , la surveillance et le
nettoyage , l'intgration des donnes en temps rel et la demande dans une
architecture oriente services (SOA), et la gestion des mtadonnes .
Les outils d'ETL (Extract , Transform and Load) ont en charge de collecter et de
prparer des donnes.
Extract (Extraire) : Accder la majorit des systmes de stockage de
donnes (SGBD, ERP, fichiers plat...) afin de rcuprer les donnes
identifies et slectionnes. Prendre en compte les questions de
synchronisation et de priodicit des rafrachissements. Les
donnes
proviennent de diffrentes sources internes et externes, structures et / ou
non structures. Les donnes provenant de diffrents systmes sources sont
converties en un format d'entrept de donnes consolide qui est prt pour le
traitement de transformation
Transform (Transformer) : Toutes les donnes ne sont pas utilisables telles
qu'elles. Elle mritent d'tre vrifies, reformates, nettoyes afin d'liminer
les valeurs aberrantes et les doublons, et consolides...
Load (Charger) :Le chargement des donnes dans un rfrentiel d'autres
applications de reporting de donnes ou de data warehouse
Page 6
2.3.
Mtadonnes:
Dcrire
Expliquer
Rechercher et localiser
Identifier
des ressources
Dans un systme d'information dcisionnel ,toutes les informations sur les donnes
sont contenues dans un rfrentiel global : le rfrentiel de mtadonnes (Meta
Data ).Les mtadonnes fournissent des indications sur la dfinition des donnes
(smantique), leurs sources (date, origine), la faon dont elles ont t calcules,
agrges (rgles de calcul), les rgles mtier qui s'y rapportent, les processus
d'extraction, de transformation et de chargement qui ont t mis en uvre pour les
mettre disposition..
2.4.
Workflow:
Page 7
Page 8
Page 9
4.1.
Pr-requis:
RAM
Espace disque
2 CPU
4 GB
4 GB
Systme d'exploitation
,
le package PowerCenter Client peut tre install sur le mme hte ou sur un autre
hte. Il est possible de l'installer simultanment sur plusieurs machines .
La configuration minimale exig pour le client est la suivante :
Client
Processeur
RAM
Espace
dique
Systme d'exploitation
PowerCenter Client
1 CPU
512 MB
1.2 GB
Espace
Commentaire
disque
200 MB Mettre en place le schma de base de
donnes avant de commencer le
processus d'installation.
Page 10
Composante
Informatica
PowerCenter
repository
Type base de
donnes
IBM DB2 UDB
Microsoft SQL
Server Oracle
Data Analyzer
repository
Metadata Manager
repository
Espace
Commentaire
disque
35 MB Mettre en place la base de donnes avant
de crer le service de rfrentiel de
PowerCenter. Allouer plus d'espace bas
sur la quantit de mtadonnes que vous
souhaitez enregistrer.
256 MB Mettre en place la base de donnes avant
de crer le service de rfrentiel de
PowerCenter.
Allouer plus d'espace sur la base des
facteurs suivants:
- La quantit de donnes que vous
souhaitez profiler.
- Mode dans lequel vous excutez des
sessions de profil: verbeux ou normal.
-Types de tables: pleines ou
d'chantillonnage.
- Frquence de purge de l'entrept de
profilage des donnes.
60 MB Mettre en place la base de donnes avant
de crer le Service de Reporting
1 GB
Systme
d'exploitation
Windows ou UNIX
UNIX
Windows
Windows
Espace disque
1 GB
2 GB
605 MB
550 MB
Page 11
4.2.
Page 12
Sur une plate forme 64Bits , il est recommand d'installer Oracle et Informatica
PowerCenter en mode 64 bits
Page 13
Page 14
Page 15
Prparation de l'installation.
Page 16
.
Affichage des pr-requis:
Page 17
Page 18
Page 19
Page 20
Page 21
Page 22
Par dfaut c'est le compte actuel , qui a servi la cration du service , qui sera
charg de son dmarrage.
Affichage du sommaire de post-installation
Page 23
4.3.
Page 24
Page 25
Page 26
Page 27
Page 28
4.4.
Page 29
Page 30
Fin de l'installation
Page 31
4.5.
Console d'administration:
Le service Informatica peut tre dmarr ou arrt via les raccourcis "Start
Informatica Services" ou "Stop Informatica Services"
Sur des plateformes de type Windows 7 , il sera ncessaire de faire une lvation de
privilges pour pouvoir le faire.
Il est aussi possible de le faire en mode commande :
Lancer cmd.exe en mode administrateur
Taper : Net Start Informatica9.0.1 pour le dmarrage du service
Taper : Net Stop Informatica9.0.1 pour l'arrt du service
Page 32
Page 33
:
Choisir l'option souhaite
Page 34
Page 35
par exemple
login:infadmin
password:infadmin
Confirm Password:infadmin
Full Name :Administrateur informatica PowerCenter
Page 36
Slectionner les privilges souhaits pour cet utilisateur et valider par "OK""
Page 37
Page 38
Page 39
Page 40
Page 41
Page 42
4.6.
Situation initiale
Page 43
Page 44
Page 45
Introduire le Login et mot de passe adquat ( ici User infadmin ) et cliquer sur
"Connect"
Page 46
Page 47
Page 48
5.1.
Cas N1 :Dfinitions des Sources et Cibles partir de
bases de donnes relationnelles:
Page 49
Page 50
Page 51
Page 52
Page 53
Page 54
Une structure (en couleur Violet) est rajout dans l'onglet "Mapping Designer"
Rorganiser les structures en les dplaant et les agrandissant
12.Slectionner le "Source Qualifier".Puis cliquer droit et "Select All" puis faire
glisser l'intrieur de "Target Definition"
ou
Slectionner le "Source Qualifier".Puis cliquer droit et "Select All" puis "Auto
link" du menu "Layout"
Page 55
Page 56
5.2.
Cas N2:Source Fichier Plat et Cible base de donnes
relationnelle:
1. Choisir "Source Analyzer" dans le menu "Tools"
Page 57
Page 58
6. Validation ou modification des types des champs puis cliquer sur "Terminer"
7. la dfinition de la structure des donnes partir d'un fichier plat est affiche
dans l'onglet "Sources"
Page 59
Page 60
12.Cration du mappage:
"Mapping Designer" du menu Tools
Page 61
Une structure (en couleur Violet) est rajout dans l'onglet "Mapping Designer"
Rorganiser les structures en les dplaant et les agrandissant
13.Slectionner le "Source Qualifier".Puis cliquer droit et "Select All" puis faire
glisser l'intrieur de "Target Definition"
ou
Slectionner le "Source Qualifier".Puis cliquer droit et "Select All" puis "Auto
link" du menu "Layout"
Page 62
6.1.1.
Page 63
Page 64
Page 65
Page 66
Page 67
Page 68
Page 69
Page 70
6.1.2.
Mthode manuelle :
Page 71
Page 72
Page 73
o
o
6.1.3.
Lancement du Workflow:
Page 74
6.2.
Cas N2:Source Fichier Plat et Cible base de donnes
relationnelle
6.2.1.
Page 75
Page 76
Page 77
6.2.2.
Lancement du Workflow:
Page 78
Type
Description
Aggregator
Active/Mode
connect
ApplicationSourceQualifier
Active/Mode
connect
Custom
Active ou
Passive/Mode
connect
DataMasking
Passive/Mode
connect
Expression
ExternalProcedure
Filter
HTTP
Input
Java
Joiner
Lookup
Normalizer
Output
Rank
Passive/Mode
connect
Passive/Mode
connect ou Mode
non connect
Active/Mode
connect
Passive/Mode
connect
Passive/Mode
connect
Active ou
Passive/Mode
connect
Active/Mode
connect
Active ou
Passive/Mode
connect ou Mode
non connect
Active/Mode
connect
Passive/Mode
connect
Active/Mode
connect
Router
Active/Mode
connect
SequenceGenerator
Passive/Mode
connect
Page 79
Transformation
Type
Description
Sorter
Active/Mode
connect
SourceQualifier
Active/Mode
connect
SQL
StoredProcedure
TransactionControl
Union
UnstructuredData
UpdateStrategy
Active ou
Passive/Mode
connect
Passive/Mode
connect ou Mode
non connect
Active/Mode
connect
Active/Mode
connect
Active ou
Passive/Mode
connect
Active/Mode
connect
XMLGenerator
Active/Mode
connect
XMLParser
Active/Mode
connect
XMLSourceQualifier
Active/Mode
connect
une transformation peut tre active ou passive , en mode connect ou en mode non
connect.
Une transformation est dite active si elle peut changer le nombre de lignes qui passe
travers elle de la source la destination.: Elle limine les lignes qui ne rpondent
pas aux critres de la transformation.
Une transformation passive ne change pas le nombre de lignes qui la traversent ie
elle passe toutes les lignes travers la transformation.
Une Transformation Connecte est connecte d'autres transformations, ou
directement la table cible du mapping.
Une transformation non connecte n'est pas connecte d'autres transformations
dans le mapping. Elle est appele dans une autre transformation, et renvoie une
valeur cette transformation.
Page 80
Les tapes suivre pour mettre en uvre une transformation "Source Qualifier"
sont:
Page 81
Page 82
Page 83
12.La table "orders" est maintenant place dans la fentre "Target Designer"
Page 84
Page 85
Page 86
Page 87
Page 88
Page 89
Page 90
Page 91
9. Transformation Filter:
La transformation Filter est une transformation active et en mode connect. Elle
peut tre utilise pour filtrer les donnes d'un mappage qui ne respectent pas des
critres dtermins.
Nous allons utiliser Les tables Orders et Orders_Target dj abordes dans la
chapitre 8.Sinon faire les manipulations effectues de 1 23.
Pour cela nous allons dfinir un nouveau mappage pour mettre en uvre la
transformation Filter.
1. Cration d'un nouveau Mappage :
Menu Tools puis Mapping Designer
Menu Mappage puis Create , renseigner le nom du mappage puis OK
Page 92
Page 93
9. Cliquer droit sur la transformation filter, puis apuyer sur EDIT et choisir
l'onglet Properties
Page 94
Page 95
Page 96
10.
Transformation Aggretator:
Slectionner
"Import
From
Database" du Menu
Suivre la procdure spcifie auparavant pour se connecter la base
de donnes via ODBC
l'arborescence)
Rpondre Yes
Formation Informatica PowerCenter
Page 97
Page 98
Page 99
de la barre des
dans le mapping
Page 100
Page 101
: SUM(Quantity)
Page 102
Page 103
Page 104
Page 105
11.
Transformation Expression:
Page 106
Page 107
Page 108
Page 109
2. Wokflow
Les informations de connexion aux bases de donnes sont identiques celle du
chapitre 8.
Le rapport d'excution du Workflow est le suivant
Page 110
12.
Transformation Router
Rpondre Yes
une fentre de dialogue s'affiche pour la rsolution des conflits de noms
Cocher la case Rename , puis cliquer sur le bouton Edit et introduire le
nouveau nom de la table : OrdersTargetRouter
Page 111
Cliquer sur "OK" puis "Next" et finalement "Fin" pour raliser le
changement du nom de la table
Faire un glisser de la table OrdersTargetRouter vers l'espace Target
Designer
Slectionner la table OrdersTargetRouter , puis faire Menu Target puis
Generate/Execute Sql
Se connecter , au besoin la base NorthWind
Utiliser la procdure dj mentionne auparavant : Generate Sql et
Execute Sql pour crer cette table au niveau de la base de donnes
2. Cration d'une nouveau mappage m_OrdersTargetRouter:
Menu Tools , puis Mapping Designer
Menu Mapping , puis Create.Nommer le nouveau mappage
m_OrdersRouterMapping
Page 112
: Le curseur se transforme en
Page 113
Page 114
Page 115
Page 116
Page 117
rsultats du Workflow
Page 118
13.
Transformation Sorter:
Page 119
Slectionner tous les champs du Source Qualifier ,et faire un glisser vers
l'intrieur de la transformation Sort
Page 120
Page 121
2. Cration du Workflow :
Raliser le Workflow associ dans Workflow Manager avec l'assistant .
Les informations de connexion aux bases de donnes sont identiques celle du
chapitre 8
Page 122
Page 123
14.
Transformation Joiner:
Rpondre Yes
Rsolution du conflit du nom de la table
Page 124
.
Menu Tools , puis Target Designer et faire glisser la table OrdersTargetJoiner
vers l'espace "Target Designer"
Editer la table et ajouter les champs suivants dans l'onglet Columns
i. UnitPrice de type Dcimal
ii. Quantity de type smallint
iii. Discount de type dcimal
Appliquer puis OK
Formation Informatica PowerCenter
Page 125
Page 126
Page 127
Page 128
3. Workflow
Raliser le Workflow associ dans Workflow Manager avec l'assistant .
Les informations de connexion aux bases de donnes sont identiques celle du
chapitre 8
Veillez paramtrer les connexions des sources et targets
Page 129
15.
Transformation Rank:
Page 130
o
o
o
Page 131
Page 132
2. Workflow
Raliser le Workflow associ dans Workflow Manager avec l'assistant .
Les informations de connexion aux bases de donnes sont identiques celle du
chapitre 8
Page 133
Page 134
16.
Transformation UpdateStrategy:
La transformation Updatestrategy
est une transformation Active et en mode
connect.
La transformation Updatestrategy est utilise pour insrer, mettre jour et
supprimer des enregistrements dans la table cible. Elle peut aussi rejeter des
enregistrement sans atteindre la table cible. Lorsque une table cible est conue , la
stratgie relative la nature des donnes qui doivent y tre stocke est dj tablie.
les options de la nature de l'opration effectuer sur les donnes sont :
Operation
Constante
Valeur numrique
Insertion
DD_INSERT
Mise jour
DD_UPDATE
Suppression
DD_DELETE
Rejet
DD_REJECT
Page 135
Page 136
Page 137
Page 138
Page 139
17.
Transformation LookUp:
La transformation LookUp est une transformation Passive qui peut tre en mode
connect ou en mode non connect.
La transformation Lookup permet de monter en cache les donnes dune table dune
base de donnes ,ou d'un fichier plat ou d'une transformation Source Qualifier afin
de ramener un enregistrement vrifiant certains critres donns en paramtre. Elle
est utilise principalement dans les cas suivants:
Vrification des contraintes dintgrit : Vrification de l'existence dans la
table de rfrence de la transformation LookUp
Recherche dune information
Vrification de lexistence de l'enregistrement dans la table cible : permet de
dfinir si le flux devra insrer ou modifier l'enregistrement.
La transformation LookUp peut rfrencer aussi bien une table Source qu'une table
destination
Les diffrences entre une transformation LookUp en mode connect et une
transformation LookUp en mode non connect sont les suivantes :
Une transformation LookUp en mode connect reoit directement ses valeurs
d'entres partir du pipeline du mappage alors qu'une transformation en
mode non connect reoit ses valeurs partir d'une autre transformation via
une expression LKP
Une transformation LookUp en mode connect peut retourner les valeurs de
plusieurs colonnes du mme enregistrement alors qu'une transformation
LookUp en mode non connect a un seul port et de ce fait ne peut retourner
que la valeur d' une seule colonne de l'enregistrement .
Une transformation LookUp en mode connect supporte les valeurs par dfaut
dfinies par l'utilisateur alors qu'en mode non connect cette option n'est pas
permise .
17.1.
Les tables qui seront utilises dans ce cas sont les tables :
Les tables Orders et Orders_details , Customers en source
La table OrdersTargetLkpCn en cible
La table OrdersTargetLkpCn est identique la table OrdersTarget avec un champ
supplmentaire CustomerName varchar 50
1. Ajout de la table Customer
Ajouter la table Customer dans la liste des sources
o Menu Tools puis Source Analyzer
o Menu Sources puis "Import From Base"
Page 140
Rpondre "Yes"
Page 141
Page 142
Page 143
Page 144
Page 145
4. Workflow
Raliser le Workflow associ dans Workflow Manager avec l'assistant en utilisant le
mappage m_OrdersLookUpMapping.
Les informations de connexion aux bases de donnes sont identiques celle du
chapitre 8
la configuration des connexions de la session sont les suivantes
Page 146
Page 147
17.2.
Les tables qui seront utilises dans ce cas sont les tables :
Les tables Orders et Orders_details , Customers en source
La table OrdersTargetLkpUnc en cible de mme structure que la table
OrdersTargetLkpCn
Crer la table OrdersTargetLkpUnc par la procdure dj utilise plusieurs fois dans
ce manuel .
Page 148
Page 149
Page 150
Page 151
Page 152
Page 153
Page 154
18.
Dbogage:
18.1.
Dbogage de mapping:
Page 155
Exemple:
Page 156
Page 157
Page 158
Il est possible d'valuer des expressions de type Port ou variables aux points d'arrt
Page 159
Page 160
18.2.
Log de session:
Options de purge
Page 161
19.
Bonnes pratiques:
une liste non exhaustive des bonnes pratiques pour informatica Power Center est la
suivante :
1. Avant de concevoir une application, il est important d'avoir une image claire
des processus de bout en bout ainsi que le flux des donnes qui vont circuler
travers
2. Il est primordial de crer une vue trs prcise du Mapping d'abord et
documenter les processus inclus dans le mapping, l'aide d'une description
textuelle pour expliquer exactement ce que mapping est cens accomplir et
les mthodes ou les mesures suivre pour atteindre son objectif.
3. Elaborer un document dtaill de la cartographie des champs des sources et
des cibles d(information intervenant dans le processus ainsi que les
oprations de transformation mise en uvre ( Aggrgation ,concatnation de
champs...etc) et faire des analyses prliminaires sur le choix des types de
champs et des oprations lies avec une optique optimisation.
4. Crer un inventaire des mappages et des objets rutilisables (Mapplets,
worklets)..Cet inventaire devra tre en mis jour en permanence
5. Rassembler toutes les sources potentielles, cibles et les objets rutilisables et
les placer dans un dossier partag accessible aux utilisateurs concerns
6. Documentation de tous les objets pour faciliter le diagnostics quand leur
rutilisation
7. Les spcifications d'un Mapping devraient inclure les sources ncessaires, les
cibles et les informations supplmentaires concernant les ports drivs et
comment les ports sont lis de la source la cible.
8. Inclure tous les objets source ou cible requis dans le mapping
9. Connecter uniquement les champs qui sont ncessaires ou qui seront utiliss.
10.Filtrer tt et frquemment Ne traiter que les donnes qui doit tre dplaces
et transformes. Rduire le flux qui traverse le mapping
11.Evaluer les performances des jointures de tables par rapport une procdure
LookUp
12.Rduire le nombre de transformations. Un nombre excessif de
transformations augmente la charge et pnalise les performances.
13.Envisager d'augmenter le mmoire partage pour les mappages ayant un
grand nombre de transformations
14.Faire usage de variables, locales ou globales, afin de rduire le nombre
d'appels identiques aux fonctions.
15.Observer les types de donnes. Le moteur Informatica convertit
automatiquement les types de donnes compatibles. un nombre excessif de
conversions est pnalisant
16.Faire usage de variables, transformations rutilisables et mapplets pour le
code rutilisable..
Page 162
Naming Convention
aep_ProcedureName
Procedure Transform:
Aggregator
Transform:
Expression
Transform:
External Procedure
Transform:
Filter Transform:
Joiner Transform:
Lookup Transform:
lkp_LookupTableName
Mapplet:
mplt_Description
Mapping Variable:
Mapping Parameter:
Normalizer
Transform:
Rank Transform:
Router:
Source Qualifier
sq_SourceTable1_SourceTable2
Transform:
Stored Procedure
SpStoredProcedureName
Page 163
Transformation
UpdateObjects
Strategy
Naming Convention
UpdTargetTableName(s) that leverages the expression
and/or a name that describes the procession being done
Page 164