Intgration de donnes

SUPCOM INDP3 IST

Intgration de donnes

Plan de la prsentation
Introduction aux SI
Enjeux des SI Les travailleurs de linformation Impact des SI sur lorganisation Les plus grangs systmes transactionnels Etat de lart des SI Mission dun serveur OLTP OLTP vs OLAP Les plus grands systmes dcisionnels Typologie des SI
Intgration de donnes

SUPCOM INDP3 IST

Introduction aux SI [B2]

Un SI renferme l'ensemble des lments participant la gestion, au traitement, au transport et la diffusion de l'information au sein de l'organisation. Un SI peut tre trs diffrent d'une organisation une autre et peut recouvrir selon les cas, tout ou une partie des lments suivants [Kar05] : 1. Bases de donnes de l'entreprise, 2. Progiciel de gestion intgr (ERP), 3. Outils de gestion de la relation client (CRM), 4. Interface rseau, 5. Serveur de donnes et systmes de stockage, 6. Serveur d'application, 7. Dispositifs de scurit.

SUPCOM INDP3 IST

Intgration de donnes

Enjeux des SI

[B2]

Un SI est devenu une composante essentielle de toute organisation prospre. Cest un champ dtude indispensable dans ladministration des affaires et la gestion. Linformation constitue une ressource fondamentale pour la socit contemporaine. Nous voluons dans une socit informationnelle mondiale ou lconomie dpend de plus en plus de la cration, la gestion et la diffusion des ressources informationnelles. La main duvre y travaille essentiellement dans le secteur des services : ce sont les travailleurs de linformation.
SUPCOM INDP3 IST
Intgration de donnes

Les travailleurs de linformation [B2]

Ils passent la majeur partie de leur journe de travail CRER de linformation, lUTILISER et la DIFFUSER.
Les dirigeants, les cadres, les agents de matrise, les professionnels tels que les comptables, les ingnieurs, les scientifiques, les courtiers en valeurs mobilires, les enseignants, le personnel de soutien tel que les secrtaires et les employs de bureau.

Responsabilit morale lie lutilisation des systmes dinformation

SUPCOM INDP3 IST

Intgration de donnes

Impact des SI sur lentreprise [w2] [B1]

Trois types d'effets en dveloppant des projets de systme d'information :
la rduction des cots la cration de valeur ajoute et une modification de l'organisation des processus.

aprs un certain nombre dannes de fonctionnement :

Il faut de plus en plus ouvrir les SI aux fournisseurs, aux partenaires et aux clients.
SUPCOM INDP3 IST
Intgration de donnes

Caractristiques des SI transactionnel

Les donnes sont orientes processus fonctionnel Connaissance parfaite de toutes les codifications pour tirer partie du capital informationnel Les sources de donnes sont homognes Gestion des flux transactionnels en mode rel ou en mode batch OLTP
SUPCOM INDP3 IST

Appl. 1

Appl. 2

Appl. 3

SGBD S.E. (SGF)

La base de donnes

La Mtabase
7

Intgration de donnes

Appl. 4

Les plus grands systmes transactionnels

Les applications informatiques traditionnelles de tlcommunication et de contrle des processus industriels Le secteur financier infrastructures informatiques des places boursires Rseau mondial de transaction interbancaire Plateformes de gestion des cartes de crdits Le secteur du voyage Les systmes de rservation centraliss jouent le rles dintermdiaires entre prestataires (compagnies ariennes, chanes d'htels, tour operators, etc.) et revendeurs finaux, principalement les agences Les nouvelles applications Le commerce lectronique Le world wide web
SUPCOM INDP3 IST
Intgration de donnes

Etat de lart des SI Transactionnels

On dploie gnralement de nouvelles applications tout en maintenant les anciennes solutions (empilage de couches). Plusieurs sources de donnes, un historique de plusieurs annes de fonctionnement. Une multiplication des formats de stockage de donnes (fichiers XML, plats positionnels, plats dlimits, multi-valus, etc.), des protocoles (FTP, HTTP, SOAP, etc.) et des technologies des bases de donnes. Les donnes sont orients processus fonctionnel. Etape suivante : le savoir cest le pouvoir, on sait automatiser loprationnel et on veut automatiser le dcisionnel Naissance des systmes OLAP (Online Analytical Processing)
SUPCOM INDP3 IST
Intgration de donnes

Mission des serveurs transactionnels

Haut niveau de performance des systmes Architecture de serveurs souple permettant de grer les pics de trafic Prsence des fonctions de gestion des transactions Techniques volues de reprise sur panne assurer une continuit de service en vitant les interruptions.
SUPCOM INDP3 IST
Intgration de donnes

10

OLTP vs. OLAP [W8]

Finalit des traitements des donnes Contrler et excuter des tches fondamentaux de l'entreprise. Grer le quotidien. Aider la planification, la rsolution de problmes , et aide la dcision. Prdire le futur.

Alimentation en donnes

Capture instantane des processus d'affaires en cours.

Donnes rcentes.

donnes OLAP (Vues multidimensionnelles) provenant des diffrentes bases de donnes OLTP. Donnes historiques.
Actualisation des donnes priodique et par lots car de longue dure. Lecture.

Insertions et mises jour

Insertions et mises jour rapides et courtes inities par les utilisateurs finaux. Lecture et criture.

SUPCOM INDP3 IST

Intgration de donnes

11

OLTP vs. OLAP [W8]

Requtes . Requtes relativement standardiss et simple qui impliquent un nombre limit de lignes. Orientation lignes. Gnralement trs rapide. Questions souvent complexes impliquant des agrgations.

Orientation multidimensions. Dpend de la quantit de donnes concernes ; le rafrachissement des donnes par lots et les requtes complexes peuvent prendre plusieurs heures , la vitesse des requtes peut tre amliore par la cration d'index. Plus grande en raison de l'existence de structures d'agrgation et de donnes historiques. 1GB 1TB.
12

Vitesse de traitement

Encombrement

Peut tre relativement faible si les donnes historiques sont archivs. 100MB 1GB.

SUPCOM INDP3 IST

Intgration de donnes

OLTP vs. OLAP [W8]

Conception des bases de donnes Nombreuses tables relationnelles hautement normalises. Typiquement dnormalise avec moins de tables, l'utilisation des schmas relationnels en toile et/ou en flocon de neige. Au lieu de sauvegardes rgulires , certains environnements peuvent envisager simplement de recharger les donnes OLTP comme une mthode de rcupration.

Sauvegarde et restauration

Les donnes oprationnelles sont essentielles pour diriger l'entreprise , la perte de donnes est susceptible d'entraner des pertes financires importantes et encoure une responsabilit juridique.

SUPCOM INDP3 IST

Intgration de donnes

13

OLAP versus OLTP [W7]

Aujourdhui, les systmes informatiques peuvent se subdiviser en deux. On retrouve le systme transactionnel OLTP et le systme analytique OLAP.
Les systmes OLTP servent, en gnral, de source de donnes pour les systmes OLAP qui sont quant eux, source danalyse des donnes qui vont permettre daboutir la dcision. OLTP et OLAP ont des objectifs opposs et ont un stockage de donnes diffrent faisant lobjet de requtes diffrentes.

SUPCOM INDP3 IST

Intgration de donnes

14

Les plus grands systmes dcisionnels

La banque

--- Regrouper les informations concernant les clients

Commercialisation de nouveaux produits Mailing cibls Recherche des fraudes via lutilisation des cartes de crdit Dterminer les produits succs Mieux suivre les modes et dtecter les habitudes dachat et les prfrences par secteur gographique.

La grande distribution --- Regrouper les informations sur les ventes

Les tlcommunications --- Regrouper les informations sur les abonns et les appels
effectus Analyser le trafic Mieux cerner les besoins des clients et comprendre pourquoi certains deux change doprateur.

Lassurance, la pharmacie et le support du client

Calculer le facteur risque dun client Dtecter limpact dun mdicament

SUPCOM INDP3 IST

Intgration de donnes

15

Typologie des SI [w2] [B1][B2]

Le systme de traitement des transactions (STT) Le systme de reportage de l'information (SRI) Le systme d'aide la dcision (SAD) Le systme de dcision programme (SDP)

SUPCOM INDP3 IST

Intgration de donnes

16

Le systme SI [B2]
Un SI est un SYSTME qui admet des donnes titre dENTRE et qui les transforme en produits informatifs titre de SORTIE. Le concept de SYSTME devient plus intressant si on rajoute deux composantes : la rtroaction (donnes relative au rendement du systme) et le contrle (surveiller et valuer la rtroaction).
Un systme en bon tat produit une rtroaction positive. Un systme dont le rendement se dtriore produit une rtroaction ngative.
SUPCOM INDP3 IST
Intgration de donnes

17

Plan de la prsentation
Introduction lintgration des donnes
Dfinition Maturit de la dmarche intgration Se partager le potentiel dinformation dans lentreprise Techniques dextraction des informations

SUPCOM INDP3 IST

Intgration de donnes

18

Intgration de donnes
Comment russir son intgration de donnes lorsque ses donnes sont parpilles dans tous les types de systmes dinformation ? Les fonctions qui se cachent derrire le principe dintgration donnes sont varies :
lintgration dcisionnelle (alimentation dentrepts de donnes). lintgration oprationnelle (capture et migration de donnes, synchronisation de bases de donnes, changes inter-applicatifs, etc.).
SUPCOM INDP3 IST
Intgration de donnes

19

Maturit de la dmarche intgration

Dveloppement des outils ETL (Extract Transforme et Load).
Talend Open Studio, sql*loader (Oracle), SSIS (SQL Server Integration Service), Palo ETL , etc.

Dveloppement de machines bases de donnes parallles (exemple les machines TERADATA). Maturit de lintgration des technologie bases de donnes et rseaux : bases de donnes distribues, rparties et fdres.
SUPCOM INDP3 IST
Intgration de donnes

20

Se partager le potentiel dinformation de lentreprise

Solutions 1 : Retrait de donnes Technique de diffusion des donnes des serveurs par questions rponses suite aux demandes des clients, sans matrialisation intermdiaire. (DATA PULL) Les middlewares ne sont pas tous disponibles Le poste client doit tre puissant Temps daccs ncessaire aux donnes distribues Les donnes sont dissmines dans des BD htrognes voire mme dans des fichiers Les accs htrognes peuvent perturber les traitements transactionnels

SUPCOM INDP3 IST

Intgration de donnes

21

Se partager le potentiel dinformation de lentreprise

Solutions 2 : Dpt de donnes Technique de diffusion des donnes dun serveur par envoi vers les clients sur initiative du serveur, avec matrialisation dans une mmoire intermdiaire ensuite exploite par les clients. (DATA PUSH)
La mmoire intermdiaire peut tre une vritable bases de donnes : ENTREPOT DE DONNEES Elle intgrera tout lhistorique des donnes Larchitecture de systme distribues avec diffusion des donnes Il devient possible danalyser cet historique et mme den extraire des connaissances.

SUPCOM INDP3 IST

Intgration de donnes

22

Se partager le potentiel dinformation de lentreprise

Solutions 2 bis: Entrept de donnes Ensemble de donnes historises variant dans le temps constitu par extraction partir de bases applicatives et de fichiers, organiss par sujets spcifiques, consolid dans une base de donnes unique, gr dans un environnement de stockage particulier, et aidant dans la prise de dcision dans lentreprise.
Diffusion par lots
SUPCOM INDP3 IST
Intgration de donnes

23

Techniques dextraction des informations

Voie 1 : Analyse des donnes (DATA ANALYSIS) Extraire des informations dune BD historise par comptage, sommation, moyenne ou fonction statistique pour laborer des synthses. Voie 2 : Exploration ou fouille des donnes (DATAMINING) Extraire des informations dune BD historise par raisonnement statistique afin de dcrire le comportement actuel et prdire le comportement futur dun procd.

SUPCOM INDP3 IST

Intgration de donnes

24

3 Mini projets et 2 TP
Sujet 1 : Synthse des techniques et outils dintgration des donnes dans les SGBD : vue matrialise et snapshot, import et export des schmas relationnels, chargement des donnes, synchronisation des donnes, les tables externes, triggers, etc. Sujet 2 : Identification du processus dintgration des donnes et moyens mis en uvre pour contrler ce processus (gestion des erreurs, contrle de la dgradation des performances, mapping entre donnes sources et donnes cibles, etc.). Comparatif des outils de chargement des donnes TOS, SQL*Loader et SSIS. Sujet 3 : Synthse des scnarios dintgrations (quelle intgration pour quel type de donnes et pour quels systmes et quelles transformations peut-on oprer? TPs : TP TOS et Talo

SUPCOM INDP3 IST

Intgration de donnes

25

Webographie
[w1] http://www.journaldunet.com/solutions/dossiers/pratique/systemestransactionnels.shtml [w2] http://www.memoireonline.com/11/10/4060/m_La-contribution-dusysteme-dinformation-au-management-dune-institutionbancaire12.html [w3] http://depinfo.ucergy.fr/~vodislav/Master/IED/fichiers/integration.pdf [w4] http://excerpts.numilog.com/books/9782866016456.pdf
[W6]

http://grim.developpez.com/cours/businessintelligence/concepts/conce ption-datawarehouse/ W7 http://www.petite-entreprise.net/P-3081-136-G1-definition-oltp-vsolap.html W8 www.rainmakerworks.com W9 http://www.i3s.unice.fr/~riveill/cours/systeme-information/01-bdreparties.pdf

SUPCOM INDP3 IST

Intgration de donnes

26