Vous êtes sur la page 1sur 12

Rplication de donnes ERP pour les

dcisionnels mtiers
DSIFS ERPDEC TEC
Janvier 2015

SNCF DOCUMENT CONFIDENTIEL

13/01/2015
Alimentation des dcisionnels
Contexte, Exigence et enjeux en 2010

La direction du MATERIEL souhaite rapidement alimenter son systme dinformation


dcisionnel avec des donnes non issues de la base EPM
Les donnes extraites doivent-tre filtres par branches mtiers (MATERIEL)
Exigences En majorit, Les donnes doivent-tre rafrachies J+1 (donnes comptables)
fonctionnelles Une faible partie des donnes doit-tre Up-To-Date (mirroring donnes
oprationnelles))

Les extractions pour les dcisionnels doivent impacter minima la base ERP
FSCM fortement sollicite au quotidien
50.000 traitements de type batch
Enjeux 2200 utilisateurs en pic
Performance
Entre 500 Go et 700 Go dArchive Log gnres par lactivit SGBD

Mise en uvre dune solution spcifique partir de produits existants


Cration dune base SGBD Oracle dite PIVOT contenant le primtre MATERIEL
Cration dun Rafrachissement => Mcanisme Oracle Streams/ Materialized view
Hub de donnes Alimentation des dcisionnels du MATERIEL
PIVOT DATASTAGE pour les donnes J+1
CDC Infosphere (mirroring)

SNCF DOCUMENT CONFIDENTIEL


DSIFS /ERPDEC-TEC
Janvier 2015

2
Cinmatique Pivot
Architecture ERP/ PIVOT / Dcisionnel MATERIEL en 2010

ERP
EPM Base Pivot
FSCM
2
ERP

1 VMs FAST 406 vues


toutes les 15mn
Oracle Tables
de 1h 23h40
1 Downstream : Rplication
FSCM 40 vues
VMs FULL
Au fil de leau 23h59
Puits darchivelog RedoLogs
Production
3 Statut_pivot
00h15 4

400 tables 6
23h45
Dcisionnel
MATERIEL

5
DefiAlim /
IBM Datastage Change Data Capture
IBM Infosphere
15 + 8
VUES

SNCF DOCUMENT CONFIDENTIEL


DSIFS /ERPDEC-TEC
Janvier 2015

3
Socle technique Base Pivot Avant Golden
Gate
Implmentation avec les outils ORACLE/ IBM existants

Maintenance Gestion Temps de


Complexe sur 3 dincident rafraichissements
types doutil complexe croissant

Gel des Pas de Hors-


volutions Production

SNCF DOCUMENT CONFIDENTIEL


DSIFS /ERPDEC-TEC
Janvier 2015

4
Pourquoi Golden Gate ?

Situation
de Crise

Mise en
place dun
Utilisation
pilote importante de la
Golden
Gate pour le fonctionnalit de
MATERIEL filtrage propose
par Golden Gate
Rflexions
pour
industrialiser
/rationaliser
le processus
Un POC satisfaisant dj ralis au plus tt

en 2010
Objectif => 1 solution:
Robuste
Stable
SNCF DOCUMENT CONFIDENTIEL Maintenable
DSIFS /ERPDEC-TEC
Janvier 2015 Evolutive
Mise en uvre dans
un dlai rduit
5
Implmentation Golden Gate sur un pilote

Un projet de migration russi en 2 mois

07/2012 08/2012 10/2012


Prsentation dossier Dmarrage de linstallation Conformment au planning
financier/planning Dmarrage des dveloppements tendu une production technique
Go pour un pilote sur un projet Dveloppement de 200 filtres dmarre avec la rplication/filtre
MATERIEL (80% simple, 20% Complexe) partir de la Production FSCM

Fortes Contraintes Techniques


Maintien du downstream
Uniquement remplacement
Aucune adaptation possible Maintien de la rplication
Rplication/Vues
sur la solution RAC/ASM de iCDC
Matrialises
la base source

SNCF DOCUMENT CONFIDENTIEL


DSIFS /ERPDEC-TEC
Janvier 2015

6
Dcommissionnement

Choix et Roadmap Technique solution Streams/VM


05/13
08/2014
En cible pour la rforme ferroviaire 01/2013 05/2013
10/2012 Changement
Primtre Primtre Architecture
Pilote
Global Global Pivot Matriel et
MATERIEL
MATERIEL MATERIEL+ Infra
Integrated Capture 200 tables
440 tables INFRA 1000 tables
Dowstream Real OGG 11.2.1.0.3 prvues en
OGG 11.2.1.0.3 710 tables
Time HP/UX 2015
HP/UX OGG 11.2.1.0.3
OGG 12.1.2.0.0
HP/UX
X86/Linux

Rpond aux exigences SNCF


Mode Extraction

du Mining la cible en mode


Golden Gate

Mode Integrated Capture RAC


11.2.1.0.3 Permet les volutions vers la
Compression OLTP et le
partitionnement

Fortes restrictions avec le Mining la


Mode Classic Capture cible en mode RAC
11.2.1.0.3 Limitations sur la compression et le
partitionnement

SNCF DOCUMENT CONFIDENTIEL


DSIFS /ERPDEC-TEC
Janvier 2015

7
Utilisation des filtres GoldenGate
Filtres partir de tables de paramtrage (tables des entits par domaine fonctionnel)
Tables de paramtrage sont peux volumineuses (une centaine de lignes)

Pour maintenir la cohrence des donnes et maintenir la performance de rplication


Cration de 6 replicat GG pour quilibrer les performances
Les tables de paramtrage sont dupliques dans les replicat si elles sont utilises comme
jointure par les tables transactionnelles

Quelques Package SQL ont t insrs dans les filtres complexes de certains replicat pour
maintenir la cohrence des donnes
Limites de la rplication
Pas dutilisation de la fonctionnalit FETCHCOLS pour viter un overhead la source (sur les
moyens HP vieillissants)

La gestion du supplemental logging (information supplmentaire (avant/aprs) stocke dans les


archive log ) sur la source est un point critique de la rplication
Outils de contrle mis en place pour assurer la cohrence des filtres et du supplemental logging
la source

La rplication DDL (structures de table) nest pas utilise pour viter toute diffusion vers les bases avales
mtiers
La rplication se met en erreur sur le pivot pour analyse

8
Architecture Actuelle Pivot
Production et Pr Production Dcisionnel
MATERIEL

PIVOT Production Matriel

PIVOT Hors Production Matriel + Infra


Extract Replicat

TRAIL
Agent

Archives
Materiel Schma
Materiel MATERIEL iCDC Replicat GG
Matriel Materiel

PIVOT Pr production Matriel + Infra


TRAIL
Extract PUMP GG
Archives
Stby redo

Matriel

PRODUCTION
2 serveurs physiques
Base
redologs
Archives

(MATERIEL/INFRA)
FSCM 2 bases PIVOTS
Schma
MATERIEL

PROD PREPRODUCTION / HORSPRODUCTION


2 schmas ORACLE par ligne
(EVO,COR) Schma
INFRA
Archives
Stby
Archives
Stbyredo

Extract PUMP GG
Infra
redo

TRAIL
TRAIL

Schma Agent

Archives
Extract Replicat INFRA
Infra iCDC
Infra Replicat GG
INFRA
Infra

PIVOT Production Infra Souplesse


Architecture

Gestion Pr-
SNCF DOCUMENT CONFIDENTIEL
DSIFS /ERPDEC-TEC
Dcisionnel Production
INFRA
Janvier 2015
Gestion Hors
Production

9
Socle technique Base Pivot Avec Golden
Gate

Maintenance rduite 2 Peu dincidents sur Performance stabilise


types doutil Golden Gate sur les rplicats

Rattrapage des volutions Les donnes


bloques dans un dlai Gestion de Hors- oprationnelles
minimum de mise en Production sont de plus en plus
oeuvre prpondrantes

SNCF DOCUMENT CONFIDENTIEL


DSIFS /ERPDEC-TEC
Janvier 2015

10
Migration GG de HP vers X86
Refonte Architecture dAot 2014

J-30
Cration instance base Pivot cible X86/Linux

Oprations faites lors dun Train de Maintenance Technique


J-20
Export/Import initial partir du Pivot HP/UX
Mise en place dun Extract Pump Golden Gate vers X86/Linux
Production technique base Pivot X86/Linux
Production avec marche en double

Jour J Bascule FSCM sous X86 Linux


Conversion de la base source FSCM
Cration Extract Golden Gate sur le serveur X86
Bascule des souscriptions de iCDC
Dmarrage Production FSCM
Dmarrage dans la foule du Pivot de Production

SNCF DOCUMENT CONFIDENTIEL


DSIFS /ERPDEC-TEC
Dcembre 2014

11
Evolutions Futures
Etre en
Conformit avec
la rforme Adaptation simplifie en cas de Multi-Instances de la base
FSCM
ferroviaire (Une
instance FSCM
par EPIC ?)

1 seul outil de rplication - GG


Bout-en bout MATERIEL prvu mi 2015
En cours dtude pour lINFRA
Simplifier Faire lExtract la source FSCM (mais continuer dassurer la
haute disponibilit)
Rationnaliser Faire lconomie du Downstream
Elimination des package SQL pour maintenir la cohrence des
donnes dans le cas des filtres complexes (fonctionnalit
FETCHCOLS)

SNCF DOCUMENT CONFIDENTIEL


DSIFS /ERPDEC-TEC
Janvier 2015

12