Business Integration

Intgration de donnes (EII) Intgration d'applications (EAI) Vers l'architecture SOA Commerce lectronique B2B

1. Introduction
Lexistant
Nombre croissant de donnes disperses dans une grande varit de sources de donnes htrognes Donnes internes lentreprise (protges par un firewall) et externes, chez des fournisseurs, des partenaires ou des clients

Le besoin
Les applications doivent accder et combiner ces donnes efficacement, facilement et en toute scurit Le B2B ncessite lintgration lche des systmes dinformation par les donnes
#

Introduction

Les niveaux d'intgration

Business Process EAI Intgration d'applications BD Fdres EII Intgration de donnes

Intgration de plate-formes
Systmes Rseaux SGBD

Standards J2EE Web Services

Introduction

Intgration donnes et d'applications (EIS)

Intgration de donnes (EII)
1 serveur d'applications N sources de donnes Accs unifi par vues et requtes

Intgration d'applications (EAI)

N serveurs d'applications 1 serveur d'intgration change de donnes inter-applications Pilotage par workflows

Introduction

Enjeux de lintgration
Selon tudes IBM:
pour 1$ dpens pour une application package, de 5 9$ sont dpenss pour assurer son intgration

Selon lIDC:
lintgration dinformation aura une croissance de 22% jusquen 2007, soit 3,5 B$

Selon le Gartner:
40% des budgets IT sont dpenss en intgration

Selon Morgan Stanley:

lintgration de donnes est devenue la priorit N1 des entreprises avant le e-business et le CRM
Introduction
#

2. Intgration de donnes (EII et XML)

Base de donnes intgre virtuelle
approche o les donnes intgres ne sont pas matrialises dans un SGBD intgration la demande pour rpondre aux requtes Seules les donnes utiles sont manipules Lutilisation dun cache augmente les performances

Limitations
performance calculs dintgration complexes, sources lentes ou indisponibles Pas dhistorique des donnes
Intgration de donnes
#

Exemple de scnario
Systmes classiques

CLIENT
Donnes techniques

Site 5
Commandes, Clients, Factures

Site 1 Rseau de communication

Site 4

Oprations des produits

Donnes textuelles

Donnes gographiques

Site 2
Descriptions des produits

Site 3 SERVEUR
# Localisation des clients

Intgration de donnes

Htrognit des modles

Source 2: Repository XML

Source 1: SGBDR

Buveurs Vins

Nom

DateN Pays

Type

<!ELEMENT Vin (Cru, Degre, Description+)> <!ATTLIST Vin nv CDATA #IMPLIED> <!ELEMENT Buveur (Nom, Place,Date, Type)> <!ATTLIST Buveur nb CDATA #IMPLIED> <!ELEMENT Catalogue (Vin, Offre, Publicit?)+> ...

NV

Cru

Mill

Degre

Source 4: LDAP

personne buveur chef

Source 3: WEB

service

Personne

boire

employ

Boisson

vins

Rgion

Intgration de donnes

Description

Architecture de schmas
Schma de mdiation
mappings

Schma source Source 1

Schma source Source 2

Mthodes de mapping
Descendante (le schma de mdiation est une vue) - GAV Ascendante (le schma source est une vue) - LAV Mixte (la combinaison de schmas sources est une vue)
Intgration de donnes
#

Htrognit des langages

Source 1: RDBMS Source 2: XML Repository

ODBC/JDBC SQL

SOAP XQuery

Source 3: WEB

Source 4: LDAP

Google Text Queries

WEB Services

LDAP QUERY

Intgration de donnes

Traitement dune requte

Source 1
Schma de mdiation Traduction

q1

Dcomposition Intgration
q2
Traduction

Vue utilisateur

Source 2

Dans tous les cas, le mdiateur gnre des sous-requtes optimises partir de Q
Intgration de donnes
#

Architecture DARPA I3
Niveau Client
Applications objet Applications client Browser web
Services Interaction

Services Coordination

Facilitateur 1

Facilitateur 2
Services Integration

Niveau Mdiation

Mdiateur 1

Mdiateur N
Services Translation

Niveau Source

Wrapper

Wrapper

...

Wrapper

Services Accs

Source 1
Intgration de donnes

Source 2
#

Source N

Schma de mdiation XML

Atouts
Un modle complet (XML Schema) plus riche que le relationnel Permet de mixer documents et donnes structures Langages de requtes normalis: XQuery, SQL/XML Bien adapt aux changes B2B: Unification des noms possible, mcanisme de "namespaces"

Difficults :
Technologie complexe matriser Performance de XML (texte)

Intgration de donnes

Une ralit industrielle

Enosys Mdiateur XQuery Librairie de wrappers Nimble.com Rachet par Actuate Base d'intgration smantique Correspondance entre Xpath IBM Xperanto XQuery au-dessus de SGBDR Compilation en SQL Mdience (INRIABO) Relationnel + API XML
Liquid Data (BEA) Driv de Enosys Vues XML/XQuery IBM Information Integrator Systme hybride SQL et XML Bas sur SQL/XML OLE/DB.NET Extension de OLE/DB XML Interrogation SQL for XML DENODO Plate-forme d'intgration SQL Extension XQuery en cours

Intgration de donnes

BO Data Integrator
Intgr BO XI Solution mixte Relationnel/XML Site #1
Server Application #2 Server Application #1
Donnes CD Donnes DR

Site #2

Site #3
Server Application #3
Donnes NP

Architecture rcursive

Intgration de donnes

Liquid Data de BEA

Schma de mdiation XML
Intgration de donnes par vues XML Interrogation uniforme en XQuery

Sources de donnes
Sources de donnes J2EE JCA, fichiers, XML Applications patrimoniales Adaptateurs intgrs au mdiateur

Interfaces applicatives
JDBC orient XML

Mthode de mapping descendante

Intgration de donnes
#

Liquid Data de BEA

Architecture intgre WebLogic/AquaLogic

Intgration de donnes

XQuare Fusion (Open Source)

Schma de mdiation XML Sources de donnes:
BDs, XML, fichiers, services Web

Interfaces applicatives :
XDBC, insertion dans des sources

Mthode de mapping descendante Version Open source disponible

Industrialise par start up ferme dbut 2003 Seul mdiateur en Open Source (www.xquark.org)

Intgration de donnes

Bilan
Les bases fdres s'orientent vers XML XQuery distribu est en marche Technologie idale pour
Portails BD Interrogation multi-sources Services donnes dans SOA

Exemples d'applications
Le dossier patient virtuel Le portail touristique

Problmes
Architecture complexe Performance

Intgration de donnes

3. Intgration d'applications (EAI et XML)

Enterprise Application Integrator
change de donnes entre applications Transformation et fusion des sources Stockage intermdiaire en BD Diffusion vers les cibles Pilotage des flots (Workflow) Connexion avec bus applicatif (CORBA, DCOM) De plus en plus souvent bass sur XML

EAI et XML

Intrt d'un modle pivot

L'intgration d'information ncessite un modle pivot (global, fdrateur, d'change) XML est conu pour cela Les Services Web peuvent tre invoqus pour produire/consommer du XML SOAP est de plus en plus prsent

n+m versus n*m

EAI et XML

Structure d'un EAI

Hub and Spoke
Application J2EE Application Siebel Application J2EE Hub EAI Application SAP Application .NET Application SAP

Bus (ESB)

Bus EAI
Application Siebel
EAI et XML
#

Application .NET

Les couches
Couche transport
Transport des messages depuis l'EAI aux applications et vice-versa Peut ou non intgrer Intranet/Internet

Couche transformation et routage

Transformation et intgration des messages Routage vers les applications

Couche modlisation mtier

Modlisation des flux (workflow) Dfinition des objets mtiers De plus en plus base sur BPM (Web services)
EAI et XML
#

Le transport
Request Queue

Application

Response Queue

Serveur EAI

EAI et XML

Connectivit du rseau Gestion des messages et files d'attentes Scurit et cryptage Logging et rptition des messages Routage des messages Utilisation TCPIP, HTTP, SOAP, SMTP, IIOP, Message-Oriented Middleware (MOM) #

La transformation
De l'application au modle d'change (XML)
Connecteur, Adaptateur, Extracteur Transforme une source en XML

De XML XML
Utilisation de XSL Intgration de N flots en 1

Du modle d'change l'application

Connecteur, Adaptateur, Publisher Prsente les donnes aux applications

La gestion des mta-donnes

Formats et rgles Annuaire des applications et utilisateurs

EAI et XML

Les processus mtiers

Modlisation de processus mtiers
Enchanement d'activits Echange de messages XML Transactions courtes et longues

Intgration des Services Web

API standards dcrites en WSDL Langages d'orchestration (WFSL, XLANG, BPEL, ...)

Interprteur des workflows

Gnralement centralis Pilote les processus et changes
#

EAI et XML

Architecture fonctionnelle
Dvelop . Admin.

Workflows C O N F I G U R A T I O N

Processus Mtier

Chemins

Routage Messages

Rgles

Transformation

S U P E R V I S I O N

Formats

Connecteurs

A D M I N I S T R A T I O N

TRANSPORT

Progiciels

SGBD

Fichiers #

Application

EAI et XML

Types d'changes
1) Fire and Forget No Response required

2) Request / Reply System makes request and gets response

3)

Y
EAI

EAI

Needs ability to cache response from multiple requests to respond to one message

X Y X
6A)

EAI

A B C
A X
4A/B)

EAI

X
5)

EAI

B C
EAI

XREF

Multiple Applications needed to satisfy request 4A: XREF Look-up 4B: XREF Update

Publish Subscribe A, B and C subscribe to message

Needs data from Z to be

able to update Y

EAI et XML

Exemple: MS BizTalkServer
BizTalk Server offre un moyen sophistiqu de crer une activit commerciale avec changes de documents XML BizTalk Serveur est bas sur .NET, SQL Server et les Web Services Possibilit de cration automatique des documents XML suivant une base de donne existante (vues XML) Bibliothque de schmas extensibles (Editor) Dfinition graphiques des mappings (Mapper) Support du Business Process Management et de transactions longues avec XLang (bientt BPEL?)

EAI et XML

Exemple de scnario
Modlisation d'une activit commerciale
Process Buyer Process Supplier

Gnration et change de message XML Tests et contrles

Total < $1000

EAI et XML

Architecture
Message Format 1

Business Rules
Orchestration #1 Orchestration #2

Message Format 2

Receive Port Adapter

Receive Pipeline

Send Port Adapter

Send Pipeline

Host

Tracking DB
EAI et XML

Publish and Subscribe Message Box (SQL)

#

Config DB DB

Sun One
Caractristiques
Totalement bas sur XML Transformations spcifies en XSL Accs de multiples sources (connecteurs Java, C++, ...) Intgration de services web via des "application proxies" Capacit de BPM spcifi via interface graphique Multiples plate-formes

EAI et XML

Evolution des produits IBM

WebSphere Interchange Server
Anciennement nomm Crossworlds Interchange Server, ce serveur d'intgration est exploit dans le contexte d'une approche top-down, centre donc sur l'intgration par les processus.

WebSphere MQ Integrator Broker

Anciennement nomm MQSeries Integrator, ce moteur prend en charge la logique d'intgration par les donnes.

WebSphere MQ Workflow
Comme son nom l'indique, ce moteur excute la logique des processus qui incluent potentiellement des activits humaines.

WebSphere Business Integrator

Intgration des trois produits avec des composants: Modeler (Design) Adapters (Bibliothque) Collaborations (Packages mtiers tlcom, distribution, assurance)

Intgration dans architecture SOA

EAI et XML
#

Evolution du march des EAI

Intgration des services web Intgration du business process management Architectures en bus ESB Vers les architectures SOA L'volution d'IBM est typique ... Fusion avec les serveurs d'applications ?
Autres "key-players" :
Tibco www.tibco.com BEA WebLogic Integration www.bea.com Oracle Integration Server www.oracle.com WebMethods www.webmethods.com Seebeyond www.seebeyond.com Vitria www.vitria.com Mercator www.mercator.com Axway (Sopra)
#

EAI et XML

4. Larchitecture SOA pour le SI

Service Oriented Architecture = Architecture Oriente Services Systme dinformation structur de manire ce que les diffrentes ressources (donnes, traitements, processus, infrastructure) soient accessibles uniquement par envoi de messages normaliss vers leurs interfaces.
Modles de services Composants distribus Modles objets procedures Agilit

SOA

Briques de base
Modlisation des processus mtiers
A partir des Uses Cases avec UML

Bibliothque de service dclenchs messages

Dfinis par des documents XML stables et homognes

Implmentation sur de multiples plate-formes

Htrognes, encapsulation de l'existant

SOA

Niveaux de composition: de la technique au mtier

Des services gros grains composs en BP

SOA

Bnfices
S'appuie sur les standards Encapsule la complexit Favorise la rutilisation Facilite le dveloppement de business process Fiabilise les business process Simplifie des changes inter-entreprises Scurise les changes Choix de plate-formes inter-oprables
.NET J2EE
SOA
#

Architecture Fonctionnelle
Applications Composites
Processus mtiers
Messages XML Fiables et Scuriss Services Mtiers et Donnes
Bus Logiciel dEntreprise (ESB)

Outils de
Conception

Moteur BPEL

Plateformes htrognes

SOA

Enterprise Service Bus (ESB)

EAI prises Web services Bus de services distribus Backbone pour messagerie fiable Routage intelligent bas contenu Coordination des processus Cadre scuris Transformation XML

Exemples: SONIC, TIBCO IBM, WebMethods,

#

SOA

Un modle multi-niveaux

SOA

Daprs IBM

Exemple de Produits: IBM WebSphere +

Business Modeler :
Modlisation des processus

Rational Architect :
Modlisation des composants (WS) et messages

Integration Developer :
Dveloppement du code

ESB, Process Server :

Dploiement et excution

Business Monitor
Monitoring et surveillance
SOA
#

5. Le Commerce B2B avec XML

Reprise des objectifs de l'EDI
Rationaliser les flux d'information de l'entreprise Optimiser les approvisionnements Supprimer les doubles saisies manuelles Amliorer la traabilit des produits Permettre une ractivit plus forte des organisations Assurer une meilleure flexibilit et qualit de service

Utiliser Internet et les changes XML

Rduction des cots Support de standards Dmocratisation de l'EDI
B2B
#

March du B2B sur Internet

Monde
$ 800 milliards en 2002 $ 12 trillons en 2006

Europe
150 milliards en 2002 2,2 trillons en 2006 22% du business

D'aprs Forrester Research.

B2B

Scnario Donneur d'ordre (EDI-XML)

Donneur d'ordre
Serveur d'change

Rseau

Fournisseur

SYS. INFO.

Navigateur

EDIXML EAI
Scurit Formulaires

B2B

Scnario Place de march

Donneur d'ordre
Adaptation et change

Rseau

Fournisseur

Serveur
SYS. INFO.
Gestion des offres et demandes

Navigateur EDIXML

EAI

BD

Scurit
Formulaires

Service Web
B2B
#

Apports de XML
Prise en compte de messages standardiss
Transactions sur catalogue (cXML, xCBL, UBL ) Cadres pour la composition (Rosettanet, ebXML, .)

Description des partenaires et artifacts

Rfrences des partenaires (annuaires) Description des messages et processus (registres)

Gestion des processus dchanges

Modlisation par workflows (BPEL, BPSS ) Orchestration des messages (EAI)

Garantie de scurit
Utilisation de messages crypts, signs,
B2B
#

Quelques dialectes B2B

Nom Description
Catalogue lectronique et transactions Business components Pour commerce sur catalogue (product,catalog,...) Librairie de business documents (purchase orders, invoices, etc.) Cadre XML pour l'industrie et rfrentiel de formats PIP = Partner Interface Process Formats de messages pour les contenus (catalogues,livraison,.)

Organisation
Ariba

cXML
xCBL UBL RosettaNet OAGIS

Commerce One, ... http://www.xcbl.org

OASIS Consortium CommerceNet OAG (Open Application group)

FIX

Formats de messages pour donnes financires (trading)

De facto standard http://www.fixprotocol.org

B2B

Exemple: FIX (Finance)

Autres Protocoles
Sant
HL7 Gestion du Patient: diagnosics, traitements, prescriptions, etc. http://www.hl7.org IFX - Interactive Financial Exchange : trades, banque, transactions client, etc. http://www.ifxforum.org SWIFT http://www.swift.com

Banque et Marchs Financiers

Assurance

Distribution

ACORD Gestion des Polices Indemnits, rclamations, etc. http://www.acord.org IXRetail Inventaire, transactions client, et gestion des employs http://www.nrf-arts.org

Business to Business cross-industrie (y compris Gouvernement)

UBL Transactions B2B Factures, Commandes, statut inventaire, etc.

UBL de l'OASIS
Order, LineItem, Party, Item, Deliverery, ...

Ncessit d'ouvrir les protocoles

Beaucoup de protocoles sont disponibles
DTDs XML et schemas XML, Business Process

Tout business doit pouvoir commercer avec tout autre business

Ncessit d'tendre ou spcialiser des messages Ncessit de dfinir des nouveaux messages Respecter un guideline (comme EDIFACT)

Intitiative ebXML
Protocoles ouverts Architecture de rfrence
#

XML for e-business : ebXML

Mission
"To provide an open XML-based infrastructure enabling the global use of electronic business information in an interoperable, secure and consistent manner by all parties." Support par UN/CEFACT (EDIFACT) et OASIS

Rsultats
Architecture patronne par 850.000 entreprises Groupes de travail et spcifications associes: OASIS = Infrastructure UN/CEFACT = Smantique Quelques applications et outils conformes .
ebXML
#

Les groupes de travail

La pile de travail

OASIS
Infrastructure de communication (Messaging) Rfrentiel et annuaires de documents (Registry) Recherche d'agrments entre partenaires (CPA)

UN/CEFACT
Librairie de vocabulaires XML (Components) Business Process Modeling Language (BPSS)
ebXML
#

Architecture fonctionnelle
I M P L E M E N T A T I O N

DECOUVERTE et ECHANGES

ebXML

Des dialectes ouverts

Spcifications de composants de base
Exemples : Adresse, Rfrence client, etc. Peuvent tre spcifique dun domaine (sant, etc.) Stocks en core library

Assemblage pour un business

Dfinition des objets et processus du business Stockage en rfrentiel (repository)

Possibilit dutiliser UML

Pour assembler les core components Pour gnrer les schmas XML
#

ebXML

Exemples de Core Components

Person Name: text Birth: date Residence address: Address Official address: Address Address Street: text Town: text Country: identifier Post code: text

Amount Binary Object (plus Graphic, Picture, Sound, and Video) Code Date Time (plus Date and Time)

Identifier Indicator Measure Numeric (plus Value, Rate, and Percent) Quantity Text (plus Name)
#

ebXML

O va ebXML ?
Des comits productifs
Business Process Core Components Collaboration Protocol Messaging Registry / Repository Implementation

Quelques outils open source

Repository

Quelques protocoles de base

UBL
#

ebXML

6. Bilan Business Integration

Intgration de donnes
BD fdres via XML Support de XQuery et/ou SQL/XML

Questions ?

Intgration dapplications
EAI XML et Web Services Business Process et SOA Support de BPML

B2B
Protocoles ouverts standards Plate-forme ouverte B2B en perspective Intgration des web services (UDDI, SOAP et BPEL)
#

Bilan