Data warehouse

Data mining

‹ Motivations et architecture
‹ Le multidimensionnel
‹ Le data mining
‹ La recherche de règles associatives
‹ Conclusion
 1. OLTP et OLAP

Reports
Appli. &
DM
Analysis

OLTP DW OLAP

DM

DM
Introduction DW 2  G. Gardarin
 Explosion de l ’OLAP
‹Facteurs économiques & technologiques

18
16
14
CA en Milliards de $

12
10
8
6
4
2
0
1994 1995 1996 1997 1998 1999 2000 2001
Années

Introduction DW 3  G. Gardarin
 Motivations des entreprises
‹Besoin des entreprises
z accéder à toutes les données de l’entreprise
z regrouper les informations disséminées
z analyser et prendre des décisions rapidement (OLAP)
‹Exemples d'applications concernées
z Bancaire : suivi des clients, gestion de portefeuilles
‹mailing ciblés pour le marketing
z Grande distribution : marketing, maintenance, ...
‹produits à succès, modes, habitudes d’achat
‹préférences par secteurs géographiques
z Télécommunications : pannes, fraudes, mobiles, ...
‹classification des clients, détection fraudes, fuites de clients

Introduction DW 4  G. Gardarin
 Le data warehouse
‹Entrepôt de données
z Ensemble de données historisées variant dans le
temps, organisé par sujets, consolidé dans une base
de données unique, géré dans un environnement de
stockage particulier, aidant à la prise de décision dans
l’entreprise.
‹Trois fonctions essentiels :
z collecte de données de bases existantes et
chargement
z gestion des données dans l’entrepôt
z analyse de données pour la prise de décision

Introduction DW 5  G. Gardarin
 Architecture type
Clients
Présentation
décisionnel Tables, graphes,
cubes
Autres Applications
Analyseur

BD
Entrepôt Datawarehouse
Intégrateur
Transformation, Fusion
Extraction, Filtrage
Validation
Extracteur Extracteur

Source Extracteur
Disquettes

Données
BD source opérationnelles
Données externes
BD légataires
Introduction DW 6  G. Gardarin
 Datamart (Magasin de données)
‹sous-ensemble de données [extrait du data
warehouse] et ciblé sur un sujet unique
Bases
Data Warehouse
multidimensionnelles

Bases de
production

Data Marts
SGBD
relationnel

Outils Outils
d’alimentation d ’extraction Bases
Bases externes relationnelles

Introduction DW 7  G. Gardarin
Extraction des données
‹ETL = Extracteur+Intégrateur
z Extract + Transform + Load
‹Types de transformations
z Accès unifiés aux données
z Amélioration et agrégation des données
‹Mapping
• Jointure, projection, agrégation (SUM, AVG)
• Application des "business rules"
‹Cleaning
• Élimination valeurs erronées
• Extrapolation valeurs manquantes

8  G. Gardarin
 Principaux ETL (JDNet)
Acta Avec ses eCaches, Acta se
propose de rendre accessible en
ActaWorks quasi-temps réel les données
les plus souvent accédées. L'un
des éditeurs de référence dans
le domaine de l'ETL, qui s'étend
sur la partie middleware en
intégrant aussi les transactions.
Ascential Software DataStage XE est l'offre
traditionnelle d'Ardent
DataStage XE qu'Informix a racheté début
2000 avant qu'Ascential ne la
reprenne à son compte lors de
sa prise d'indépendance, tandis
qu'Informix partait chez IBM
avec ses entrepôts de données.
Computer Computer Associates est plus
connu pour ses offres de
Associates sécurité, de surveillance et de
DecisionBase gestion d'infrastructures
réseaux/informatiques. Mais son
offre ETL s'avère assez
complète y compris pour
maintenir l'intégrité des
métadonnées sur toute la
chaîne de traitement. L'outil ETL
s'appelle Vision:Pursuit.
Cognos Ce n'est pas la spécialité de
Cognos, mais l'outil semble
DecisionStream s'être éprouvé dans le temps
après avoir changé de nom. A
priori, se servir de préférence
de l'outil avec Cognos pour une
raison de compatibilité.
http://solutions.journaldunet.com/0110/011025_crm_tableau2.shtml
Fournisseur historique du premier
connecteur à SAP. Partenaire
notamment de Siebel, Peoplesoft
et JDEdwards. Interfaçage avec
Business Objects, Cognos,
Hyperion, Actuate et Brio.
Plus de 40 connecteurs natifs vers
des sources de données, dont
IBM/Informix, Oracle, Sybase,
Teradata et IBM DB2. Package
complet dédié à SAP et à la
collection de modules MySAP.
Partie analytique: Brio, Business
Objects, SPSS et Crystal
Decisions.
Connecteurs en direct pour
extraire les données en temps
réel depuis SAP, PeopleSoft et des
systèmes mainframes. Accès à de
nombreuses sources de données
dont IBM/Informix, Oracle,
Sybase, IBM DB2, HTML et
fichiers txt.
Se dit compatible avec 100
sources OLAP, dont SAP BW
(certifié), Hyperion, Informix, SQL
Server 2000 et Sybase...
9  G. Gardarin
ETI Parfois citée comme plate-
forme ETL de référence par
ETI.Extract certains acteurs, mais pas
ceux de la business
intelligence, ETI.Extract
fonctionne avec des librairies
pour supporter les entrepôts
de données et des plugins
additionnels en prolongement
d'applications précises.
Hummingbird Surtout connu pour son offre
de portail, Hummingbird
Genio Suite 5
fournit également une plate-
forme ETL et EAI du nom de
Genio Suite, assez réputée. En
outre, une offre de business
intelligence classique, BI/Suite
prolonge le portail. Mais il
n'est pas question de CRM
analytique. Mais Genio Miner
aggrège plus de
15 algorithmes de data mining
différents.
Informatica L'une des plates-formes
d'extraction / transformation
PowerCenter 5
de données les plus complètes
et répandues. PowerCenter à
l'échelle de l'entreprise, et
PowerMart à celle du service
ou du département.
Informatica s'est récemment
engagé sur le créneau des
applications analytiques, mais
l'offre ETL est indépendante.
Information Positionnement hybride entre
la business intelligence, l'ETL
Builders et plus récemment l'EAI avec
ETL Manager la création de sa filiale iWay
Software. Les 2 dernières
offres sont les plus complètes,
la première se cantonnant
essentiellement à du reporting
sans véritable analyse
approfondie.
Extraction standard depuis:
fichiers plats (C et Cobol),
Siebel, les SGBDR, Informix,
Teradata, Oracle Financials,
PeopleSoft HRMS, SAP R3 et
BW... Librairies pour toutes les
bases de données ci-dessous,
sauf Hyperion, sur systèmes
anciens et plus récents. Plugins
ETI.Accelerator pour Siebel,
SQL/Teradata et les middleware
MQ (IBM, Tibco...).
Entrepôts de données : Oracle,
Sybase, Teradata, Hyperion
Essbase, MS SQL Server et IBM
DB2. Prise en charge nouvelle
des formats de données : XML,
mainframe, SAP en natif,
binaires, versions récentes des
SGBDR. En EAI: Siebel, SAP,
support de MQ Series. Le
roadmap prévoit l'intégration
prochaine à des acteurs comme
Brio, BO, Cognos et
MicroStrategy.
Gamme extrêmement vaste de
connecteurs spécifiques aux
sources de données pour
consolider tous les principaux
entrepôts de données. Pour citer
quelques acteurs du CRM
analytique en vrac: Siebel,
Business Objects, Oracle,
Hyperion, Crystal Decisions,
Brio, SAP, Cognos, Peoplesoft,
Kana, Nuance, Microstrategy...
ainsi que les middleware MQ
pour aller plus loin.
A travers son outil ETL, I.B.
attaque près de 80 sources de
données. Les connecteurs EAI
d'iWay concernent environ
120 applications selon l'éditeur.
L'entrepôt
‹Base relationnelle
z Support de larges volumes (qq 100 gigas à qq téras)
z Historisation des données (fenêtres)
z Importance des agrégats et chargements en blocs
‹Base spécialisée
z Base multidimensionnelle
z Combinaison des deux
‹Machine support
z Multiprocesseurs
z Mémoire partagée, cluster, bus partagé, etc.

10  G. Gardarin
 Principaux DW (Jdnet)
Hyperion EssBase est l'entrepôt de
données multi-
Essbase dimensionnel de référence
sur le marché de la
business intelligence.
Possibilité de compléter
avec l'offre analytique
d'Hyperion ou des solutions
tierces.
IBM DB2/Universal DataBase
est la base de données
DB2/UDB, relationnelle d'IBM. En
Informix XPS et Red Brick
rachetant Informix et son
activité bases de données,
Big Blue a récupéré ses
entrepôts de données
multi-
dimensionnels:
XPS (datawarehouse),
et Red Brick (datamart).
Microsoft La version la plus récente
de la SGBDR (base de
SQL Server 2000 données relationnelle) de
Microsoft. A enrichi ses
fonctions OLAP avec
Analysis Services. Parmi
celles-ci: l'accès direct aux
cubes via le web, et une
extension data mining.
http://solutions.journaldunet.com/0110/011025_crm_tableau2.shtml
Ce n'est pas à la base de
données de se connecter aux
applications mais aux
applications de se connecter
à la base de données. Les
accès vers Essbase sont
nombreux. Se reporter aux
autres catégories pour savoir
qui accède à quelles sources.
Même remarque que pour
Hyperion, en particulier pour
DB2 qui est relativement
répandue. Se renseigner sur
les solutions qui peuvent
accéder nativement aux
différents SGBD OLAP
propriétaires d'Informix.
Même remarque que pour
Hyperion. SQL Server est
très répandue, mais souvent
encore en version 7.0 qui
peut aussi être attaquée par
la plupart des solutions du
commerce qui fonctionnent
sous Windows
Entrepôt de données
multi-dimensionnel avec
Les solutions qui accèdent
des extensions de divers
à Teradata sont a priori un
types dont des formules
NCR de data mining. Réputé
peu moins nombreuses que
Teradata Database pour Hyperion Essbase,
notamment pour ses
Microsoft, IBM DB2, Oracle
capacités de montée en
et Sybase.
charge sous Unix et
Windows 2000.
Dernière version de la
base de données
relationnelle de l'éditeur,
Oracle 9i est retaillée
Même remarque que pour
dans une optique qui
Oracle approfondit les fonctions
Hyperion et Microsoft, car
Oracle 9i Oracle 8i est encore très
dédiées à la business
répandue.
intelligence. Peut
également fonctionner
comme entrepôt de
données OLAP.
IQ est la version déclinée
de la base de données
relationnelle de Sybase, Même remarque que pour
Sybase pour des besoins en Hyperion, IBM DB2, Oracle
Adaptive Server IQ rapport avec la business et Microsoft
intelligence, donc aussi le
CRM analytique.
11  G. Gardarin
 Bilan Entrepôt
‹ Le datawarehouse regroupe,
historise, résume les données de
l ’entreprise
‹ Le concepteur définit schéma
exportés et intégrés
z des choix fondamentaux !
z Ciblage essentiel !
‹ Le datamart c’est plus ciblé et plus
petit.
‹ Questions ?
z Peut-on ajouter des données au niveau
de l ’entrepôt ?

Introduction DW 12  G. Gardarin
 2. Le multidimensionnelle
‹Dimensions:
z Temps
z Géographie
z Produits
z Clients
z Canaux de ventes.....
‹Indicateurs:
z Nombre d’unités vendues
z CA
z Coût
z Marge.....
Le multidimensionnel 13  G. Gardarin
 Le data cube et les dimensions
Axe d'analyse: La géographie
(Pays - région - ville)

Variables analysées:
Nb unités, CA, marge...

Axe d'analyse: Les produits

(classe, produit)

Axes d'analyse: dimensions

Axe d'analyse: Le temps Variables analysées: indicateurs
(Année, trimestre, mois, semaine)
Le multidimensionnel 14  G. Gardarin
 La granularité des dimensions

Temps Jours Mois Trimestres Années

Géographie Villes Régions Pays

Produits Numéros Types Gammes Marques

Le multidimensionnel 15  G. Gardarin
 La navigation multidimensionnelle

Projection en 2 dimensions Coupe d ’un cube

Produits Produits
pour une région donnée
CA CA

Région
Temps en semaines
Réduction selon 1 dimension
Produits Zoom selon une dimension
France

CA Est Sud Ouest

Temps en mois
Lyon Marseille Nice

Le multidimensionnel 16  G. Gardarin
 Les vues d'un cube
‹Partant d'un cube 3D, il est possible d'agréger
selon une dimension tournante
‹On obtient un treillis de vues (calculable en SQL)
NumPro, NumFou, Date

NumPro, NumFou NumPro, Date NumFou, Date

NumPro NumFou Date

Le multidimensionnel 17  G. Gardarin
 ROLAP versus MROLAP
SQL+Cube SQL+Cube
Opérateurs Cache Cube
décisionnels
Analyseur
SQL
Optimiseur
Analyseur
Opérateurs Optimiseur
Opérateurs décisionnels
relationnels Opérateurs
Cache SGBD relationnels Cache SGBD

Le multidimensionnel 18  G. Gardarin
Les principaux fournisseurs
‹ Oracle
z Express = Datacube
z Report = Reporting
‹ Business Object
z BusinessQuery = Requêtage
z BusinessObject = Requêtage+Analyse+Reporting
z WebIntelligence = Datacube
‹ Cognos
z Impromptu = Reporting
z Powerplay = Datacube
z Query = Requêtage
‹ Hyperion
z ESS Base = Base MOLAP
z ESS Analysis= Analyse+Datacube

19  G. Gardarin
 Bilan Multidimensionnel
‹ La modélisation
multidimensionnelle est adaptée
à l ’analyse de données
‹ Le datacube est au centre du
processus décisionnel
z transformation et visualisation 3D
z une algèbre du cube :
‹Slice, Dice, Rollup, Drilldown
‹ Questions ?
z Combien de datacubes à partir de N
variables ?

Le multidimensionnel 20  G. Gardarin
 3. Qu’est-ce-que le data mining ?
‹Data mining
z ensembles de techniques d'exploration de données afin
d'en tirer des connaissances sous forme de modèles
présentées à l ’utilisateur averti pour examen

Données Data
entrepôt mining Connaissances
Découverte de Compréhension
‹Connaissances modèles Prédiction
z analyses (distribution du trafic en fonction de l ’heure)
z scores (fidélité d ’un client), classes (mauvais payeurs)
z règles (si facture > 10000 alors départ à 70%)

La fouille de données 21  G. Gardarin

 Domaines d'utilisation
‹De plus en plus de domaines
z explosion des données historisées
z puissance des machines support
‹Quelques domaines réputés
z Analyse de risque (Assurance)
z Marketing et Grande distribution
z Médecine, Pharmacie
z Analyse financière
z Gestion de stocks
z Maintenance
z Profilage d'utilisateurs (Web)
La fouille de données 22  G. Gardarin
 Mécanismes de base
Données Données
apprentissage Modèle réglé à prédire

Moteur Moteur
DM DM

Modèles Modèle réglé Données prédites

La fouille de données 23  G. Gardarin

 Exemple : Régression linéaire
‹Y = a X + B

Confiance
Entrées
X
Sortie
Y
‹Apprentissage sur la base
‹Utilisation pour prédire le futur
‹Qualification par degré de confiance

La fouille de données 24  G. Gardarin

 Méthode SEMMA (SAS)
‹ Sampling = Échantillonner
z tirer un échantillon significatif pour extraire les modèles
‹ Exploration = Explorer
z devenir familier avec les données (patterns)
‹ Manipulation = Manipuler
z ajouter des informations, coder, grouper des attributs
‹ Modelling = Modéliser
z construire des modèles (statistiques, réseaux de neuronnes,
arbres de décisions, règles associatives, …)
‹ Assessment = Valider
z comprendre, valider, expliquer, répondre aux questions

La fouille de données 25  G. Gardarin

 4. Principales Techniques
‹Analyse statistique
z régression linéaire et logistique
z réseaux baysiens
z analyse de composantes
‹Découverte de modèles fonctionnels
z fonctions probabilistes
z réseaux de neurones

Techniques de fouille 26  G. Gardarin

Classification
‹Groupage (Clustering)
distance
z K-moyennes
z Groupage hiérarchique

‹Segmentation
z arbres de décision
z réseaux d'agents

durée

27  G. Gardarin
 Règles associatives
‹La découverte de règles
z découverte de relations plus fines entre données
z du style si X alors Y
‹si Achat(Vin) alors Achat(Boursin) (10%, 15%)
‹si Achat(Pain) & Achat(Fromage) alors Achat(Vin) (70%, 80%)
‹Support : probabilité absolue P(XY)
z |XY|/ |BD| = % de transactions vérifiant la règle
‹Confiance : probabilité conditionnelle P(Y/X)
z |XY|/|X| = % de transactions vérifiant l'implication
‹Comment extraire les règles intéressantes ?
z exemple : Supp.> 0.1 et Conf.> 0.7
z comment optimiser les calculs d'indicateurs ?
Techniques de fouille 28  G. Gardarin
 Nombreux algorithmes
‹Réduire le nombre de passes (I/O)
‹Réduire le temps CPU
‹Nombreux algorithmes
z Apriori [Agrawal & Imielinski & Swami]
z Apriori-tid [Agrawal & Srikant]
z Partition[Savasete & Omseinski & Navatgr]
z Dynamic Counting [Brin & Ullman & Tsur]
z Bitmap [Gardarin & Pucheral & Fei]
z ...

Techniques de fouille 29  G. Gardarin

 Des règles plus générales
‹Les règles négatives et/ou disjonctives :
z Expr(Ci) => Expr(Cj) avec ET, OU, NOT
‹ Les règles multi-attributs :
z associent des valeurs d'attributs distincts
z téléphone : Source = "New-York" => Cible ="Paris"
‹Les règles à attributs variables :
z exemple Age ∈[x,y] => Salaire > 300 KF (5%,30%)
‹Les règles avec généralisation
z associée à une taxonomie
‹Les patterns séquentiels
z A puis B puis C

Techniques de fouille 30  G. Gardarin

 5. Conclusion
‹ De nombreuses techniques ‹ Questions ?
d'exploration
z La plupart ne passe pas à
l'échelle
‹ limitées à quelques milliers
d ’objets
‹ échantillonner puis valider
z Un bon outil propose plusieurs
techniques
‹ Les problèmes difficiles :
z Comment explorer de
volumineuses BD ?
z Maintenance incrémental des
règles ?
z Exploration de types de
données complexes ?

Conclusion DM 31  G. Gardarin
 Principaux produits
‹ SAS de SAS
z Statistiques, arbres de décision, réseaux de neurones, règles
‹ Intelligent Miner d'IBM
z Statistiques, arbres de décision, règles associative, textes
‹ SPSS et Clementine de SPSS
z classification, modèles fonctionnels (agents), statistiques
‹ Knowledge Seeker d'Angoss
z statistiques, classification, arbres de décision
‹ Oracle
z Rachat de Thinking Machines
‹ Microsoft OLE DB for Data Mining
z Arbres de décisions, règles associatives, etc.

Conclusion DM 32  G. Gardarin
 Caractéristiques d'outils (Jdnet)
L'offre intègre
DD/Marketer pour générer
les modèles prédictifs
Data Distilleries (segmentation), DD/Sire
DD Series pour déployer les
recommandations, et
DD/Expert pour construire
les scenarii.
DB2 Intelligent Miner est
l'outil de data mining
utilisé dans DecisionEdge
for Relationship Marketing
(voir tableau 1), mais IBM
en propose de plus ciblés.
IBM Un cas intéressant est
DB2 Intelligent Miner celui de Internet Sales
Predictor, une applet Java
téléchargeable
gratuitement sur le site
IBM consacré aux
développeurs.
La position de KXen est
particulière. Son objectif
est de fournir des
algorithmes avancés qui se
basent sur les théories
KXen récentes du chercheur
Composants KXEN russe Vapnik, par
intégrables opposition à la méthode
Fischer du début du siècle,
répandue dans la plupart
des autres solutions.
Bénéfice: résultat rapide et
pertinent.
http://solutions.journaldunet.com/0110/011025_crm_tableau2.shtml
CRM Front-office: Siebel,
AIMS, Broadvision (eCRM).
L'intégration est déjà
programmée avec Siebel
7.0.
Comme son nom l'indique,
ne fonctionne que sur une
base de données IBM DB2,
mais dans de nombreux
environnements (AIX,
OS/390-400, Solaris,
Windows 2000 et NT...). Cet
outil et ses déclinaisons sont
en fait des extensions à la
base de données qui en est
le point central.
Intégration de composants
en OEM dans Business
Objects, Profile4You (eCRM),
Norkom et Coheris/ISO
(CRM). Travaux avec
Kana/Broadbase. Selon
KXen, une intégration totale
des composants dans un
environnement donné prend
2 ou 3 semaines maximum.
Composants programmés en
C++, DCom, Corba, Java.
Echanges: ODBC ou texte
pur.
Pour les commentaires, se
reporter à IBM deux cases
Oracle au dessus. Oracle 9i Data
9i Data Mining Mining est intégré à Oracle
Customer Intelligence
(tableau 1).
SAS est l'éditeur de
référence dans le domaine
du data mining. e-
Discovery est la solution
SAS de modélisation prédictive
e-Discovery phare de SAS dans le
domaine du CRM multi-
canaux. Utilisateurs avertis
pour besoins pointus en
règle générale.
SPSS est considéré comme
le leader sur le segment
des outils statistiques
(pour des experts).
Clementine est sa plate-
forme de data mining.
SPSS 14 méthodes différentes
Clementine de modélisation prédictive
sont compilées (d'autres
éditeurs fournissent aussi
plusieurs algorithmes).
Rachat récent de
NetGenesis (eCRM/Web
mining).
33
Tout comme IBM, il s'agit
d'une extension à la base de
données Oracle 9i, et non
d'un produit surajouté
réclamant une intégration à
travers une API Java ou
C++.
SAS livre sa propre plate-
forme Integration
Technology pour
l'inteconnexion au back-
office et aux solutions
tierces. Comme toujours, il
faut être capable de
programmer en SAS. La
dernière version fournit un
pont vers les serveurs
WebDAV et le middleware
Tibco/RendezVous.
Principal partenaire: Siebel,
qui dispose d'une
participation dans le capital
de SPSS.
Autre CRM: Chordiant à
travers Prime Response.
Entrepôts de données:
Oracle, Hyperion, Informix
Red Brick Warehouse
(datamart).
ETL: Ascential.
 G. Gardarin
Le marché du BI
BI= Business Intelligence

Data PRO Users Survey

34  G. Gardarin
 Les Data Trucs
‹Datawarehouse
z entrepôt des données historisées de l'entreprise
‹Datamart
z magasin de données ciblé sur un ou plusieurs sujets
‹Datamining
z exploration des données afin de découvrir des
connaissances
‹Datacube
z cube de présentation d'unités selon 3 dimensions
‹Datawebhouse
z entrepôt des données collectées sur le web

Conclusion DM 35  G. Gardarin