Académique Documents
Professionnel Documents
Culture Documents
Conception Datawarehouse
Conception Datawarehouse
Date de publication :
Dernire mise jour :
Conception d'un entrept de donnes (Data Warehouse) par Yazid Grim (Business Intelligen(ce))
I - Introduction
II - Concepts fondamentaux
II-A - Entrept de donnes (Data Warehouse)
II-B - Data Mart, ou magasin de donnes
II-C - Dimension
II-D - Fait
II-E - ETL, ou ETC pour les francophiles
II-F - toile
II-G - Flocon
III - Modlisation en toile, un cas
III-A - Le cas
III-B - L'analyse
III-C - La solution
IV - Modlisation en flocon, un cas
V - Conception d'entrepts de donnes
V-A - Constellation
V-B - Construire un entrept de donnes, un vrai !
VI - Critique des mthodes de conception d'entrepts
VI - Conclusion
VIII - Remerciements
-2Ce document est issu de http://www.developpez.com et reste la proprit exclusive de son auteur. La copie, modification et/ou distribution par
quelque moyen que ce soit est soumise l'obtention pralable de l'autorisation de l'auteur.
http://grim.developpez.com/cours/businessintelligence/concepts/conception-datawarehouse/
Conception d'un entrept de donnes (Data Warehouse) par Yazid Grim (Business Intelligen(ce))
I - Introduction
Nous avons vu dans mes articles prcdents ce qu'tait le BI, ce que comprenait un environnement dcisionnel et
qu'il avait comme concept central l'entrept de donnes ou le Data Warehouse.
Intressons nous maintenant comment concevoir un entrept de donnes.
Quelle structure permet-elle d'avoir les fonctionnalits requises pour un entrept de donnes ?
Ce mini cours commencera par introduire (ou rintroduire) les concepts fondamentaux de l'informatique dcisionnelle
(ncessaires pour la comprhension de cet article), continuera par l'explication des mthodes de conception
d'entrept de donnes via une tude de cas, et terminera par une critique de ces techniques et une conclusion
mentionnant les indicateurs d'une bonne conception d'entrept.
-3Ce document est issu de http://www.developpez.com et reste la proprit exclusive de son auteur. La copie, modification et/ou distribution par
quelque moyen que ce soit est soumise l'obtention pralable de l'autorisation de l'auteur.
http://grim.developpez.com/cours/businessintelligence/concepts/conception-datawarehouse/
Conception d'un entrept de donnes (Data Warehouse) par Yazid Grim (Business Intelligen(ce))
II - Concepts fondamentaux
II-A - Entrept de donnes (Data Warehouse)
J'estime en avoir assez parl ici et ici : mais un peu de rptition ne fait pas de mal !!!
Un entrept de donnes, ou data Warehouse, est une vision centralise et universelle de toutes les informations de
l'entreprise. C'est une structure (comme une base de donnes) qui pour but, contrairement aux bases de donnes,
de regrouper les donnes de l'entreprise pour des fins analytiques et pour aider la dcision stratgique. La dcision
stratgique tant une action entreprise par les dcideurs de l'entreprise et qui vise amliorer, quantitativement ou
qualitativement, la performance de l'entreprise. En gros, c'est un gigantesque tas d'informations pures, organises,
historises et provenant de plusieurs sources de donnes, servant aux analyses et l'aide la dcision. L'entrept
de donnes est l'lment central de l'informatique dcisionnelle l'heure o j'cris ce tutorial. En effet, l'entrept
de donnes est le meilleur moyen que les professionnels ont trouv pour modliser de l'information pour des fins
d'analyse, et il ne serait pas tonnant que d'ici quelques annes un nouveau concept apparaisse pour rvolutionner
l'informatique dcisionnelle# Mais intressons nous ce qui existe pour l'instant#
II-C - Dimension
Lorsqu'on fait un schma de BD pour un systme d'information classique, on parle en termes de tables et de relations,
une table tant une reprsentation d'une entit et une relation une technique pour lier ces entits. Et bien en BI, on
parle en termes de Dimension et de Faits. C'est une autre approche des donnes, on entend par dimensions les
axes avec lesquels on veut faire l'analyse. Il peut y avoir une dimension client, une dimension produit, une dimension
gographie (pour faire des analyses par secteur gographique), etc.
Une dimension est tout ce qu'on utilisera pour faire nos analyses.
II-D - Fait
Les faits, en complment aux dimensions, sont ce sur quoi va porter l'analyse. Ce sont des tables qui contiennent des
informations oprationnelles et qui relatent la vie de l'entreprise. On aura des tables de faits pour les ventes (chiffre
d'affaire net, quantits et montants commands, quantits factures, quantits retournes, volumes des ventes, etc.)
par exemple ou sur les stocks (nombre d'exemplaires d'un produit en stock, niveau de remplissage du stock, taux
de roulement d'une zone, etc.), ou peut tre sur les ressources humaines (performances des employs, nombre de
demandes de congs, nombre de dmissions, taux de roulement des employs, etc.).
Un fait est tout ce qu'on voudra analyser.
-4Ce document est issu de http://www.developpez.com et reste la proprit exclusive de son auteur. La copie, modification et/ou distribution par
quelque moyen que ce soit est soumise l'obtention pralable de l'autorisation de l'auteur.
http://grim.developpez.com/cours/businessintelligence/concepts/conception-datawarehouse/
Conception d'un entrept de donnes (Data Warehouse) par Yazid Grim (Business Intelligen(ce))
L'ETL, dont j'ai expliqu les fondements dans cet article, sert transposer le modle entit-relation des bases de
donnes de production ainsi que les autres modles utiliss dans les oprations de l'entreprise, en modle base
de dimensions et de faits (nous verrons ces modles dans les deux prochaines dfinitions).
II-F - toile
Une toile est une faon de mettre en relation les dimensions et les faits dans un entrept de donnes. Nous le
verrons plus tard, mais le principe est que les dimensions sont directement relies un fait (schmatiquement, a
fait comme une toile).
II-G - Flocon
Un autre modle de mise en relation des dimensions et des faits dans un entrept de donnes. Le principe tant qu'il
peut exister des hirarchies de dimensions et qu'elles sont relies au faits, a fait comme un flocon :)
Note : les flocons et les toiles peuvent tre vus comme une manire de diviser les
entrepts de donnes et les magasins de donnes. On peut les voir comme l'atome de
l'informatique dcisionnelle : le plus petit lment avec lequel ont peut faire des analyses
et avec lequel ont peut faire des magasins de donnes qui, mis ensemble, forment un
entrept de donnes.
-5Ce document est issu de http://www.developpez.com et reste la proprit exclusive de son auteur. La copie, modification et/ou distribution par
quelque moyen que ce soit est soumise l'obtention pralable de l'autorisation de l'auteur.
http://grim.developpez.com/cours/businessintelligence/concepts/conception-datawarehouse/
Conception d'un entrept de donnes (Data Warehouse) par Yazid Grim (Business Intelligen(ce))
III-A - Le cas
On vous demande de crer un data Mart (une toile) pour l'analyse de l'activit des reprsentants d'une entreprise de
vente d'imprimantes. Le chef d'entreprise veut savoir ce qui se passe pour ses vendeurs. Les employs font ils leur
travail, quelle est la zone de couverture des vendeurs, ou sont les endroits o les vendeurs sont le moins efficaces,
quelle est la moyenne de ventes des reprsentants, etc., etc. L'entreprise possde un systme de gestion de
ressources humaines, un systme de gestion des ventes et des feuilles de routes avec des informations concernant
les vendeurs : kilomtres parcourus, litres d'essence utilise, frais de voyage, ventes, promesses de ventes, etc.
III-B - L'analyse
Note : cette mthode m'a t apprise l'universit Sherbrooke par Monsieur R. Laurin.
Notre objectif est d'analyser l'activit des reprsentants. Il semble que nous ayons toutes les informations pour ce
faire... Mais dans diffrents systmes.
Commenons l'analyse :
Le but du jeu est de dceler les axes d'analyses (les dimensions) avec leurs attributs ainsi que les lments analyser
(les faits). La meilleur faon de ce faire, selon moi, est l'tude approfondie de ce qui se passe dans l'entreprise :
documents changs, rapports priodiques, interviews des personnes cls, tude des besoins. Il faut vraiment faire
un travail d'acteur, et rentrer dans la peau de chaque utilisateur, savoir comment les analystes organisent leurs
raisonnements, savoir ce que voient les dcideurs avant de dcider, connatre les indicateurs de bonne sant de
l'entreprise et de la concurrence. Un vrai travail de fourmi et des heures de plaisir :)
Les techniques d'acquisition d'information et d'analyse des besoins tant un sujet eux seuls, je passerais la main
pour ce point # Nous supposeront que tout a t fait selon les rgles de l'art et nous nous contenterons de compiler :)
Une manire trs pratique de modliser un cas en BI se fait comme suit :
Date
Annes
Mois
Jours
Heures
Analyse : consommation
d'essence,
Qte
commande,
Qte prcommande,
kilomtrage,
Vendeur
Nom
Prnom
Salaire
Produit
Catgorie
Type
Groupe
Zone
Client
gographique
Pays
Nom
Province
Adresse
Ville
Pays
-6Ce document est issu de http://www.developpez.com et reste la proprit exclusive de son auteur. La copie, modification et/ou distribution par
quelque moyen que ce soit est soumise l'obtention pralable de l'autorisation de l'auteur.
http://grim.developpez.com/cours/businessintelligence/concepts/conception-datawarehouse/
Conception d'un entrept de donnes (Data Warehouse) par Yazid Grim (Business Intelligen(ce))
nombre de
visites, etc.
Explications : le tableau suivant a t rempli pendant la phase d'analyse, en posant des questions aux dcideurs
du type :
Jusqu' quel niveau de dtail voulez vous aller (les cellules l'intrieur) ?
Remarque : L'axe du temps (dimension Temps) est toujours prsent dans un entrept de
donnes, c'est le type d'analyse le plus commun et le plus frquent en entreprise.
La structure d'un entrept tant plus rigide que les systmes conventionnels (se basent sur des ETL, des validations
cres par l'homme, etc.), il est capital d'avoir une analyse des besoins exhaustive et conforme aux attentes des
dcideurs.
Il faut savoir :
Vous pouvez penser que c'est de la paranoa (comme certains clients) et croire que tous ces problmes n'apparatront
pas forcment. Mais rappelez vous qu'un entrept a cote trs cher, et qu'un entrept avec des donnes
incompltes, invalides ou non-conformes la demande est tout simplement mettre la poubelle#
III-C - La solution
La modlisation en toile dcoule naturellement du tableau ci-dessus, il en rsulte le schma suivant :
-7Ce document est issu de http://www.developpez.com et reste la proprit exclusive de son auteur. La copie, modification et/ou distribution par
quelque moyen que ce soit est soumise l'obtention pralable de l'autorisation de l'auteur.
http://grim.developpez.com/cours/businessintelligence/concepts/conception-datawarehouse/
Conception d'un entrept de donnes (Data Warehouse) par Yazid Grim (Business Intelligen(ce))
Schma en toile
Vous comprenez maintenant pourquoi on appelle ce schma " modle en toile ".
Toutes les dimensions sont directement relies la table de faits, qui contient les donnes analyser. Plusieurs
remarques sont faire pour ce schma :
La table de fait contient se qu'on appelle des " mesures ", des champs (numriques pour la plupart) sur
lesquels on va faire nos analyses, on peut y trouver le montant des ventes nettes, les quantits vendues, les
kilomtres parcourus, les quantits en pr commande, etc. La table de faits est relie aux dimensions par des
relation (1, n). Pour analyser une ligne de fait par client par exemple, il faut qu'il y ait une relation entre cette
ligne et la dimension client.
Les tables de dimension contiennent les lments qu'utiliseront les dcideurs pour voir la table de faits. Les
utilisateurs pourront ainsi apprcier les montant des ventes par vendeur, par client, ou le kilomtrage pour un
vendeur pour un client donne (pour voir si ce client est rentable), calculer le cot de revient d'un produit par
rapport aux activits des vendeurs, etc.
On n'utilise JAMAIS la cl d'un systme de production comme cl de dimension : pour prserver l'historique
des modifications dans l'entrept de donnes (voir l'article sur la gestion de l'historique dans un entrept
de donnes).
La granularit des tables de dimensions et de faits doit tre la mme : imaginez que la table de faits regroupe
les informations par heures et que la table de dimension du temps gre les minutes, il ne sera pas possible
de lier la dimension temps et la table de faits (multi dtermination).
Chaque ligne de la table de faits doit avoir une relation avec chacune des tables de dimensions : dans le cas
contraire, on aurait perte d'information ou analyse errone.
Il n'existe de relations qu'entre les dimensions et les tables de faits. Il sera beaucoup trop compliqu de grer
et d'utiliser des dimensions lies entre elles. N'oubliez pas que le schma doit tre assimilable par des non
informaticiens pour pouvoir l'exploiter. N'ayons pas peur de crer des doublons !
-8Ce document est issu de http://www.developpez.com et reste la proprit exclusive de son auteur. La copie, modification et/ou distribution par
quelque moyen que ce soit est soumise l'obtention pralable de l'autorisation de l'auteur.
http://grim.developpez.com/cours/businessintelligence/concepts/conception-datawarehouse/
Conception d'un entrept de donnes (Data Warehouse) par Yazid Grim (Business Intelligen(ce))
-9Ce document est issu de http://www.developpez.com et reste la proprit exclusive de son auteur. La copie, modification et/ou distribution par
quelque moyen que ce soit est soumise l'obtention pralable de l'autorisation de l'auteur.
http://grim.developpez.com/cours/businessintelligence/concepts/conception-datawarehouse/
Conception d'un entrept de donnes (Data Warehouse) par Yazid Grim (Business Intelligen(ce))
Modlisation en flocon
Conseil : ne " floconisez " pas tort et travers. En effet, pour garder une structure simple, grable et comprhensible,
utilisez le plus possible la modlisation en toile. La modlisation en flocon n'intervenant que lorsque des problmes
de performances apparaissent ou sont facilement prdictibles.
Une rgle informelle en BI prconise de floconner que si l'on a la relation (1-1000). C'est--dire que si l'on russit
crer une hirarchie de deux dimensions avec une ligne de la dimension pre (groupe produit par exemple) faisant
rfrence plus de 1000 lignes de la dimension fille (produit par exemple). Dans ce cas, il est peut tre temps de
penser aux flocons.
Note : cette rgle ft mise en prenant en considration les technologies logicielles
et matrielles actuelles. Il ne serait pas tonnant, mon sens, de voir disparatre la
modlisation en flocon avec les avances technologiques (rapidit des disques durs,
technologies OLAP, etc.)
- 10 Ce document est issu de http://www.developpez.com et reste la proprit exclusive de son auteur. La copie, modification et/ou distribution par
quelque moyen que ce soit est soumise l'obtention pralable de l'autorisation de l'auteur.
http://grim.developpez.com/cours/businessintelligence/concepts/conception-datawarehouse/
Conception d'un entrept de donnes (Data Warehouse) par Yazid Grim (Business Intelligen(ce))
V-A - Constellation
Vous remarquez que tous ces termes sont emprunts l'astronomie et la mto : toile, flocon, constellation.
Hubert Reeves n'a qu' bien se tenir :)
Une constellation est une srie d'toiles (tu m'tonnes !) ou de flocons relies entre eux par des dimensions. Il s'agit
donc d'toiles avec des dimensions en commun. Un environnement dcisionnel idal serait une place ou il serait
possible de naviguer d'toile en toile, de constellation en constellation et de Data Mart en DataMart la recherche
de l'information si prcieuse.
Un des indicateurs cls d'une bonne conception d'entrept est la grosseur des constellations. En effet, plus la
constellation est grosse, plus cela veut dire que vous avez rutilis vos dimensions, et qui dit rutilisation de
dimension, dit dimensions compltes, centralises et avec une vue oriente entreprise.
Je m'explique :
En conception d'entrept, il ne faut pas se casser la tte, ds qu'une dimension existante ne correspond pas
parfaitement aux besoins d'une nouvelle toile, on en cre une autre, mme si elle est " presque " comme la dimension
que nous allions utiliser. C'est pour cela qu'il faut crer, autant que possible, des dimensions gnriques et qui soient
vraies tout le temps, pour toutes les fonctions de l'entreprise. Ces dimensions pourront tre rutilises et assurer
une prennit des donnes. Et si de telles dimensions ne peuvent pas tre cres, il ne faut pas avoir de remords
crer des dimensions similaires mais adaptes aux besoins de la nouvelle toile. Mais si vous voyez que dans
chaque toile vous tes obligs de crer une nouvelle dimension " client " par exemple, posez vous des questions
sur votre conception.
Top-Down : c'est la mthode la plus lourde, la plus contraignante et la plus complte en mme temps.
Elle consiste en la conception de tout l'entrept (ie : toutes les toiles), puis en la ralisation de ce dernier.
Imaginez le travail qu'une telle mthode implique : savoir l'avance toutes les dimension et tous les faits de
- 11 Ce document est issu de http://www.developpez.com et reste la proprit exclusive de son auteur. La copie, modification et/ou distribution par
quelque moyen que ce soit est soumise l'obtention pralable de l'autorisation de l'auteur.
http://grim.developpez.com/cours/businessintelligence/concepts/conception-datawarehouse/
Conception d'un entrept de donnes (Data Warehouse) par Yazid Grim (Business Intelligen(ce))
l'entreprise, puis raliser tout a# Le seul avantage que cette mthode comporte est qu'elle offre une vision
trs claire et trs conceptuelle des donnes de l'entreprise ainsi que du travail faire.
Bottom-Up : c'est l'approche inverse, elle consiste crer les toiles une par une, puis les regrouper par
des niveaux intermdiaires jusqu' obtention d'un vritable entrept pyramidal avec une vision d'entreprise.
L'avantage de cette mthode est qu'elle est simple raliser (une toile la fois), l'inconvnient est le volume
de travail d'intgration pour obtenir un entrept de donnes ainsi que la possibilit de redondances entre les
toiles (car elles sont faites indpendamment les unes des autres).
Middle-Out : c'est l'approche hybride, et conseille par les professionnels du BI. Elle consiste en la
conception totale de l'entrept de donnes (ie : concevoir toutes dimensions, tous les faits, toutes les
relations), puis crer des divisions plus petites et plus grables et les mettre en #uvre. Cela quivaut
dcouper notre conception par lments en commun et raliser les dcoupages un par un. Cette mthode
tire le meilleur des deux prcdentes sans avoir les contraintes. Il faut juste noter que cette mthode
implique, parfois, des compromis de dcoupage (dupliquer des dimensions identiques pour des besoins
pratiques).
- 12 Ce document est issu de http://www.developpez.com et reste la proprit exclusive de son auteur. La copie, modification et/ou distribution par
quelque moyen que ce soit est soumise l'obtention pralable de l'autorisation de l'auteur.
http://grim.developpez.com/cours/businessintelligence/concepts/conception-datawarehouse/
Conception d'un entrept de donnes (Data Warehouse) par Yazid Grim (Business Intelligen(ce))
- 13 Ce document est issu de http://www.developpez.com et reste la proprit exclusive de son auteur. La copie, modification et/ou distribution par
quelque moyen que ce soit est soumise l'obtention pralable de l'autorisation de l'auteur.
http://grim.developpez.com/cours/businessintelligence/concepts/conception-datawarehouse/
Conception d'un entrept de donnes (Data Warehouse) par Yazid Grim (Business Intelligen(ce))
VI - Conclusion
Je citerais, en conclusion, les lments qui vous feront dduire que votre conception est bonne :
Que votre entrept de donnes permettra de faire toutes les oprations analytiques et donnera aux dcideurs
des moyens chiffrs pour valuer les faits voulus.
Que vos dimensions seront orientes entreprise et pas fonction, avoir le plus possible des dimensions
gnriques et rutilisables.
Pas trop de flocons dans votre entrept, si c'est le cas, pensez plutt changer de serveur ou de moteur de
stockage. C'est plus une technique d'optimisation que de conception.
Avoir des noms d'attributs et de tables comprhensibles par les utilisateurs.
Documenter, documenter, documenter. N'oubliez pas qu'un entrept non document est un entrept qu'on ne
peut pas faire voluer, comprendre ou modifier. Gare la rtention d'information !!
N'oubliez pas, pendant votre phase d'analyse, de lister les outputs et les questionnements des analystes et
dcideurs de votre entreprise. Ceux-ci serviront de fil conducteur tout au long de votre projet.
- 14 Ce document est issu de http://www.developpez.com et reste la proprit exclusive de son auteur. La copie, modification et/ou distribution par
quelque moyen que ce soit est soumise l'obtention pralable de l'autorisation de l'auteur.
http://grim.developpez.com/cours/businessintelligence/concepts/conception-datawarehouse/
Conception d'un entrept de donnes (Data Warehouse) par Yazid Grim (Business Intelligen(ce))
VIII - Remerciements
Encore un grand merci toute l'quipe de dveloppez.com pour leurs soutien et leurs conseils aviss qui ont
contribus l'aboutissement de ce document. Mention spciale pour l'quipe de corrcteurs, Olsimare et Adrien
Artero ;)
- 15 Ce document est issu de http://www.developpez.com et reste la proprit exclusive de son auteur. La copie, modification et/ou distribution par
quelque moyen que ce soit est soumise l'obtention pralable de l'autorisation de l'auteur.
http://grim.developpez.com/cours/businessintelligence/concepts/conception-datawarehouse/
Conception d'un entrept de donnes (Data Warehouse) par Yazid Grim (Business Intelligen(ce))
- 16 Ce document est issu de http://www.developpez.com et reste la proprit exclusive de son auteur. La copie, modification et/ou distribution par
quelque moyen que ce soit est soumise l'obtention pralable de l'autorisation de l'auteur.
http://grim.developpez.com/cours/businessintelligence/concepts/conception-datawarehouse/