Rapport du Projet de Fin dAnne

Ralis par : Ayoub MANAR Omar OUKILI

Mise en place dune base de donnes dcisionelle pour des actions tlspectateurs

Encadr par : Mr ABOUABDELLAH

Anne Universitaire : 2009 - 2010

Remerciements

En prambule ce mmoire, Nous souhaitons adresser ici nos remerciements toutes les personnes qui nous ont apport leur soutien et leur aide et qui ont ainsi contribu llaboration de ce mmoire. Nos remerciements les plus sincres sont adresss notre encadrant Mr ABOUABDELLAH pour le soutien, laide et le temps quil a bien voulu nous consacrer et sans qui ce mmoire naurait jamais vu le jour. Nos remerciements sadressent galement nos professeurs, ainsi qu tous ceux qui nous ont fait lhonneur de bien vouloir valuer mon travail. Nous exprimons notre gratitude nos parents, et notre famille qui nous ont toujours soutenue et encourag tout au long de nos tudes. Enfin, nous adressons nos plus sincres remerciements tous nos amis qui ont rendu ce travail possible par leurs conseils, remarques et encouragements.

Rsum

Dans le cadre des projets de fin dannes organis par lEcole Marocaine des Sciences de lingnieur, on nous a charg de la conception et la ralisation de la partie dcisionnelle du module tlvision de loprateur BreeFox qui est destine aux manager de la socit. Durant toutes les sances dencadrement et les heures de travail chez nous, on avait pour mission dans une premire tape dtudier la Business Intelligence ou en franais linformatique dcisionnelle, qui est une solution qui permet d'utiliser les donnes transitant par le Systme d'information en informations susceptibles, d'tre exploites des fins dcisionnelles. La deuxime tape consistait en lanalyse du cahier de charge et des indicateurs qui seront utilis pour gnrer un Schma dcisionnelle, et plus prcisment les informations des Foyer, des chaines, des actions et des missions, qui constituent les axes principaux du module tlvision de loprateur BreeFox. Aprs cette analyse et conception du systme, on a abouti une base de production. La troisime tape consiste la gnration du cube, et la fin la mise en place de la solution retenue pour llaboration des tableaux de bord.

A b s t ra c t
As part of year-end projects hosted by the School of Moroccan Engineering Sciences, we were responsible for designing and implementing the party's decision-making module BreeFox television operator that is intended to manager Society.

Throughout the coaching sessions and hours of work with us, it was charged in a first step to study the French business intelligence or business intelligence, which is a solution which allows to use the data passing through System information into information that, to be used for decision making purposes.

The second phase involved the analysis of the specifications and indicators that will be used to generate a decision diagram, specifically information from Foyer, chains, stocks and emissions, which are the main components of the module Television BreeFox operator. Following this analysis and system design, it has led to a production base.

The third step is to generate the cube, and eventually to the establishment of the solution for the development of dashboards

Liste des Figures

Figure 1 : Organisation dun systme dcisionnel.............................................................................. 15 Figure 2 : Diagramme des uses cases ................................................................................................ 20 Figure 3 : Diagramme de classes ....................................................................................................... 22 Figure 4 : Cube................................................................................................................................. 24 Figure 5 : Exemple de rapport 1 ....................................................................................................... 25 Figure 6 : Exemple de rapport 2 ....................................................................................................... 26 Figure 7 : Exemple rapport 3............................................................................................................ 26 Figure 8 : Exemple de graphe 1 ........................................................................................................ 27 Figure 9 : Exemple de graphe 2 ........................................................................................................ 28

Liste des Abrviations

BI ETL OLAP OLTP DM UML RG

Business Intelligence

Extract Transform Loading

Online Analytical Processing Online Transaction Processing datamart Unified Modeling Language Rgle de gestion

Table des Matres

Remerciements ....................................................................................................................................... 3 Rsum .................................................................................................................................................... 4 Abstract ................................................................................................................................................... 6 Liste des Figures ...................................................................................................................................... 7 Liste des Abrviations ............................................................................................................................. 8 Table des Matires .................................................................................................................................. 9 Introduction Gnrale ........................................................................................................................... 11 Chapitre I Prsentation gnrale........................................................................................................ 12 I. II. Contexte gnral du projet ............................................................................................... 12 Objectifs du projet ............................................................................................................. 12

Chapitre II Conception technique ....................................................................................................... 14 I. II. Systme dcisionnel .......................................................................................................... 14 ETL ..................................................................................................................................... 16 II.1. II.2. III. Dfinition dun ETL .................................................................................................... 16 Les fonctionnalits dun ETL ...................................................................................... 16

Entrept de donnes ......................................................................................................... 17 Analyse des types dutilisation des entrepts de donnes ....................................... 17

III.1. IV.

Reporting ........................................................................................................................... 17 Dfinition du Reporting ............................................................................................. 17 Modes de restitution ................................................................................................. 17

IV.1. IV.2. V. VI.

Analyse des donnes : Cube OLAP .................................................................................... 18 Solution adopte ............................................................................................................... 18

Chapitre III Conception ....................................................................................................................... 19 I. I.1. I.2. Base de production............................................................................................................ 19 Base de production........................................................................................................ 19 Dtermination des faits ................................................................................................. 22

I.3.

Modlisation de lentrept :.......................................................................................... 23

Chapitre IV Ralisation ....................................................................................................................... 25 Conclusion Gnrale ............................................................................................................................. 29 Bibliographie / Webographie ................................................................................................................ 30

10

Introduction Gnrale
L'informatique ne cesse de s'innover, rendant ainsi la prvision et le recueil du "feed back" du "business" choses aises. Actuellement, et grce aux outils de la Business Intelligence [BI], on peut facilement et automatiquement crer des processus adapts la structure traite, qui pourront en plus de faciliter la vie aux grants, rendre la collecte des feed back et l'amlioration des services une tche systmatique. Dans notre cas, loprateur BreeFox cherche amliorer le rendement de ses services et sa position dans le march. Le Reporting relatif toutes ses activits savre ncessaire. En fait, les outils daide la dcision proposs doivent rpondre trois critres : Le premier sagit de collecter, nettoyer et consolider les diffrentes donnes de lentreprise ; quant au deuxime, il assure le stockage de ses donnes et finalement le troisime exploite la richesse informationnelle que les donnes reclent. Cette exploitation passe par des analyses, permettant la prise des dcisions adquates pour la correction et lamlioration des situations. Lobjectif de notre projet fut donc de raliser un Datawarehouse qui permettra davoir une visibilit sur les donnes vitales et sur les indicateurs mis en point pour aider le manager de BreeFox dans sa prise de dcision. Le prsent rapport constitue une synthse des travaux raliss pour atteindre les objectifs prcits. Ses diffrents chapitres retracent les tapes de ralisation de notre projet. Il est organis en quatre chapitres : Le premier porte sur une description gnrale du projet. Le deuxime est consacr la modlisation des spcifications fonctionnelles gnrales de lapplication. Le troisime prsente les outils techniques utiliss. Et enfin le dernier chapitre dcrit les dtails de la solution dveloppe.

11

Chapitre I Prsentation gnrale

I. Contexte gnral du projet
L'oprateur BreeFox propose ses abonns un boitier routeur ADSL qui groupe un accs IP, le tlphone et un bouquet de chanes de tlvision interactives. Nous ne nous intresserons qu' cette dernire fonction dans notre entrept de donnes. Les chanes de tlvision proposes par BreeFox dans son bouquet sont des chanes nationales et des chanes page. Seulement, les interruptions publicitaires (des chanes nationales et page) peuvent tre personnalises en fonction du profil du foyer (ou des adultes du foyer quand le contrle parental est dverrouill). Le tlspectateur peut ragir (interactivement) de plusieurs manires aux missions et aux publicits qu'il reoit au moyen de sa tlcommande (ie Zapette): A tout moment, il peut zapper vers une autre chane A tout moment, il peut teindre son poste Pendant une publicit, il peut zapper la pub suivante sans attendre la fin de la publicit en cours (la dure de visualisation est importante). Pendant une publicit, il peut demander plus d'information sur le produit prsent (la dure de visualisation est importante) puis revenir l'mission en cours.

II.

Objectifs du projet
Le projet propos sinscrit dans la catgorie de ces nouveaux systmes daide la

dcision.

12

Il sagit de crer un entrept de donnes centr sur les actions du tlspectateur. L'objectif de cet entrept est de profiler au plus prcis le foyer (ou plutt le tlspectateur qui dtient la tlcommande) afin de maximiser la demande d'information sur les produits prsents par les publicits. En effet, l'oprateur peroit plus d'argent de la part de l'annonceur quand le spectateur demande plus d'information au moment ou l'annonce est passe. Le projet vise donc raliser : - Une base de donnes qui permet darriver cet entrept de donnes, - Mettre en place le cube de cet entrept de donnes, - Raliser un tableau de bord sur les tlspectateurs selon diffrents indicateurs : dure dmission, nombre dactions par date, nombre de chaines zappes et qui permet dimprimer les diffrents tats possible aidant le manager dans sa prise de dcision.

13

Chapitre II Conception
technique
I. Systme dcisionnel
Le dcisionnel est un ensemble de solutions informatiques permettant lanalyse des donnes de lentreprise, afin den dgager les informations qualitatives, quelles soient tactiques ou stratgiques ncessaires la prise de dcision. Les bases de donnes de production et Datawarhouse ont des objectifs diffrents. Ils stockent les donnes de manire diffrente et font lobjet de requtes diffrentes. Ils sont ainsi bass sur deus systmes diffrents : OLTP et OLAP. OLTP(On line Transaction Processing) est le modle utilis par les SGBD. Le mode de travail est transactionnel. Lobjectif est de pouvoir insrer, modifier et interroger rapidement et en scurit la base de donnes. Ces actions doivent pouvoir tre effectues trs rapidement par de nombreux utilisateurs simultanment. Chaque transaction travaille sur de faibles quantits dinformations, et toujours sur les versions les plus rcentes des donnes. Par contre les Datawarehouses reposent sur le systme OLAP(On Line Analytical Processing).Ce systme travaille en lecture seulement. Les programmes consultent dimportantes quantits de donnes pour procder des analyses des objectifs principaux sont de regrouper, organiser des informations provenant de sources diverses, les intgrer et les stocker pour donner lutilisateur une vue oriente mtier, retrouver et analyser linformation facilement et rapidement. Cela ncessite de consulter des versions historiques de la base et peut se permettre dignorer temporairement les dernires mises jour. Ces bases sont souvent dun ordre de grandeur nettement suprieur celle des bases OLTP, du fait de la conversation de lhistorique.

14

Il est important de sparer les bases de production du Datawarhouse. Pour des raisons de performance. Premirement car les systmes de production ne sont pas prvus pour rpondre efficacement aux requtes des systmes daide la dcision. De plus les systmes de production ne conservent pas leurs donnes, alors quun Datawahouse repose sur des donnes histories. Aussi un Datawarhouse repose sur des systmes de production diffrents dont les donnes ne sont pas ncessairement uniformises. -Les dmarches suivre : Pour laborer un projet dcisionnel il faut passer par les tapes suivantes reprsentes dans la figure suivante :

Figure 1 : Organisation dun systme dcisionnel

1. La collecte et le nettoyage des donnes via un ETL (Extract Transform Loading) Cest ltape qui va permettre lextraction des donnes des systmes de production, pour les prparer lalimentation des bases dcisionnelles. 2. Le stockage des donnes dans le systme dcisionnel (Data Warehouse, Data Marts) Permet de conserver les donnes, sous forme relationnelle ou le plus souvent multidimensionnelle, prtes tre inclues dans des rapports.

15

3.La restitution et lanalyse des donnes sous la forme de rapports et de tableaux de bord.

II.
II.1.

ETL
Dfinition dun ETL
Tout Projet dcisionnel ou dintgration de donne se base sur limplmentation

des processus dETL qui consiste extraire des donnes depuis des sources divers pour ensuite effectuer des insertions ou des mises jour vers des cibles.

II.2. Les fonctionnalits dun ETL

Un processus dETL efficaces et fiables comprend de nombreux challenges: Les volumes de donnes sont en croissance exponentielle, et les processus dETL doivent traiter des quantits importantes de donnes granulaires (produits vendus, appels tlphoniques, transactions bancaires,) Alors que les systmes dinformation se complexifient, la varit des sources de donnes saccrot galement. Les processus dETL doivent disposer dune large palette de connecteurs des progiciels (ERP, CRM, etc.), des bases de donnes (Oracle, MySQL..), des mainframes, des fichiers (CSV, Excel), des Services Web etc. Les structures et applications dcisionnelles incluent des entrepts de donnes, des applications OLAP pour lanalyse etc. Toutes ces structures cibles prsentent des besoins diffrents en termes de transformation de donnes, ainsi que des latences diffrentes. Les transformations des processus dETL peuvent tre trs complexes. Les donnes doivent tre agrges, converties, calcules, traites statistiquement, etc. Certaines transformations spcifiques au dcisionnel sont aussi requises, comme les Dimensions Evolution Lente

16

III.

Entrept de donnes

III.1. Analyse des types dutilisation des entrepts de donnes

Nous avons gnralement trois types dutilisation dentrept de donnes : Lentrept de donnes en temps rel qui est devenu populaire ces dernires annes, principalement cause dun dsir croissant de disposer de linformation la plus rcente possible pour battre la concurrence. Lentrept de donnes traditionnel qui, comme son nom lindique, est le type dutilisation auquel on pense le plus souvent quand on parle dentrepts de donnes. Brassant de gros volumes de donnes, soumis des taux de rafrachissement peu frquents (qui ne sont pas dfinis en termes dheures, et parfois ne sont mme pas quotidiens) et desservant un public important et vari. Lentrept de donnes historiques est relativement nouveau et est apparu la suite de lois assez rcentes qui obligent de nombreuses entreprises conserver de grandes quantits dinformations la disposition du gouvernement ou pour rpondre dautres contraintes de conformit. Dans notre projet nous sommes amenez concevoir un entrept de donnes traditionnel avec des rafraichissements quotidiens ( partir de minuit) et nous sommes amen conserver ces donnes les trois derniers mois.

IV.

Reporting
IV.1. Dfinition du Reporting
Le terme restituer ou bien Reporting reprsente le moyen technique, applicatif qui permet la consommation d'information base directement sur les outils de production ou en aval d'une chane dcisionnelle.

IV.2. Modes de restitution

Il est commun de distinguer trois modes de restitution : Rapport statique : il s'agit d'un rapport dont la structure est fige tant en termes de prsentation que du primtre des donnes prsentes.

17

Rapport dynamique : il s'agit d'un rapport ayant une structure de prsentation semi statique au sein duquel le primtre des donnes peut varier. Cela en offrant l'utilisateur final la possibilit de choisir les valeurs de paramtres dynamiques intgrs dans le rapport. Rapport Ad hoc : il s'agit d'un rapport librement amnag par l'utilisateur final. Il amnage les donnes qui l'intressent dans une structure type tableau ou graphique en dfinissant le primtre de consultation de ses axes et indicateurs.

V.

Analyse des donnes : Cube OLAP

Lapproche OLAP (On-Line Analytical Processing) qui dsigne non seulement le concept de la structure de modlisation des donnes, mais galement la technologie danalyse de ces donnes. Notre modle dimensionnel permet l'analyse des mesures de la table de faits partir de plusieurs axes. Pour effectuer ces analyses on a opt a la cration des cube OLAP qui fournisse des rponses rapides des requtes interrogeant une grande quantit de donnes et de permettre une interaction en temps rel avec ces donnes.

VI.

Solution adopte
Nous avons conu utiliser SQL Server 2008 et Visual Studio vu qu ils fournissent un environnement unique regroupant plusieurs modules couvrant tous les besoins danalyses et daide la dcision depuis lintgration des donnes laide de son service dintgration et les outils ETL (Extraction, Transformation et Chargement de donne) quil utilise, suivi par le service danalyse qui permet entre autre de reprsenter les donnes de faon multidimensionnelle dans le but dacclrer les requtes lors de la gnration de rapport , jusquau le service de Reporting de SQL Server 2008 .

18

Chapitre III Conception

I.
I.1.

Base de production
Base de production
Le but de la conceptualisation est de comprendre et structurer les besoins du

client, il ne faut pas chercher l'exhaustivit, mais clarifier, filtrer et organiser les besoins. Une fois identifis et structurs, ces besoins :
o o

dfinissent le contour du systme modliser (ils prcisent le but atteindre), permettent d'identifier les fonctionnalits principales (critiques) du systme. Le modle conceptuel doit permettre une meilleure comprhension du systme, et

servir d'interface entre tous les acteurs du projet. Les besoins des clients sont des lments de traabilit dans un processus intgrant UML

I.1.1. Modle fonctionnel

il s'agit de la solution UML pour reprsenter le modle conceptuel. Les use cases permettent de structurer les besoins des utilisateurs et les objectifs correspondants d'un systme. La figure 1 reprsente le modle des use cases pour notre system :

19

Figure 2 : Diagramme des uses cases

I.1.2. Modle de donnes

Dictionnaire des donnes
N 1 2 3 4 5 6 7 8 9 10 Identificateur adresse catgorie dateNaissance dateCration dureAct dureRestante drapeauContParen dure dateDebutEmis email Description Adresse de lannonceur Categorie de l emission Date de naissance du pre du foyer La date de la creation de la chaine Dure de laction Dure restante de la pub Drapeau du contrle parental Dure de l mission Date du dbut de lmission Email de lannonceur Format string String Date Date Integer Integer Boolean Integer Date String

20

11 12 13 14 15 16 17 18 19 20 21 22 23 24

Montant numFoyer nomAbonn numCha nomCha numAction numAnno nomAnno numEmis numType nomAction Profession Telephone Ville

Montant a pay pour une chaine Numro du foyer Le nom de l abonn Numro de la chaine Nom de la chaine Numro daction Numro dannonceur Nom dannonceur Numro dmission Numro du type de laction Le nom de laction La profession de l abonn Tel de l abonn Ville de l abonn

Entier String String String String String String String String String String String String String

Rgle de gestion
RG1 : Les chanes de tlvision proposes par BreeFox dans son bouquet sont des des chanes page RG2 : Seulement, les interruptions publicitaires (des chanes nationales et page) chanes nationales et

peuvent tre personnalises en fonction du profil du foyer (ou des adultes du foyer quand le contrle parental est dverrouill). RG3 : Le tlspectateur peut ragir (interactivement) de plusieurs manires aux missions et aux publicits qu'il reoit au moyen de sa tlcommande RG4 : Le tlspectateur peut tout moment, zapper vers une autre chane RG5 : A tout moment, le tlspectateur peut teindre son poste RG6 : Pendant une publicit, il peut zapper la pub suivante sans attendre la fin de RG7 : Pendant une publicit, il peut demander plus d'information sur le produit

(ie Zapette)

la publicit en cours (la dure de visualisation est importante). prsent (la dure de visualisation est importante) puis revenir l'mission en cours.

21

 Diagramme de classes :
Un diagramme de classes est un diagramme UML reprsentant un ensemble d'lments dclaratifs (statics) du modle comme les classes, les types ainsi que leurs contenus et relations. Ce dernier (figure 3) a t tablit aprs une tude profonde de notre cahier de charges :

Figure 3 : Diagramme de classes

I.2. Dtermination des faits

La table de fait sur la quelle seffectue toutes les mesures est << T_Action>>.

22

Les dimensions
T_Emission, T_Chaine, T_publicit, T_Foyer, T_date, T_Annonceu et T_Typeaction.

Les indicateurs
Dure dmission par foyer/date Nombre de chaine par ville/date Nombre daction par ville/date Nombre de chaine par foyer/date Nombre de demande dinfo par date/foyer/chaine Nombre daction par foyer Nombre de chaines zappes par foyer/date/ville Nombre de publicits zappes par foyer/date/ville Nombre daction par foyer/ville

I.3.

Modlisation de lentrept :

Ce cube (Figure 4) prsente les diffrentes informations analyser qui sont stockes dans la table de faits T_Action . Ces informations sont appeles des mesures : Le nombre et le pourcentage des actions. Lanalyse est toujours faite selon un axe danalyse : Le foyer, les chaines zapps, les missions, les villes, les types dactions, les date des missions. Toutes les dimensions sont directement relies la table de faits, qui contient les donnes analyser : La table de faits est relie aux dimensions par des relations (1, n). Pour analyser une ligne de fait par Foyer par exemple, il faut qu'il y ait une relation entre cette ligne et la dimension T_Foyer. Chaque ligne de la table de fait une relation avec chacune des dimensions.

23

Figure 4 : Cube

24

Chapitre IV Ralisation
Les tats de sortie sont sous format de diagrammes, de graphes et de tableaux, le prsent chapitre fait lobjet de la description de quelques uns.

Figure 5 : Exemple de rapport 1

Cette fentre [figure 5] prsente un rapport synthtique des dures totales des actions effectues, filtr par Foyer , qui est compos dune hirarchie : Nom abonn, Date de naissance, Profession, Tlphone, Ville et le total calcul.

25

Figure 6 : Exemple de rapport 2

La [figure 6] prsente un rapport synthtique des dure totales des actions effectues filtr par ville et Foyer, compos dune hirarchie : Ville, Nom abonn, Date de naissance, Profession, Tlphone et la dure total calcul.

Figure 7 : Exemple rapport 3

La figure ci-dessus [figure 7] reprsente un rapport des actions effectues filtr par Foyer, qui est compos dune hirarchie : Nom abonn, Date de naissance, Profession,

26

Tlphone, ville et le nombre dactions calcules. En bas est mentionn le total de toutes les actions.

Figure 8 : Exemple de graphe 1

Ce graphe nous retourne le nombre de demandes dinformations par anne et par chaine. Dans notre cas nous avons 12 demandes pour la RTM en 2005, 4 en 2006 et 2 seulement en 2007.

27

Figure 9 : Exemple de graphe 2

Ci-avant, une prsentation graphique, du total des dures dactions filtres par foyer.

28

Conclusion Gnrale
A travers ce rapport, nous avons essay de prsenter les diffrentes tapes de
notre travail pour notre projet de fin danne. Un projet qui consistait tablir un module dcisionnel destin la gestion des actions des tlspectateurs pour la socit BreeFox.

Limplmentation des diffrentes phases de la chaine dcisionnelle constituant

larchitecture de lapplication, facilitent la ralisation du projet.

Le

projet ft une occasion dor pour, aussi bien mettre en pratique nos

connaissances acadmiques, que den acqurir, et de dvelopper de nouvelles notions informatiques complmentaires celles acquises au sein de lEcole Marocaine des Sciences de lIngnieur. On a du donc approfondi nos connaissances analyser les problmes et les besoins et les reformuler afin de pouvoir les modliser

Au terme de ce travail, nous pouvons dire que ce projet facilitera la prise de

dcision pour le garant de BreeFox, et permettra damliorer la qualit des services de la socit offerts ses clients.

29

Bibliographie / Webographie

Bibliographie
[KIMBALL, 2001] Ralph KIMBALL, EYROLLES, 2001 Concevoir et dployer un Data Warehouse,

Webographie
[SystemeETL.com] http://www.systemeetl.com/plan_projet.htm, Dcisionnel [Developpez.com, 2000] Guillaume ROSSOLONI, 2000, 2009, Disponible sur http://www.developpez.com, 20 Mai 2009 [INMON] http://www.commentcamarche.com, datawarehouse et datamarts

30