Académique Documents
Professionnel Documents
Culture Documents
Thème
A:
Je dédie ce travail.
HELLA
Table des matières
Introduction générale......................................................................................................1
Chapitre 1 : Contexte du projet.....................................................................................4
Introduction...............................................................................................................5
1. Organisme d’accueil..........................................................................................5
1.1 Histoire de la BNA......................................................................................5
1.2 Présentation de la banque « BNA ».............................................................6
1.3 Produit et services........................................................................................7
2. Description du cadre de travail..........................................................................8
3. Présentation du projet........................................................................................9
3.1 Problématique............................................................................................10
3.2 Objectifs....................................................................................................10
4. Méthodologie de travail...................................................................................11
4.1 Comparaison des methodologies de travail...............................................11
4.2 Choix de la méthodologie de travail..........................................................12
5. Planification du projet.....................................................................................15
Conclusion...............................................................................................................16
Chapitre 2 : Etat de l'art...............................................................................................17
Introduction.............................................................................................................18
1. La business intelligence au service de l’entreprise..........................................18
1.1. Modélisation.............................................................................................20
1.1.1 Les entrepôts de données au service de la BI.....................................20
1.1.2 Architecture du SID............................................................................21
1.1.3. L'ETL (extract transform load)..........................................................22
1.1.4 Datawarehouse (Entrepôt de données)...............................................23
1.1.5 Magasins de données (Datamarts)......................................................25
1.1.6 Modélisation multidimensionnelle.....................................................26
1.2 Analyse......................................................................................................28
1.2.1 OLAP (On-Line-Analytical-Processing)............................................28
1.3Visualisation...............................................................................................31
1.3.1 Le reporting........................................................................................31
1.3.2 Tableau de bord (Dashboard).............................................................31
1.3.3 Fouille de données (Datamining).......................................................32
Coclusion.................................................................................................................33
Chapitre 3 : Etude de l'existant et spécification de besoin..........................................34
Introduction.............................................................................................................35
1. Etude de l’existant...........................................................................................35
1.1 Description du système d'information de la BNA.....................................35
1.2 Critique de l’existant.................................................................................37
1.3 Solution proposée......................................................................................38
2. Spécification des besoins.................................................................................38
2.1 Identification des acteurs...........................................................................38
2.2. Branche fonctionnelle...............................................................................38
2.2.1 Les besoins fonctionnels.....................................................................38
2.2.2 Les besoins non fonctionnels..............................................................40
2.3 Branche technique.....................................................................................41
2.3.1Etude comparative des ETLs...............................................................41
2.3.2 Etude comparative des outils de restitution........................................42
2.3.3 Bilan des études comparatives............................................................43
Conclusion...............................................................................................................44
Chapitre 4 : Conception...............................................................................................45
Introduction.............................................................................................................46
1. Conception de l’entrepôt des données.............................................................46
1.1 Présentation de l’activité « l'octroi de crédit »..........................................46
1. 2 Choix des dimensions...............................................................................47
1.2.1 Dim_Crédit.........................................................................................48
1.2.2 Dim_garanties.....................................................................................49
1.2.3 Dim_date............................................................................................50
1.2.4 Dim_agence........................................................................................50
1.2.5 Dim_direction_decision.....................................................................51
1. 3 Choix des mesures....................................................................................51
1.4 Table de faits.............................................................................................52
1.5 Structure du Data warehouse.....................................................................53
2. Conception ETL..............................................................................................54
2.1 Etude des données sources........................................................................54
2.1.1 Bases de données sources...................................................................54
2.2 Extraction des données..............................................................................60
2.3 Transformation des données......................................................................61
2.4 Chargement des données :.........................................................................63
3. Conception du tableau de bord........................................................................64
Conclusion...............................................................................................................65
Introduction.............................................................................................................67
Chapitre 5 : Réalisation...............................................................................................66
1. Environnement matériel et logiciel.................................................................67
1.1 Environnement matériel............................................................................67
1.2 Environnement logiciel.............................................................................67
1.2.1 Oracle SQL Développer 12c..............................................................67
1.2.3 ETL : Talend Open Studio v 7.0.1....................................................68
1.2.4 Outil décisionnel QlikView...............................................................68
1.2.5 EarthViewMaps..................................................................................69
2. Architecture globale de l'application...............................................................70
3. Réalisation de la phase ETL............................................................................70
3.1 Composants Talend utilisés.......................................................................71
3.2 Préparation de l’environnement de l’ETL.................................................72
3.3 Alimentation de l’entrepôt.........................................................................73
3.3.1 Transformation des données...............................................................73
3.3.2 Alimentation des dimensions.............................................................78
3.3.3 Alimentation de la table de faits « Fait »............................................83
3.4 Processus ETL global : job « DataMart_Crédit ».....................................84
3.5 Mise à jour des données de l’entrepôt.......................................................85
4. Réalisation du tableau de bord........................................................................86
4.1. Connexion à l’entrepôt de données :........................................................87
4.2 Chargement des données dans QlikView..................................................88
4.3 Interfaces homme-machine.......................................................................89
4.3.1 Ecran d’accueil...................................................................................89
4.3.2 Ecran de la situation globale...............................................................90
4.3.3 Ecran de la feuille « crédit »...............................................................91
4.3.4 Ecran de la feuille « Les garantie »....................................................92
4.3.5 Ecran de la feuille « Temps ».............................................................93
Conclusion...............................................................................................................94
Conclusion générale................................................................................................95
Bibliographie...................................................................................................................97
TABLE DES FIGURES
Figure 1: Historique de la BNA.........................................................................................6
Figure 2: Organigramme de la BNA................................................................................7
Figure 3: Méthodologie 2TUP [2]...................................................................................14
Figure 4: Diagramme de Gantt........................................................................................15
Figure 5 : Le système de l'informatique décisionnel au service de l'entreprise [2].........19
Figure 6 : Ensemble des composants intervenant dans un système décisionnel [2]........21
Figure 7: Schéma de fonctionnement d’un ETL. [2]......................................................23
Figure 8 : Opérateurs Slicing [2].....................................................................................29
Figure 9: Opérateur Rotate [2]........................................................................................30
Figure 10 : Opérateurs Roll-Up et Drill-Down [2]..........................................................30
Figure 11: Interface de l'application métier SMILE........................................................36
Figure 12: Interface SAEB..............................................................................................36
Figure 13: système en scilos : montre l'hétérogénéité des données................................37
Figure 14: Processus d'octroi des crédits.........................................................................47
Figure 15: Modèle en étoile du datawarehouse...............................................................54
Figure 16: La table « crédit »..........................................................................................55
Figure 17: Structure de la table « Crédit »......................................................................56
Figure 18: Structure de la table « garantie »....................................................................57
Figure 19: Structure de la table « produits »...................................................................58
Figure 20: Structure de la table agence...........................................................................59
Figure 21: Structure de la table direction décision..........................................................60
Figure 22: Données non cible dans la table « Garantie».................................................61
Figure 23 : Données redondante dans la table « Garantie».............................................61
Figure 24: Données ambigu dans la table « Garantie»....................................................62
Figure 25 : valeur manquante dans table garantie...........................................................62
Figure 26: Diagramme d’activité du processus d’alimentation.......................................63
Figure 27 : Oracle 12c.....................................................................................................68
Figure 28 : Talend Open Studio......................................................................................68
Figure 29 : QlikView.......................................................................................................69
Figure 30 : Interface Earth View Maps...........................................................................69
Figure 31: Architecture globale de notre application......................................................70
Figure 32: Création projet...............................................................................................72
Figure 33: Paramétrage de la connexion de la base de données source..........................72
Figure 34: La connexion à la base de production créée..................................................73
Figure 35 : Transformation et alimentation de dim_garantie..........................................74
Figure 36: Mapping de la table garantie.....................................................................75
Figure 37: Division de la colonne nat_gar......................................................................76
Figure 38 : Suppressions des données redondantes.........................................................77
Figure 39 : Mapping de table produit..............................................................................77
Figure 40 : Capture d'écran avec tUniqurow...................................................................78
Figure 41 : Transformation et alimentation de dim_gar..................................................79
Figure 42 : job Structure..................................................................................................79
Figure 43 : job Dim_crédit..............................................................................................80
Figure 44 : Mapping de dim_crédit.............................................................................80
Figure 45 : Constructeur d'expression.............................................................................81
Figure 46 : job Dim_credit..............................................................................................82
Figure 47: Le Mapping du job «dim_date »....................................................................82
Figure 48 : job Fait........................................................................................................83
Figure 49: Le Mapping du job FAIT...............................................................................84
Figure 50: Fait_credit......................................................................................................85
Figure 51 : Ordonnanceur des tâches Talend [20]...........................................................86
Figure 52: Interface d’accueil de « QlikView »..............................................................87
Figure 53: Configuration de la source de données « DWH-connection ».......................87
Figure 54: Etablissement de la connexion entre QlikView et l’entrepôt des données....88
Figure 55: Script pour le chargement des données dans QlikView.................................88
Figure 56: Visionneur de tables.......................................................................................89
Figure 57: Interface d’accueil..........................................................................................89
Figure 58: Ecran de la feuille « Situation globale »........................................................90
Figure 59: Ecran de la feuille « Crédit ».........................................................................91
Figure 60: Ecran de la feuille « Garantie »......................................................................92
Figure 61: Ecran de la feuille « Temps »........................................................................93
TABLE DES TABLEAUX
Tableau 1: Tableau comparatif des différentes méthodologies de Travail......................12
Tableau 2: Tableau comparatif entre les tables de faits et les tables de dimensions.......28
Tableau 3: Comparaison basée sur le critère des fonctionnalités....................................42
Tableau 4: Tableau comparatif des outils de restitution..................................................43
Tableau 5: Description de la dimension dim_crédit........................................................49
Tableau 6: Description de la dimension dim_garantie....................................................49
Tableau 7: Description de la dimension «dim_date ».....................................................50
Tableau 8: Description de la dimension «dim_agence ».................................................51
Tableau 9: Description de la dimension «dim_diection_decision».................................51
Tableau 10: Récapitulatif des indicateurs........................................................................52
Tableau 11: La table de faits...........................................................................................53
Tableau 12: La table « garantie».....................................................................................56
Tableau 13: Table «produit»...........................................................................................57
Tableau 14: La table « agence »......................................................................................58
Tableau 15: La table « Direction décision »....................................................................59
Introduction Générale
Dès les années 60, les données informatisées dans les organisations ont pris une
importance qui n’a cessé de croître. Les systèmes informatiques gérant ces données sont
utilisés essentiellement pour faciliter l’activité quotidienne des organisations. La
démocratisation de la micro-informatique dans les années 80 a permis un important
développement de ces systèmes augmentant considérablement les valeurs des données
informatisées disponibles.
1
Introduction Générale
visibilité sur son métier. De ce fait, la direction générale rencontre alors une difficulté
pour avoir une vision consolidée des indicateurs de performance de la banque et dispose
de l'information par service. Parmi des indicateurs, nous traitons le cœur de métier de la
banque qui est "le crédit". Le système d'information de la BNA ne permet pas d'avoir
une analyse approfondie des différents états de traitement du processus d'octroi et de
gestion des dossiers de crédit et des garanties y afférentes. Ces insuffisances sont dues à
l’hétérogénéité des données dans les différents systèmes de gestion.
C’est dans ce cadre que s’insère notre projet intitulé «Mise en place d'une
application BI d'analyse des dossiers de crédit » et qui consiste à modéliser un entrepôt
de données d’octroi de crédit de gestion et d’analyser le processus d'octroi de crédit
dans ses différents phases.
Chapitre 5 : « Réalisation »
Ce dernier chapitre décrit l'architecture technique (l’environnement matériel et logiciel
du développement), les outils de conception et de développement, ainsi que la
2
Introduction Générale
Conclusion Générale
Nous concluons avec la présentation des principaux résultats attenus et les perspectives
d’amélioration, de la présente application.
3
Chapitre 1 : Contexte du projet
Chapitre 1 :
Contexte
du projet
Introduction
4
Chapitre 1 : Contexte du projet
1. Organisme d’accueil
La banque national agricole BNA est fondée le 1er juin 1959. C'est le président Habib
Bourguiba qui lance véritablement ses activités le 10 octobre 1959.
Après dix ans de croissance de son activité et son importante participation dans le
développement économique du pays, au travers de l'ouverture de ses financements aux
différents secteurs de l'économie, comme, l'immobilier, l'agroalimentaire et les sociétés
de services, Cette croissance étonnante a provoqué le changement de sa dénomination
en Banque Nationale de Tunisie (BNT).
5
Chapitre 1 : Contexte du projet
Historique de la BNA
Son réseau s'étale sur 177 agences et 17 directions régionales couvrant tout le territoire
et réparties en cinq catégories selon l'importance de leur activité.
La BNA met également à la disposition de sa clientèle des box de change dans les
principaux ports et aéroports du pays.
6
Chapitre 1 : Contexte du projet
Une nouvelle organisation orientée client qui vise la refonte des processus clés de la
banque et la mise en place de nouveaux dispositifs de gestion de la relation client a été
mise en Aout 2017. Cette nouvelle structure est composée principalement par une
direction générale et 6 pôles (Figure 1) qui sont : [11]
-pôle commerciale
-Pôle opération et service client
-Pôle risque
-Pôle finance comptable et pilotage de la performance
-Pôle ressource et support
-Pôle organisation et système d'information
La BNA offre des produits et des services diversifiés à ces clients [1]
Des services à l'international
le paiement international
7
Chapitre 1 : Contexte du projet
garanties international
opération de change
allocation des voyage d'affaire AVA
Crédit et financement
financement des entreprises
financement des professionnels
financement agricole
Epargne et placement
produit épargne
produit placement
Banque au quotidien
compte en dinar
compte en devise et en dinar convertible
banque a distance
carte bancaire
affiliation PFE
bancassurances
money Gram
8
Chapitre 1 : Contexte du projet
Veiller à l'élaboration des cahiers des charges qui en découlent, à l'analyse des
offres des prestataires et des fournisseurs et à la participation à l'élaboration de
contrats d'acquisition ou de maintenance conformément aux procédures en
vigueur.
Veiller à la bonne exécution des travaux de migration et la fiabilisation des
données.
Suivre l'avancement et la mise en place des travaux de développement ou
d'acquisition de solutions et rectifier les trajectoires le cas échéant (cout, délais).
Veiller à la bonne coordination entre les différentes structures de la banque et la
direction MOA de manière à répondre parfaitement et fidèlement aux besoins
des utilisateurs
Veiller à ce que les projets de développement ou d'acquisition de solutions
soient mis en production dans le respect des règles de cohérence informatique,
des délais impartis et des budgets alloués
Veiller à l'alignement des moyens mis en œuvre par rapport au besoin de la
banque.
Suivre les relations avec les prestataires externes (progiciels, développement
spécifiques, intégration de systèmes...)
3. Présentation du projet
Pour ce faire, nous avons analysé les dossiers des crédits pour les années
2016_2017, les données collectées couvrent le processus d'octroi de crédit dés la
demande du client déposée à l'agence jusqu'à la réalisation du crédit. Au sein de la BNA
on distingue quatre types de crédits : [13]
Crédits professionnels,
Crédits pour les particuliers,
Crédits agricoles,
Crédit pour les entreprises.
9
Chapitre 1 : Contexte du projet
Crédit à l'exportation,
Ligne de change,
Escompte commerciale,
Crédits saisonniers,
Crédit de financement,
Autre crédit d'exploitation courante.
Le traitement des dossiers des crédits passe par six phases qui sont :
La gestion de la demande,
La décision,
La mise en place,
Le déblocage,
Le recouvrement,
Le transfert à contentieux.
3.1 Problématique
Chaque jour, une centaine de demandes de dossiers de crédits et des dossiers des
garanties sont déposées dans les agences de la BNA et transmis aux chargés des dossiers
de crédits dans les différents centres de décisions pour traitement.
Ce processus émet beaucoup de temps dans la transmission des dossiers entre les
différents intervenants et engendre des délais de traitement très longs et une réponse
tardive vis-à-vis de la clientèle.
Le facteur temps est un facteur très important dans le secteur bancaire, le but est
donc d'analyser les données émanant des traitements des dossiers de crédits de gestion
et d’identifier les tâches dans lesquelles on remarque des retards afin d’améliorer les
délais, agir à temps, identifier les insuffisances au niveau du système d'information de la
banque, aider à prendre des décisions stratégiques.
3.2 Objectifs
La BNA propose de mettre en place une application BI qui permet de donner une
vision détaillée concernant les dossiers de crédits et les dossiers de garanties dans ses
différents phases de traitement afin de contrôler les périodes de traitement nécessaire
10
Chapitre 1 : Contexte du projet
pour chaque phase ce qui permet aux décideurs de prendre des décisions stratégiques et
tactiques.
Le travail consiste à réaliser une application BI qui facilite les tâches d’analyse et
de pilotage aux décideurs.
4. Méthodologie de travail
11
Chapitre 1 : Contexte du projet
Notre projet est basé sur un processus de développement bien défini qui va de la
détermination des besoins fonctionnels attendus du système jusqu’à la conception et le
codage final. Ce processus se base lui-même sur le Processus Unifié (Unified Process)
qui est devenu un standard général réunissant les meilleures pratiques de
12
Chapitre 1 : Contexte du projet
Conduite par les cas d’utilisation : elle est orientée utilisateur pour répondre aux
besoins de celui-ci.
Pilotée par les risques : en définissant des priorités pour chaque fonctionnalité,
on peut minimiser les risques d’échec du projet
13
Chapitre 1 : Contexte du projet
14
Chapitre 1 : Contexte du projet
5. Planification du projet
Pour garantir le bon déroulement du projet, tout en respectant les délais, nous
avons élaboré une planification globale de conduite du projet. Le diagramme de Gantt
suivant décrit cette planification ainsi que l’ordonnancement prévu des phases du projet
de mise en place d’une application BI d'analyses des dossiers de crédits.
15
Chapitre 1 : Contexte du projet
Conclusion
Dans ce présent chapitre, nous avons présenté l’organisme d'accueil, le contexte
général du projet et la problématique liée. De même, nous avons présenté la
méthodologie de travail ainsi la panification du projet. A la suite de ce chapitre, qui
contient une présentation du cadre de travail on passe à donner une description globale
du système d'information de la BNA et les solutions proposées.
16
Chapitre 2 : Etat de l'art
Chapitre 2 :
Etat de l'art
17
Chapitre 2 : Etat de l'art
Introduction
Ce chapitre présente une vue générale de l'état de l’art de la littérature de
l'informatique décisionnelle dans l'entreprise dès la modélisation, l'analyse et la
visualisation des données. L'objet de ce chapitre est de définir les concepts
fondamentaux relatifs aux systèmes décisionnels.
18
Chapitre 2 : Etat de l'art
Ce type d’application repose sur une architecture commune dont les bases
théoriques viennent principalement de R. Kimball, B. Inmon et D. Linstedt.
De manière assez intuitive, les enjeux du processus décisionnels se sont donc articulés
autour de :
Dans le passé, les solutions de BI pour les banques prenaient des années à
planifier et à déployer, et elles ne s'adaptaient pas facilement à l'évolution des réalités et
des technologies. De plus, du fait de la complexité de ces outils, le personnel
informatique devait effectuer des analyses sophistiquées pour les clients.
19
Chapitre 2 : Etat de l'art
L'objet de ce chapitre est de définir les concepts fondamentaux relatifs aux systèmes
décisionnels au service de l'entreprise
1.1. Modélisation
Les outils BI d'aujourd'hui sont beaucoup plus adaptables, avec du matériel, des
logiciels, des appareils et des services qui recueillent des données structurées et non
structurées à partir de sources de données hétérogènes dans divers formats. Les outils
sont suffisamment simples pour que les employés de l'entreprise puissent les utiliser,
quel que soit leur niveau de compétence informatique. Ils traitent beaucoup plus de
données en temps réel, et ils sont disponibles dans des formats conviviaux sur différents
d'outils. Les outils BI modernes sont capables de traiter plusieurs types d’analyse :
20
Chapitre 2 : Etat de l'art
d’analyser les opérations via des accès aux données stockées. Cela permet aux
responsables métier d’améliorer les stratégies d’entreprise ainsi que les prises de
décision en interrogeant l’entrepôt de données pour examiner les processus métier, les
performances et les tendances.
Voici une liste de tâches pouvant être effectuées par un entrepôt de données : [4]
21
Chapitre 2 : Etat de l'art
Cette fonction de restitution est assurée par des outils décisionnels variés comme des
outils de Reporting, des outils de tableau de bord, ou des outils de fouille de données.
22
Chapitre 2 : Etat de l'art
Orientées sujet : Les données dans l’entrepôt sont réparties par sujet et non par
application.
Historiée : La prise en compte de l’évolution des données est essentielle pour la
prise de décision.
23
Chapitre 2 : Etat de l'art
Exemple des données détaillées : le détail des ventes de l’année en cours, dans les
différents magasins.
24
Chapitre 2 : Etat de l'art
Exemple, les ventes mensuelles par magasin des dix dernières années sont des données
faiblement résumées.
Données fortement agrégées : Ce sont des données agrégées à partir des données
détaillées, mais à un niveau d’agrégation plus élevé que les données agrégées.
Exemple, les ventes semestrielles, par région, des dix dernières années sont fortement
agrégées.
Le modèle de données.
La structure des données telle qu’elle est vue par les développeurs.
La structure des données, telle qu’elle est vue par les utilisateurs.
Les sources des données.
Les transformations nécessaires.
Suivi des alimentations.
De façon plus technique, le DataMart peut être considéré de deux manières différentes,
attribuées aux deux principaux théoriciens de l’informatique décisionnelle, Bill
Inmon et Ralph Kimball :
25
Chapitre 2 : Etat de l'art
a) Modèle en étoile
Ce modèle est initié par Ralph Kimball, est représenté par une table de faits
centrale autour de laquelle gravitent les dimensions permettant d’analyser les faits qui y
sont contenus. Chaque dimension est décrite par une seule table dont les attributs
peuvent représenter toutes les granularités possibles.
Ce modèle est initié par Inmon, la table de faits est également au cœur du modèle.
Là encore, les dimensions gravitent autour de la table centrale mais la différence réside
dans une plus grande hiérarchisation de ces dimensions.
Les flocons et les étoiles peuvent être vus comme une manière de diviser les entrepôts
de données et les magasins de données. On peut les voir comme l'atome de
l'informatique décisionnelle : le plus petit élément avec lequel on peut faire des analyses
et avec lequel on peut faire des magasins de données qui, mis ensemble, forment un
entrepôt de données.
c) Modèle en constellation
26
Chapitre 2 : Etat de l'art
d) La table fait
e) La table dimension
27
Chapitre 2 : Etat de l'art
Rôle Assure les relations entre les Assure l’interface homme / entrepôt
dimensions
de données
Tableau 2: Tableau comparatif entre les tables de faits et les tables de dimensions
f) Les mesures
g) Les attributs
1.2 Analyse
Lors du processus OLAP, les données sont généralement analysées en partant d'un
faible niveau de détail vers des données plus détaillées
28
Chapitre 2 : Etat de l'art
Le Dicing peut être vu comme étant une extraction d’un sous cube.
29
Chapitre 2 : Etat de l'art
30
Chapitre 2 : Etat de l'art
c) Langage de requête
1.3Visualisation
1.3.1 Le reporting
31
Chapitre 2 : Etat de l'art
confondus, car ces outils s’adaptent à toutes les activités. Cet outil contribue à réduire
l'incertitude et facilite la prise de risque inhérente à toutes décisions.
Le reporting est complété par le tableau de bord, qui lui est un outil
d’évaluation de l’organisation d'une entreprise ou d’une institution constituée de
plusieurs indicateurs de sa performance à des moments donnés ou sur des périodes
données. Il permet de répondre aux objectifs de management suivants :
Evaluer la performance
Réaliser un diagnostic de la situation
Communiquer et informer
Le Datamining est une suite ordonnée d'opérations qui permettent d'aboutir par la
suite à un résultat. Pour cela il faut :
32
Chapitre 2 : Etat de l'art
Prise de décision
Coclusion
Le concept « Data Warehouse » est apparu comme une réponse à des besoins
grandissants dans le domaine décisionnel pour toute entreprise soucieuse du suivi de ces
performances.
Nous avons consacré ce chapitre à définir les notions et les concepts de base du système
décisionnel.
Au cours des chapitres suivants, nous allons utiliser les concepts présentés dans l’état de
l’art, et cela afin de mettre en œuvre notre système.
33
Chapitre
3 : Etude
de
l'existant
et
spécificati
on des
besoins
34
Chapitre 3 : Etude de l'existant et spécification des besoins
Introduction
1. Etude de l’existant
Le projet SMILE s’inscrit dans le cadre de dotation de la BNA d’un nouveau système
agence, intégrant la totalité des activités exercées et permettant une meilleure
qualité de service au client, à travers une solution garantissant l’unicité de
l’information quel que soit le canal de distribution (WEB, GAB, guichets, etc.).
SMILE offre une vision globale permettant une meilleure prise de décision et améliore
la qualité de service vis à vis du client en éliminant les lourdeurs dans les
traitements.
35
Chapitre 3 : Etude de l'existant et spécification des besoins
SMILE est une application métier qui assure la gestion de tous les types de prêts.
36
Chapitre 3 : Etude de l'existant et spécification des besoins
(SAGA) est une application métier qui centralise la gestion de toutes les
garanties reçues en couverture d’engagements donnés par la banque.
37
Chapitre 3 : Etude de l'existant et spécification des besoins
38
Chapitre 3 : Etude de l'existant et spécification des besoins
Cette solution permet aux décideurs d’avoir une vue globale sur le
déroulement du processus d'octroi de crédits via une interface unique
pour pouvoir finalement gagner en productivité en facilitant l’accès aux
informations.
Nous avons détecté les axes d’analyse suivants : (Les crédits, les garanties, les agences,
les directions régionales, le temps.)
Produit
Nature garantie
Rang
39
Chapitre 3 : Etude de l'existant et spécification des besoins
Produit
Produit
Déterminer l'agence qui fait le plus grand nombre des retards en 2016 & 2017
40
Chapitre 3 : Etude de l'existant et spécification des besoins
Qualité :
Après avoir identifié les rôles des acteurs aussi bien que les besoins
du système. Nous pouvons passer à présent à la branche technique qui va
se charger de présenter les besoins techniques indispensables au
développement de notre projet.
41
Chapitre 3 : Etude de l'existant et spécification des besoins
Nous devons faire des études comparatives pour choisir les outils les plus appropriés
pour développer notre application, la problématique de choix concernera : Les outils
ETL pour l’extraction, la transformation et chargement de l’entrepôt de données et les
outils de restitution des données.
42
Chapitre 3 : Etude de l'existant et spécification des besoins
traitements.
43
Chapitre 3 : Etude de l'existant et spécification des besoins
Suite à la brève étude établie ci-dessus sur les point forts et faibles
de chacun des outils de restitution QlikView, QlikSens et Tableau. On
conclut que QlikView est l’outil de restitution le plus convenable pour
l’élaboration de notre tableau de bord.
Dans cette perspective nous avons choisi pour notre solution BI les
deux outils : Talend Open Studio pour le processus ETL et QlikView
pour la création, du tableau de bord.
Conclusion
44
Chapitre 3 : Etude de l'existant et spécification des besoins
45
Chapitre 4 :
Conception
46
Chapitre 4 : Conception
Introduction
Dans ce présent chapitre et afin de parvenir à bien identifier les différentes
conceptions que nous avons réalisé pour effectuer notre projet, nous présenterons une
première section qui met l’accent sur la conception de l'entrepôt des données, une
deuxième section qui présente la conception ETL et une troisième section pour la
conception du tableau de bord.
Selon les normes (ISO 9000 :2005), un processus est un ensemble d'activité
corrélées qui transforme des éléments d'entrée en éléments de sorti. Pour une banque,
c'est un ensemble d'activités effectuées par le banquier, en vue de traiter une demande
de financement. [8]
D'où on remarque que le processus dont on s'intéresse doit avoir quatre dates
importantes :
47
Chapitre 4 : Conception
Les dates liées à ce processus se présentent comme des indicateurs d’une grande
signification par rapport à la performance de l'opération d'octroi de crédit. Ainsi, la
disponibilité de ces informations s’avère indispensable pour les décideurs de la banque.
« Une table de dimension établi l'interface homme / entrepôt, elle comporte une
clé primaire » [Kimball, 2002].
48
Chapitre 4 : Conception
1.2.1 Dim_Crédit
Un crédit est une mise à disposition d'argent sous forme de prêt, consentie par un
créancier à un débiteur.
Octroyer un crédit est une « Opération qui consiste pour un établissement de crédit à
mettre des fonds à la disposition d'un de ses clients (crédit par décaissement) ou à
s'engager à payer en cas de défaillance de celui-ci (crédit par signature) » [6]
La banque offre une vingtaine types de crédits pour ces clients telles que :
Crédits de Campagne,
Avance sur Marchandises,
Préfinancement Exportation en Dinars,
Avance sur Factures,
Crédit de Financement de Stocks en dinars,
Démarrage huiles.
Cette dimension décrit les caractéristiques d’un crédit qui sont illustrées dans le tableau
suivant :
Désignation Détails
49
Chapitre 4 : Conception
DC)
1.2.2 Dim_garanties
Une garantie est un engagement envers un tiers qui vient garantir la bonne fin
d'une opération en cas de défaillance du payeur. [7]
La banque offre une trentaine types de garanties pour ces clients telles que :
Domiciliation de marche privée,
Nantissement de récoltes,
Hypothèque maritime,
Assurance véhicule,
Assurance incendie.
Désignation Détails
50
Chapitre 4 : Conception
1.2.3 Dim_date
La dimension date est « la seule dimension qui figure systématiquement dans tout
entrepôt de données, car en pratique tout entrepôt de données est une série temporelle.
Le temps est le plus souvent la première dimension dans le classement sous-jacent de la
base de données ». [Kimball, 2011]
Le niveau de détail le plus bas de cette dimension est la journée (le mois). En
effet, l’un des objectifs de ce travail est de suivre l'activité au jour le jour (chaque mois).
Dans cette dimension, la clé primaire est une clé artificielle qui a la fourme de
(jjmmaaaa). Cette clé sert à faciliter la manipulation de la dimension.
Désignation Détails
1.2.4 Dim_agence
La BNA a 177 agences couvrant tout le territoire de la Tunisie. Chaque agence est
identifiée par une clé unique, un libellé, position de latitude et position de longitude.
51
Chapitre 4 : Conception
La latitude est une expression de la position d'un point sur Terre au nord ou au sud de
l'équateur et la longitude est une expression du positionnement est-ouest d'un point sur
Terre.
Désignation Détails
1.2.5 Dim_direction_decision
Désignation Détails
Les mesures textuelles peuvent exister mais sont rares, ils sont généralement des valeurs
numériques, additives
Date_mep -
DUREE_TOTALE Période total de traitement de
date_dem
dossier de crédit
Une table de faits est la table centrale d'un modèle dimensionnel, où les mesures de
performances sont stockées, et elle comporte aussi des clés étrangères qui sont des clés
53
Chapitre 4 : Conception
primaires des tables de dimensions. La table de fait dans notre cas se présente comme
suit
INDICATEUR TYPE
DUREE_ETUDE Number
DUREE_DR-DC Number
DUREE_REALISATION Number
Mesures
MONTANT Number
NBR_CRE Number
NBR_CRE_GAR Number
54
Chapitre 4 : Conception
Nous avons choisi le modèle en étoile pour la réalisation du Data Warehouse. Il est
constitué d’une table de faits et cinq tables de dimensions. La table de faits est
constituée d’une clé primaire et des clés étrangères qui sont les clés primaires des tables
de dimension, plus les indicateurs qui nous servirons après lors de la création du tableau
de bord.
2. Conception ETL
Une fois le Data Warehouse conçu, il faut l'alimenter en données. Cette alimentation se
déroule en 4 phases qui sont :
Ces quatre étapes décrivent une mécanique cyclique qui a pour but de garantir
l'alimentation du Data Warahouse en données homogènes, propres et fiables
55
Chapitre 4 : Conception
Cette première étape porte sur l'étude des données sources qui serviront par la
suite à l’alimentation du Data Warehouse. En effet, avant d’effectuer l’extraction des
données, il est important de bien connaître leurs contenues.
Nous avons obtenu aussi deux autres fichiers Excel qui contiennent les codes et
libellées de 178 agences et 16 directions régionales.
C’est pour cela nous avons créé une base de données sur SQL développer
nommée Source puis nous avons pris en charge ces données-là dans la base. Cette base
va être notre base source nommé "source" qui va alimenter la base du Data Warehouse
"output".
56
Chapitre 4 : Conception
Table garantie
C’est la table qui contient des détails sur les garanties liées aux crédits.
57
Chapitre 4 : Conception
Table produit
58
Chapitre 4 : Conception
Ensuite nous avons ajouté la colonne « cod_dr » qui indique le code de direction
régionale associé à chaque agence. Ci-dessous la totalité des champs composant la table
agence.
59
Chapitre 4 : Conception
C’est la table qui contient des détails sur les directions décision de la BNA qui sont 16
directions régionale, et une direction centrale.
Puis nous avons enrichi cette table à l’aide de l'outil EarthViewMaps par l'ajout de
deux colonnes « latitude » et « longitude» qui sont les cordonnées de chaque direction
décision sur la carte de la terre. Ci-dessous la totalité des champs composant la table
direction_decision.
60
Chapitre 4 : Conception
Elle consiste en :
61
Chapitre 4 : Conception
Comme la montre la figure en dessus la table produit contient des données non cible.
62
Chapitre 4 : Conception
Comme la montre la figure en dessus la table garantie contient des lignes redondantes.
Ce qui nécessite l'élimination de la redondance par la suppression de ces valeurs
inappropriées afin de garantir le chargement des données fiables et pertinentes dans
l’entrepôt des données.
Nous devons diviser cette colonne en 2 la première doit contenir la valeur numérique et
la deuxième les chaines de caractères.
63
Chapitre 4 : Conception
La figure en dessus montre l'existence de 324 valeurs nulles dans la colonne num_dec
dans la table garantie
64
Chapitre 4 : Conception
Nombre des crédits octroyés couvert par garantie par direction régional,
Nombre des crédits octroyés couvert par garantie par agence et période,
Nombre des crédits octroyés couvert par garantie par agence et produit,
La liste des agrégations des rapports d’analyse des dossiers des crédits sites en
dessus donne les différentes statistiques que l’on peut calculer pour pouvoir juger le
processus d'octroi des crédits dans toutes les agences de la BNA. Ce qui va nous
permettre par la suite, et grâce aux tableaux de bord qui seront créés de découvrir les
agences les plus actives les agence qui émit le plus de temps pour le traitement des
dossiers de crédits ainsi que les pourcentages des crédits octroyés couvert par garantie.
65
Chapitre 4 : Conception
Conclusion
Nous avons consacré ce chapitre à la conception de la zone d’entreposage, qui
constitue la zone exploitable par les utilisateurs. La conception de cette zone se fait
grâce à la modélisation dimensionnelle. Cette manière de représenter les données offre
aux utilisateurs des modèles intuitifs et compréhensibles permettant de naviguer et de
manipuler les données sans difficulté afin de satisfaire leurs besoins en analyse.
66
Chapitre 5 :
Réalisation
67
Chapitre 5 : Réalisation
Introduction
Après avoir élaboré la conception de notre application, nous abordons dans ce chapitre
la dernière branche de la méthodologie suivie, qui a pour objectif d'exposer la phase de
réalisation.
L’environnement matériel sur lequel nous avons travaillé est constitué d'un ordinateurs
caractérisés par :
L’ordinateur :
Après avoir présenté les moyens matériels. Nous abordons dans cette partie
l’environnement logiciel.
68
Chapitre 5 : Réalisation
Talend Open Studio est un ETL (Extract Transform Load) Open Source, développé
par la société Talend. Cet outil intervient essentiellement dans la chaîne décisionnelle,
lors du processus d’intégration des données. Il permet de répondre à toutes les
problématiques liées au traitement des données dans la chaîne décisionnelle. [3]
69
Chapitre 5 : Réalisation
Figure 29 : QlikView
QlikView gère les informations de la même manière que le cerveau humain. Ce logiciel
est totalement différent des logiciels traditionnels de Business Intelligence. Il est simple
d’utilisation et met l’utilisateur final en situation de contrôle total de ses analyses.
1.2.5 EarthViewMaps
Earth View Maps est un service de cartographie en ligne qui permet, à partir de l'échelle
d'un pays, de zoomer jusqu'à l'échelle d'une rue. Des prises de vue fixes montrant les
détails de certaines rues.
Nous avons utilisé Earth View Maps pour compléter nos bases de données sources.
Pour donner une richesse à nos données, nous avons ajouté à nos deux tables source
agence et direction régionale deux colonnes : latitude et longitude, qui sont rempli par
cet outil qui permet de trouver des coordonnées d'un point sur la carte de la terre.
70
Chapitre 5 : Réalisation
Dans cet axe, nous allons décrire les étapes de mise en œuvre du système décisionnel,
pour cela nous allons d’abord présenter les composants utilisés dans Talend Studio puis
nous élaborons les étapes suivies pour l’implémentation ETL.
71
Chapitre 5 : Réalisation
72
Chapitre 5 : Réalisation
73
Chapitre 5 : Réalisation
Cette phase consiste à créer des jobs, sous l’ETL Talend, qui
comprend des composants d’extraction, de transformation et de
chargement. À l’aide de ces composants nous allons extraire les données
de leurs sources, faire les conversions des données nécessaires, et faire
des jointures entre les tables lorsque cela est nécessaire. Cette phase est la
plus critique de l’ETL.
74
Chapitre 5 : Réalisation
D’après l’étude des données sources élaborée dans le chapitre conception, nous avons
signalé des données non cible, redondante et ambigu dans la table « garantie ».
Pour cette raison, nous avons commencé le processus ETL par un job qui permet à la fois
le nettoyage de la table garantie puis l'alimentation de la dimension dim_garantie.
Ce job est illustré dans la figure qui suit.
75
Chapitre 5 : Réalisation
76
Chapitre 5 : Réalisation
77
Chapitre 5 : Réalisation
D’après l’étude des données sources, des données non cible sont signalés dans la table
« produit ». Donc un deuxième job ''produit'' doit extraire que les données que
nous avons besoin dans notre étude. Cette opération se réalise avec le composant
tmap comme le montre la figure suivante.
78
Chapitre 5 : Réalisation
D’après l’étude des données sources, des données redondantes sont signalés dans la
table « crédit » pour éliminer ces redondances nous avons créé un job qui permet
à la fois le nettoyage de la tabla crédit puis l'alimentation de dimension
dim_credit.
Dim_garantie : Cette table est alimentée par les données extraites de la table
source garantie qui sont transformées et nettoyer par tMap, tExtractRegexFields
et tUniqRow.
79
Chapitre 5 : Réalisation
Ces tables sont alimentées par les données contenues dans la base de données
"source" stocké sous oracle. Le composant tMap fait l'extraction de tous les
champs de la table source agence et la table source direction_désicion, et assure
le remplissage de la dim_agence, et la dim_direction_décision ligne par ligne.
80
Chapitre 5 : Réalisation
81
Chapitre 5 : Réalisation
Dim_date
Ce job nommé date figuré dans le schéma suivant, permet l’alimentation du DataMart
« Dim_date »
82
Chapitre 5 : Réalisation
Décomposé les valeurs de dates selon les granularités dont nous avons
besoin : année, mois, jours en utilisant les fonctions TalendDate,
prédéfinies dans les expressions tMap
83
Chapitre 5 : Réalisation
La table de faits « FAIT » est alimentée via toutes les tables dimension, en faisant la
lecture de la table dim_date quatre fois dans le but de faire la jointure chaque fois avec
un attribut date dans la table dim_crédit.
84
Chapitre 5 : Réalisation
En effet, des sous jobs se lancent successivement tous liés par un OnComponenetOk .
D'abord le sous job nommé « produit » se lance :
Il se connecte à la table produit dans la base de données source, il extrait les deux
champs nécessaires par le composant tMap.
85
Chapitre 5 : Réalisation
Nous illustrons dans la figure suivante notre Job mère nommée « Fait_credit »
Notre Data warehouse est créé et alimenté avec toutes les tables
nécessaires à l’élaboration des analyses, et notre choix de l’outil de
restitution est déjà fait. Donc il nous reste que d’entamer le travail
requis : la création du tableau de bord de processus d'octroi de crédit de
gestion.
87
Chapitre 5 : Réalisation
Ensuite, on doit configurer une source de données sous Windows par le biais du pilote
« OracleODBCDrive» .Cette source de données est désormais utilisable pour se
connecter à l’entrepôt de données.
88
Chapitre 5 : Réalisation
Une fois la connexion établie, nous procédons au chargement des données dans
QlikView. Cette étape se réalise grâce au script qui suit :
89
Chapitre 5 : Réalisation
90
Chapitre 5 : Réalisation
91
Chapitre 5 : Réalisation
92
Chapitre 5 : Réalisation
Comme nous remarquons sur cet écran, une variété des objets est mise à la disposition
du décideur.
La courbe intitulé « Nombre des crédits octroyés par période » renseigne sur l'évolution
du nombre des crédits octroyés par année et par mois. Par exemple 3624 est le plus
grand nombre d'octroi des crédits qui est à 2017 pendant le mois juin.
L’histogramme situé juste à côté, présente le nombre des crédits octroyé par produit.
93
Chapitre 5 : Réalisation
Comme nous remarquons sur cet écran, Cette feuille se focalise sur les crédits couverts
par garanties.
Nous avons utilisé une boucle pour afficher dans le même histogramme qui se situe en
haut et à gauche de l’écran le nombre des crédits octroyés couvert par garantie par
direction régionale et le totale d'engagement par direction régionale.
Ainsi le secteur juste à son côté à droite donne le pourcentage des crédits octroyés
couvert par des garanties par agence et aussi avec un simple clic un changement rapide
s'effectue pour afficher le totale d'engagement par agence.
Aussi nous avons analysé le total d'engagent par année et le nombre des crédits octroyés
par années et les résultats sont affiché dans la courbe en bas de l'écran.
Les deux histogrammes en bas à droite de l'écran donnent les nombres des crédits
couverts par garanties octroyés par nature et par rang. On remarque que les garantie 201
et 501 et les garanties ayant le rang numéro un sont les plus utiliser.
94
Chapitre 5 : Réalisation
Nous avons consacré cette dernière feuille pour faire le suivi du processus d'octroi des
crédits par période en se basant sur la dimension "dim_date"
Dans cette feuille, nous visualisons les durées calculées dans la table fait par direction
décision, par agence, par types des crédits et par garantie en utilisant des histogrammes.
L'histogramme juste a son côté affiche que les trois agence (succursale de tunis, Beja,
Amdoun) ayant les codes structures 120, 11, 125 émettent plus de 15 jours pour le
traitement des dossiers des crédits donc ces 3 agence ont les plus grandes durées de
traitement des données.
Conclusion
Au cours de ce chapitre, nous avons présenté en détails la projection de la conception du
plan théorique sur le plan pratique. En effet, nous avons décrit les plates-formes
matérielles et logicielles sur et avec lesquelles nous avons construit notre application.
Nous avons par la suite élaboré les étapes du processus ETL. Finalement, nous avons
illustré l’utilisation de l’application en ce qui concerne la situation du processus d'octroi
des crédits de gestion par des interfaces graphiques de l’application.
95
Chapitre 5 : Réalisation
96
Conclusion Générale
Conclusion générale
Puis, nous avons élaboré une étude exhaustive de nos sources des
données. Il nous a fallu un grand temps pour achever cette étape à cause
des difficultés rencontrées.
97
Conclusion Générale
Comme un projet Data Warehouse n’est jamais complètement terminé, nous pouvons
citer les perspectives et les développements suivants :
98
Bibliographie
Bibliographie
Sites Internet :
www.bna.com.tn [1] [Consulté en 03/2018]
https://business-intelligence.developpez.com/tutoriels/etl-open source/?
page=Introduction [2] [Consulté en 03/2018]
help.talend.com : Guide de prise en main de Talend Open Studio for Data
Integration [3] [Consulté en 04/2018]
www.lemagit.fr conseil/Deployer-un-entrepot-de-donnees-quels-avantages [4]
[Consulté en 03/2018]
bricks.univ-lille1.fr/M26/cours/co/chap3_01.html [5] [Consulté en 03/2018]
www.banque-info.com/lexique-bancaire [6] [Consulté en 06/2018]
Ouvrage :
[Kimball , 2002]: R. Kimball et M. Ross ; « Entrepôts de Données : Guide
Pratique de Modélisation Dimensionnelle 2ème édition » ;
[Kimball , 2005] Guide de conduite de projet , 1ère Edition ;Paris,
France ;Eyrolles ;Mars 2005.
[Kimball , 2011] The Microsoft Data Warehouse Toolkit ;Second Edition;
2011
[Soler, 2001] : Y.Soler; PLANIFICATION ET SUIVI D'UN PROJET; 2001
[Luhn, 1958] : , « A Business Intelligence System ».
[Gartner survey 2014 ] : « BETTER DATA THROUGH BI» . Today’s BI
Tools
[Luhn, 1958] : www.asist.org, Association for Information Science and
Technology
Fichiers divers :
Circulaire BNA N°2017/76 Relative au nouveau organigramme de la Banque
[11]
Circulaire BNA N°2017/116 relative la présentation des missions et attributions
du pôle organisation et Système d'Information [12]
Circulaire BNA N°2016/12 Relative a la procédure d'octroi et de traitement d'un
crédit de gestion [13]
Présentation BNA 2017 : Processus d’octroi et de mise en place des crédits [14]
Présentation BNA 2017 : Gestion des CME dans le cadre du Nouveau Système
d’engagements S.A.E.B
Cahier de Charge SAEB Escompte
(CIRCULAIRE AUX BANQUES N°87-47, 1987) [15]
100
Bibliographie
101