Lasse9

DASHBOARDING &
DATA VIZ
DataWarehouse
Architecture des données
Modélisation des données
DATAWAREHOUSE
 DataWarehouse

- systemes OLTP : utiles pour la gestion des donnees operationnelles de

l‘entreprise.
- systemes OLAP : nécessaires pour la décision : agrégation des données
(adhoc queries, drill-down, slicing/dicing…)
 DataWarehouse

DataWarehouse :
C‘est une base de donnees relationnelles conçues pour les besoin
d’analyse et de requêtage. Il est :

Thématique
Intégrée (sources hétérogènes)
Non volatile
Historisé (time-variant)
DataWarehouse

DataMart :
Il a les mêmes fonctions que DWH, mais conçu pour les besoins d’une
seule équipe ou unité commerciale. Il est plus petit et plus ciblé, a
tendance à servir un seul sujet.
ODS :
magasin intermédiaire pour intégrer des données en temps réel ou
quasi-réel provenant de plusieurs sources en vue d’opérations
supplémentaires sur les données
 DataWarehouse

Méthodologie de la mise en place du DWH :

Spécification des besoins métiers
Conception de l’architecture
Implémentation
Déploiement
 DataWarehouse

Spécification des besoins :

Besoins métiers (BP, règles métiers & métriques, use cases BI,
workflow processus BI & interactions users)
Besoins en données (data profiling, input de la modélisation des
données, ETL, outils BI)
Besoins techniques (standards en infra, orientations techno
Exigences réglementaires et de conformité (mesures vie privée et
sécurité, réglementations de l’industrie, réglementations de pays)
 DataWarehouse

Conception de l’architecture :
Quoi ? quels BP ou fonctions seront supportés par les App
analytiques, quels types d’analytics à utiliser et quels types de
décisions seront affectés ?
Qui ? employés, clients, fournisseurs, prospects..? qui auront accès aux
App ?
Où ? emplacement actuel de la données, où s’intégrera-tell, où sera-t-
elle consommée ?
Pourquoi ? raisons derrière l’implémentation de la solution BI, les
spécifications technico-fonctionnelles
ARCHITECTURE DES DONNEES
 ARCHITECTURE DES
DONNEES

Types d‘architecture :
DWH Bus
Enterprise DWH
Architecture Hybride
DWH as a service
DWH moderne
ARCHITECTURE DES
DONNEES
 ARCHITECTURE DES
DONNEES

Datawarehouse BUS (Kimball)

Datawarehouse (BUS) logique + Datamarts (Subject areas)

Datamarts décentralisés
Datamarts indépendants optimisés pour Dashboarding/Analytics
2-tier (datamart, cube)
Moins d’ETL, pas de duplication données
ARCHITECTURE DES
DONNEES
 ARCHITECTURE DES
DONNEES

Enterprise Datawarehouse (Inmon)

Projet à l’échelle de l’entreprise

Tables centralisées normalisées atomiques (interdites d’accès aux utilisateurs)
Création ultérieure de data marts dépendants, subsets de données distincts
physiquement
3-tier (datawarehouse, datamart, cube)
Duplication des données
ARCHITECTURE DES
DONNEES
 ARCHITECTURE DES
DONNEES

Datawarehouse-as-a-service
 ARCHITECTURE DES
DONNEES

Datawarehouse-as-a-service
 ARCHITECTURE DES
DONNEES

Datawarehouse moderne
MODELISATION DES DONNEES
 MODELISATION DES
DONNEES

Comment concevoir un DWH ?

Selection du Business Process

Choix de la granularite de la table de faits
Identification des dimensions
Identification des faits
 MODELISATION DES
DONNEES

Selection du Business Process

Le BP s’agit d’une activité opérationnelle de l’entreprise

Les événements d’un BP génèrent des KPIs (faits de la table de fait)
Identifier les parties prenantes qui fourniront les spécifications des processus
recensés (matrice des parties prenantes)
 MODELISATION DES
DONNEES

Choix de la granularite de la table de faits

La granularité établit ce que représente une ligne de la table de fait

La granularité atomique reflète le niveau de détails le plus bas des données
issues du processus métier

Différentes granularités ne peuvent pas co-exister dans une même table de fait
 MODELISATION DES
DONNEES

Identification des dimensions

Les dimensions décrivent le “qui, quoi, où, quand, comment et pourquoi” d’un
BP
Contenant les attributs descriptifs utilisés par l’application BI pour le filtrage et
le groupement des faits
Structure table dimension: PK (= FK dans les tables de faits) + attributs
 MODELISATION DES
DONNEES

Identification des dimensions

Type de cles

La clé primaire != clé métier (A part pour la dimension Temps)

Parfois la clé métier change également dans le temps. Dans ce cas, on a
recours à une clé durable (Durable super natural Key)
 MODELISATION DES
DONNEES

Identification des dimensions

Type de dimensions

Dimensions dénormalisées: hiérarchies many-to-one à profondeur fixe sont

aplaties en une ligne de dimension. ( modele en etoile )
Dimensions normalisées: structure multi-niveau représentant la hiérarchie de la
dimension. La table de dimension de niveau hiérarchique le plus bas, dont la
granularité est la plus fine, est reliée à la table de fait. ( modele en flocon )
 MODELISATION DES
DONNEES

Identification des dimensions

Type de dimensions

Dimensions dégénérées: N’est représentée que par une PK au niveau de la

table de fait qui fait généralement référence à un identifiant de la transaction
dans la base opérationnelle ou ODS.
c a d au lieu d'avoir une table de dimension séparée avec des détails sur une
entité (comme un client, un produit, etc.), on utilise la clé primaire de cette
entité directement dans la table de faits pour représenter la dimension.
 MODELISATION DES
DONNEES

Identification des dimensions

Type de dimensions

Dimension Temps : PK + Date complete

Dimension d’Audit: contient la métadata sur les chargements ETL effectués.
Elle permet de suivre la qualité des données (Erreurs etc.), les variables de
l’environnement, les versions du code ETL...
 MODELISATION DES
DONNEES

Identification des dimensions

Slowly changing dimensions

Type 0 : Nouvelle valeur écrase l’ancienne

Type 1 : Ajouter une nouvelle ligne
Type 2 : Ajout d’un nouvel attribut gardant la version précédente (-1) de la valeu
 MODELISATION DES
DONNEES

Identification des faits

Identification des faits + regles d’or

 MODELISATION DES
DONNEES

Cubes

Les cubes OLAP, structures dimensionnelles implémentées dans des BD

multidimensionnelles, sont optimisés pour un accès direct par les utilisateurs aux
mesures précalculées (précalcul des multiples combinaisons de valeurs de
dimensions et des faits)
 DataWarehouse

Cubes

Avantages : vitesse et feedback instantané (slice/dice, drill-up/down)

Limites : croissance exponentielle de la taille (Problème de scalabilité),
compétences en MDX requises (vs. SQL)
La Gestion de Performance
La Business Intelligence
Reporting & Monitoring D’entreprise
Visualisation de l’information
ENTERPRISE PERFORMANCE
MANAGEMENT
 La Gestion de Performance

EPM (Enterprise Performance Management) :

• La gestion de la performance ou EPM (Enterprise Performance

Management) fait référence aux systèmes, processus et méthodologies
utilisés pour mesurer et gérer la performance de l’entreprise.

• Elle permet l’utilisation efficace des ressources de l’entreprise, mesurées

par des processus et résultats quantifiables en utilisant des KPIs.
La Gestion de Performance
BUSINESS INTELLIGENCE
 Business Intelligence

La BI est : ...

• La Business Intelligence (BI) est l'ensemble des technologies qui

supporte le processus de l’EPM.

• La BI permet de collecter, consolider, modéliser et restituer les

données à des fins de compréhension, d’analyse et de décision : visibilité
sur une activité, détection de faiblesses, prise de décisions stratégiques
ou tactiques, réactivité face à un événement…
 Business Intelligence

Les axes de la BI :
REPORTING & MONITORING
D’ENTREPRISE
 Reporting & Monitoring

Dimension Reporting Dimension Monitoring

Plus ancienne. Comparer les performances et

Plus dominante. les objectifs.
Du simple rapport formaté aux Lancer des alertes en cas
rapport plus interactifs et d’urgence.
dynamique
Reporting & Monitoring

Le Reporting :

Les outils de reporting produisent des comptes rendues

prédéfinie présentant en détail les informations stockés dans la
BDD.
Pouvant être diffuser périodiquement ou ponctuellement,
souvent via Internet.
Principalement pour rendre compte du travail effectué à la
hiérarchie plutôt que de servir directement l’instrument d’aide à
la décision.
Reporting & Monitoring

Le Monitoring :

Passer d'une vision a posteriori (Reporting) à une logique de

pilotage
Accéder, en temps réel à l'état actuel et prévisionnel de
l'activité
Donner les informations clés, aux bonnes personnes, sous une
forme ergonomique.
Reporting & Monitoring

Le Monitoring :

Les tableaux de bord permettent de:

Communiquer la stratégie
Raffiner la stratégie
Augmenter la visibilité
Augmenter la coordination
Augmenter la motivation
Offrir une vision consistante de l’activité
Réduire les coûts et la redondance
Livrer des informations actionnables
Reporting & Monitoring

Le Monitoring

Les types de tableaux de bord :

Opérationnel: permet aux employés front-line de suivre de près

les processus opérationnels.
Tactique: aide les managers et analystes à suivre et analyser
l’activité, les processus et les projets du département.
Stratégique: permet aux dirigeants de délinéer leur progrès
vers la réalisation des objectifs stratégiques.
Reporting & Monitoring

Le Monitoring

Scorecard :

Utilisés principalement pour représenter la progression des

objectifs stratégiques et tactiques (long terme).
Les Scorecards Utilisent des graphes (comparaison des mesures
avec les objectifs) + des commentaires (actions prises,
interprétations des résultats, prévisions…).
 Reporting & Monitoring
Le Monitoring
Exemple entreprise de vente
Rapport :
Un rapport de performances
mensuelles des ventes
présentant les données
détaillées sur les ventes de
chaque produit, les revenus
par magasin, les tendances
saisonnières, et des analyses
approfondies sur les produits
les plus vendus.
Dashboard :
Un tableau de bord interactif
affichant graphiquement les
revenus en temps réel, les
ventes journalières, les
comparaisons entre
différents magasins, et
d'autres KPI cruciaux pour
permettre aux gestionnaires
de suivre la performance des
ventes quotidiennement.
Scorecard :
Une scorecard comparant les
objectifs mensuels de vente
fixés pour chaque région
avec les performances réelles
des ventes, attribuant des
indicateurs de performance
et des notations pour évaluer
la performance de chaque
région par rapport à ses
objectifs fixés.
Reporting & Monitoring

Le Monitoring

Les types d‘indicateurs :

Alerte: signalent un état anormal nécessitant une intervention à

court terme
Equilibration: assurant le constat de l’état du système et de son
avancement vers les objectifs. Ces indicateurs servent
notamment à maintenir le cap, et pourront être à l’origine des
actions correctives s’ils indiquent une dérive
Anticipation: informent sur le système dans son environnement
et peuvent induire des changements de stratégie et d’objectif.
Reporting & Monitoring

Le Monitoring

Identification des KPIs (Méthodologie GIMSI) :

Phase 1: Identification : quel est le contexte ?

Phase 2: Conception : que faut-il faire ?
Phase 3: Mise en œuvre : comment le faire ?
Phase 4: Suivi permanent : le système correspond-il toujours
aux attentes ?
 Reporting & Monitoring

Le Monitoring

Identification des KPIs

Un Objectif doit être :

Borné : l’objectif doit s’exprimer dans une dimension de temps finie

Mesurable : l’objectif doit s’exprimer en une unité mesurable
Accessible : les décideurs disposent des moyens nécessaires pour atteindre l’objectif
et les contraintes sont maîtrisables
Réaliste : la « méthode » d’accès est réaliste
Fédérateur : l’objectif recueille l’adhésion des décideurs
Constructif : l’objectif local contribue aux objectifs globaux
Reporting & Monitoring

Le Monitoring
Reporting & Monitoring

Dashboard Development Lifecycle

Reporting & Monitoring

Dashboard Development Lifecycle

Types de tests d’un dashboard

Tests fonctionnels :

1. Validation des données:

2. Recherche, tri, filtrage, pagination
3. Triggers, événements
4. Navigation
Reporting & Monitoring

Dashboard Development Lifecycle

Types de tests d’un dashboard

Tests d’integration :

S’assurer que le tableau de bord

fonctionne correctement
individuellement et en intégration
avec d’autres composants
Reporting & Monitoring

Dashboard Development Lifecycle

Types de tests d’un dashboard

Tests de regression :

Suivre les changements de données,

de métadonnées, d’images… du
tableau de bord après changement,
upgrade…
Reporting & Monitoring

Dashboard Development Lifecycle

Types de tests d’un dashboard

Tests non fonctionnels :

1. UI tests
2. Usability tests
3. Tests de compatibilité
4. Tests de migration
5. Tests de performance
6. Tests de sécurité et restrictions d’accès
Reporting & Monitoring

La tyrannie des métriques

Distorsion de l’information :

Mesurer le plus facilement mesurable

Mesurer le plus simple quand les objectifs escomptés
sont complexes
Mesurer les inputs au lieu des outcomes
Dégradation de la qualité de l’information par la
standardisation
Reporting & Monitoring

La tyrannie des métriques

Gaming the metrics :

Contourner par écrémage: chercher des objectifs plus

simples, des clients moins complexes etc.
Améliorer les chiffres en abaissant les normes
Améliorer les chiffres par omission ou distortion de
l’information
Tricher : La fréquence de la triche est proportionnelle à
l’enjeu de la métrique
VISUALISATION DES DONNÉES
Reporting & Monitoring

Concepts de la perception visuelle

3 concepts de la perception visuelle:

Les limites de la mémoire visuelle à court terme

Codage visuel pour une perception rapide
Principes de Gestalt de la perception visuelle
Reporting & Monitoring

Concepts de la perception visuelle

Types de mémoire :

Mémoire iconique (le registre sensoriel visuel): traitement

préconscient de l’information visuelle “preattentive processing” ->
Grande vitesse, capture des objets marquants, groupement d’un
ensemble d’objets.
Mémoire à court terme: stockage de l’information durant le
traitement conscient. -> Temporaire, portion dédiée à l’information
visuelle, capacité stockage limitée (3-9 chunks d’information
visuelle
Mémoire à long terme.
 Reporting & Monitoring

Concepts de la perception visuelle

Principes de Gestalt de la perception visuelle

 Reporting & Monitoring

Concepts de la perception visuelle

la visualisation de l’information

Le principe fédérateur pour une bonne conception visuelle est la

simplicité
Reporting & Monitoring

Concepts de la perception visuelle

Data-ink ratio - 5 principe de Tufte :

1. Above all else show data

2. Maximize data-ink ratio
3. Erase non-data-ink
4. Erase redundant data-ink
5. Revise and edit