Panorama d’outils

décisionnels en open source

Boughaba Ossama
Avril 2007
 Plan
• Bases de données et entrepôt de
données au service de l’entreprise.
• ERPs et ETLs.
• Postgres comme solution pour les
Systèmes d’informations de demain.
• Configuration de Postgres pour la haute
disponibilité.
• Configuration de Postgres pour le
décisionnel.
 Plan
• Création de tableaux de bords avec
JasperReports.
• Outils de décisionnel en opensource.
• Alimentation du datawarehouse avec
l’ETL Octopus.
• OLAP sur Mondrian.
• Conclusion
• Questions
 Animateur
Boughaba Ossama

• Développeur d’applications d’entreprises

• Chef de Projet

Caciopee SARL
oboughaba@caciopee.com
boughaba@gmail.com
 CHU IBN ROCHD CASABLANCA

CACIOPEE LA SOCIETE

 Société de Services Informatiques

 Sept années d’existence
 Objectif: devenir une référence en matière de
Services Informatiques au Maroc et à l’Étranger.
 CHU IBN ROCHD CASABLANCA

CACIOPEE LA SOCIETE

N ous avons adopté dès fin 2000,les m éthodologies etles technologies

d’aujourd’hui…

S.O.A

®
 CHU IBN ROCHD CASABLANCA

CACIOPEE LA SOCIETE

… etm aî trisé les plateform es etoutils les supportant

 CHU IBN ROCHD CASABLANCA

CACIOPEE LA SOCIETE

Nosm étiers:

Conseil

Formation

Développement
Bases de données et
entrepôts de données
Au service de l’entreprise
 Bases de données &
Datawarehouse

Contexte :
• L’élargissement des secteurs d’activité et
les évolutions dues à la mondialisation.
• La concurrence accrue et l’obligation de
sortir rapidement des produits innovants.
 Bases de données &
Datawarehouse

Implications :
• Le besoin permanant d’accéder aux
données d’exploitation.
• Le besoin accru d’accédé aux données historiées
à fin de vérifier les performances et dessiner la
stratégie.
Système d’information et fonctions
des organismes
 Bases de données &
Datawarehouse

Solution :
• Les SI en datawarehouses et les outils de
requêtage permettent de dégager
l’information stratégique.
Bases de données &
Datawarehouse

Sources et utilisation du datawarehouse

ERPs et ETLs
 L’ERP
• L’idée de l’ERP (Entreprise Ressource
Planning) est l’idée d’un outil informatique
taillé entreprise qui :
– Emane d’un concepteur unique.
– Couvre d’une façon modulaire plusieurs ou la
totalité des activités de l’entreprise.
– Repose sur une base de données unique.
– Garantie la piste d’audit.
 L’ERP
• Deux dimensions capitales pour l’ERP
– Le degrés d’intégration.
– La couverture opérationnelle.
 L’ERP
• La répartition des coûts dans un projet
ERP.
Point forts en statistiques de l’ERP
 Exemple d’ERP : Compiere

Un menu exhaustifs !
 Exemple d’ERP : Compiere

• L’utilisateur participe à des

workflows.
Exemple d’ERP : Compiere

• Et à des écrans de maintenance

 ETLs

« Extract-Transform-Load »
 ETLs
• « Extract-Transform-Load »

• Il s'agit d'un middleware permettant d'effectuer

des synchronisations massives d'information
d'une base de données vers une autre.
• Selon le contexte, on traduira par
« alimentation », « extraction »,
« transformation », « constitution » ou
« conversion », souvent combinés.
Alimentation des Datawarehouses

Schémas simple
Schémas de production sur
talend
Postgres comme solution pour les
Systèmes d’informations de
demain
 Paysage des bases de données
Open Source
• Le monde du logiciel libre dispose d’une
gamme complète de solutions de
persistance.
– Business (postgres)
– Scientifiques (mysql)
– Embarquée (hsqldb, Mkoi)
– Web (mysql)
– Performance (msql)
 Paysage des bases de données
Open Source
• Certaines sociétés qui proposaient des
bases de données qui ont atteint le cycle
d’intégration dans d’autres produit,
distribuent aujourd’hui gratuitement leurs
Bases de données.

– FireBird (Borland)
– SapDB (SAP)
 Cas de PostgreSQL
• PostgreSQL est le fruit de longues années de
développement à l’université de Berkeley et sponsorisé
par des institution hautement importantes aux états unis.
– Defense Advanced Research Projects Agency (DARPA)
– the Army Research Office (ARO)
– the National Science Foundation (NSF)
– …
• Depuis 1986 PostgreSQL est développé et utilisé dans
les domaines financiers, médicales, GIS, messagerie …
• Aujourd’hui Postgres est en développement actif par la
communauté ainsi que par des société telles que Sun et
Fujitsu
 Cas de PostgresSQL
• Ce développement est à l’origine des
base de données relationnelles les pus
avancées.
– DB2
– Informix
– Ingres (l’œuf et la poule)
– Sybase
 Cas de PostgreSQL
• Techniquement PostgreSQL est un SGBDR
mature et avancé qui offre les possibilités
suivantes. (et au delà)
– Intégrité référentielle.
– Transactions.
– Vues.
– Triggers.
– Procédures stockées.
– Héritage.
– Schémas.
– Interfaces programmables.
 Cas de PostgreSQL
• PostgreSQL gagne en popularité grâce au
développement continue de ses fonctionnalités
notamment.

– Support des plateformes Windows.

– Tablespaces.
– Vacuum.
– PL/SQL.
– SQL 99.
– Accès concurrents.
– …
 PostgreSQL en environnement de
production
• PostgreSQL est une base de donnée
destinée qui supporte des
environnements d’exploitation divers et
exigeants
– Linux, Unices (AIX, Solaris, HP-UX, SGI IRIX,
Mac OS X, Tru64 ), Windows NT, Beos…
– Champs jusqu’as 1GB, enregistrements
jusqu’as 1.6TB, Tables jusqu’as 32TB …
– Les DBA déclarent que postgres supporte
aisément des BD a 4TB sur un serveur a 8
processeurs.
 Installation de PostgreSQL
• PostgreSQL est distribué avec la majorité
des Systèmes d’exploitation Linux. Il est
aussi disponible pour une grande partie
des autres Unix.
• La version 8 de PostgreSQL est
installable sous Windows grâce au
système msi.
Configuration de Postgres
pour la haute disponibilité
 Haute disponibilité
• Souvent les Systèmes de production
exigent de la haute disponibilité afin de
garantir la continuité de service même en
cas de panne sur un serveur.

• Les bases de données commerciales

proposent des offres solides dans ce
sens
 Réponse open source
• Sequoria est un middleware transparent
pour une solution de clusturing.
• Il propose un Driver JDBC générique et
s’occupe de la distribution de charge sur
les nœud du cluster.
• Sequoria propose aussi l’implémentation
de la haute disponibilité requise par les
systèmes de production
L’outil sequoria
 Réponse open source
• Autres avantages :

– Reprise transparente après incidents

– Cache intégré sur requêtes
– Administration JMX
– Licence Apache
– Support commercial
–…
Configuration de Postgres
pour le décisionnel
 Problème de la transaction
• Les applications demandent à ce que un
ensemble d’opérations soient menée d’un coup.
• Dans une opération de vente
– Vérifier le stock.
– Mettre à jours les quantités.
– Générer une commande fournisseur en cas de besoin.
– Enregistrer la vente.
– Générer une Facture.
– …
Problème de la transaction
 Critères ACID
• Les transactions garantissent :

– Atomicité.
– Consistance
– Isolation
– Durabilité
 Niveaux d’isolation
• Trois phénomènes sont à éviter en cas de
concurrence :

– Dirty reads

– Nonrepeatable reads

– Phantom reads
Niveaux d’isolation
 Postgres pour datawarehouse
• Optimiser une base de données postgres
pour le Datawarehouse.

1) Niveau d’isolation
#default_transaction_isolation = 'read committed‘

2) Transactions en lecture seule par défaut

#default_transaction_read_only = on
 Postgres pour datawarehouse
• Autres paramètres :

max_connections : pour éviter le swap

shared_buffers : mémoire occupée par
postgres
max_fsm_pages : Espace d’élément
supprimés
work_mem : mémoire de tri
 Postgres pour datawarehouse
• Autres paramètres :

commit_delay : augmenter les chances d’un

commit groupé
fsync : désactiver la synchronisation avant
le commit
 Etapes d’exécution d’une requête
1. Transmission of query string to
database backend
2. Parsing of query string
3. Planning of query to optimize retrieval of
data
4. Retrieval of data from hardware
5. Transmission of results to client
 Réglages génériques du coté de
l’application cliente

3. Utilisation des pools de connections

5. Utilisation des requêtes précompilée

 Postgres pour datawarehouse
• Mais surtout :

• Un design saint des tables de la base de

donnée.
• Des requêtes et un mode requêtage bien
étudiés.
Création de tableaux de bords
avec jasper reports
 Création de tableaux de
bords avec jasper reports
Jasper Reports, IReport
 Plan
• Introduction.
• Installation des outils.
• Fonctionnement de Jasper Reports.
• Utilisation de Jasper Reports.
• Utilisation de IReport.
 Plan
• Utilisation de IReport.
– Rapport simple.
– A partir de la base de donnée.
– Avec diagramme.
– Avec code barre.
– Sous Rapports.
 Introduction
• Les Reports constituent une partie
importante dans les applications
d’entreprises.
• Ils aident à
– Produire des documents.
– Dresser des tableaux de bord .
– D’aider aux décisions.
• Les solutions de reporting sont pour la
plupart propriétaires et coûteuses.
 Introduction
• Il existe un ensemble de normes et de
produits standards et open sources qui
s’adressent à ce problème.
– Standards
• xsl
• xsl-fo.
– Outils
• Jfree chart,
• Jasper report
• IReport.
 Introduction : Jasper Reports.
• Jasper Reports est un projet open source
stable et largement utilisé.
• Le Projet est hébergé sur
http://jasperreports.sourceforge.net/
• Le support professionnel est garantit sur
http://www.jaspersoft.com
 Introduction : IReport.
• IReport est l’éditeur graphique open
source le plus avancé pour Jasper
Reports.
• Le Projet est hébergé sur http://
ireport.sourceforge.net
• La documentation étendue et support
commercial sont disponibles sur http://
www.ireport.org
 Installation des outils
• Les outils Jasper Report et IReport présentent
des avantages majeures.
– Open sources.
• Extensibles, personnalisables, ne contiennent pas de code
malveillant.
– Gratuit.
• Peuvent être testés sans contraintes. Adoptés ou laissés.
• Na gonflent pas le budget du projet.
– Java.
• Portables, s’installent par simple copie, ne touchent pas aux
dll, bases de registres autres programmes …
• Peuvent s’intégrer aux produits java et J2EE.
Fonctionnement de Jasper Reports
• Jasper Reports Fonctionne en tant que
Compilateur et interpréteur
• Il accepte en entrée un xml compatible avec
jasperreports.dtd
Fonctionnement de Jasper Reports
• L’xml décrit la structure du document,
l’emplacement des éléments la source de
données, les calculs …
• Le document xml doit être compilé vers
un document .jasper
• Avec un document xml compilé et une
source de donnée jasper reports réalise
une impression.
Fonctionnement de Jasper Reports
• Jasper Reports exporte son impression
vers une page Web ou vers une
application
 Utilisation de Jasper Reports.
• Jasper Reports est distribué en code source
autant que projet Eclipse.
• Le Projet peut être modifié et recompilé grâce à
Jakarta ant.
 Autours de Jasper Reports
• Jasper Reports expose ses possibilités à
travers les exemples compilables et
démontrables.
 Fonctionnement de IReport
• IReport offre aux utilisateurs de Jasper
Reports une interface graphique pour le
design de leur rapports
 Avec diagramme

• IReport Utilise la librairie JFreeChart

disponible sur http://www.jfreechart.org.
pour créer des diagrammes.
• JFreeChart est gratuite ouverte et
populaire.
• JFreeChart permet de créer des
diagrammes de type camemberts, lignes,
barres … en plat ou en 3D.
Avec diagramme
A partir de la base de données
A partir de la base de données
 Sous Rapports
• Pour créer des rapport plus complexes on
peut élaborer des requêtes SQL plus
recherchées.
• Seulement les rapports simples peuvent
être insuffisants pour montrer
– plusieurs tableaux dans un seul rapport.
– des détails de type master/slave.
 Sous Rapports
• Jasper Reports (et l’outil IReport) introduit
la notion de sous rapports (subreports).
• Un sous rapport est un rapport normal
pouvant être inclus dans un rapport
parent.
• Le sous Rapport peut recevoir des
paramètres du rapport parent.
Sous Rapports
Alimentation du datawarehouse
avec l’ETL Octopus
 ETL Octopus
• Octopus est un ETL simple d’utilisation il
permet, d’extraire transformer et charger
vers n’importe quelle base compatible
JDBC.
• L’accès aux ressources CSV, Excel,
Acess et XML peu se faire à travers le
pont JDBC-ODBC
Architecture
 ETL Octopus

• Exécuter des taches imbriquées selon

des valeurs calculées en runtime.

• Les taches Octopus peuvent être

exécutée par scripts Ant (donc
programmés dans des scripts de build)
OLAP sur Mandrian
 OLAP sur Mandrian
• L’analyse multidimensionnelle est
souvent très efficace pour découvrir les
tendances.
• Le Sytème doit répondre suffisamment
rapidement à des requêtes en général en
lecture seule
 OLAP sur Mandrian
• Les bases de données classiques
peuvent supporter l’OLAP
• Un DataSet est un ensemble de données
à analyser.
 OLAP sur Mandrian
• Au niveau Base de données les données
sont généralement représentée sous la
notation étoile :
 OLAP sur Mandrian
• Mandrian est outil d’analyse de données
membre de l’offre Pentaho.
• Mandrian utilise le langage MDX pour le
requêtage des Datasets

SELECT {[Measures].[Unit Sales],

[Measures].[Store Sales]} ON COLUMNS,
{[Product].members} ON ROWS
FROM [Sales]
WHERE [Time].[1997].[Q2]
 Architecture de Mandrian
• 4 couches :
– Présentation : données en tables intéractives,
camemberts, histogrammes, XML…
– Couche dimensionnelle parse et valide les requêtes
MDX
– Couche étoile : maintien un cache de mesures
agrégées.
– Couche Base de données : Mandrian utilise la
puissance d’une base de données bien configurée au
lieu de redéfinir un espace de stockage
multidimensionnel
 L’API Mandrian
• L’API Mandrian reprend le model JDBC
• Connection connection =
DriverManager.getConnection( "Provider=mondrian;" +
    "Jdbc=jdbc:odbc:MondrianFoodMart;" +
    "Catalog=/W EB-INF/FoodMart.xml;", null, false);
Query query = connection.parseQuery(
    "SELECT {[Measures].[Unit Sales], [Measures].[Store Sales]}
on columns," + " {[Product].children} on rows " +
    "FROM [Sales] " +
    "W HERE ([Time].[1997].[Q1], [Store].[CA].[San Francisco])");
Result result = connection.execute(query);
result.print(new PrintW riter(System.out));
• Mandrian propose également une API XML pour
être invoqué à partir de programmes non java
Le schémas
Utilisation du moteur de Mandrian à
partir de JPivot
• JPivot offre une librairie de tags afin de
naviguer dans un schéma OLAP

• JPivot offre une interface JSP pour le

moteur de Mandrian (entre autres).
Utilisation du moteur de Mandrian à
partir de JPivot
Editeur de requêtes MDX
Utilisation du moteur de Mandrian à
partir de JPivot
• Résultat en histogramme
Utilisation du moteur de Mandrian à
partir de JPivot

• Tableau de
mesures
avec axe
hiérarchique
Conclusion
Questions ??