Vous êtes sur la page 1sur 35

Séminaire

Décisionnel open source


Paris, le 25 mars 2010

Badr CHENTOUF, badr.chentouf@smile.fr


Laury MAGNE, laury.magne@smile.fr
Olivier COUSIN, olivier.cousin@smile.fr

http://www.smile.fr – tél 01 41 40 11 00

Sommaire

 Smile
Introduction
Concepts
Solutions décisionnelles open source
Cas clients
Conclusion

1
Présentation de Smile

19 ans d’expérience CA 2009 Plusieurs métiers


Intégration open source
20,5 Conseil et AMOA

1
M€ Design & Graphisme
ier
Maintenance (TMA)
intégrateur de +10% de croissance
Hébergement & exploitation
solutions open source
en France

Plusieurs gammes
5 agences en
France
de solutions Paris
Lyon
 Décisionnel Nantes
Bordeaux
 Gestion de contenu Montpellier
 Ecommerce
 Erp/Crm
 Ged
 Portails
320
Collaborateurs
3

Offre de services

2
Notre offre – la maturité open source

Portail

Gestion de CMS e-commerce


contenus
d’entreprise
GED
Travail
collaboratif BPM Décisionnel ERP et CRM
(Gestion des
processus)

Développement spécifique et framework

Infrastructure : Outils système – virtualisation – VOIP

Les livres blancs de Smile


► Architectures Web open source ► 200 questions pour choisir un CMS
Pour connaître les principes fondamentaux des Toutes les questions qu’il faut se poser pour
architectures web modernes et hautes-performances, choisir l’outil de gestion de contenu qui
et les outils associés. [170 pages] répondra le mieux à vos besoins [46 pages]
►Firewalls et VPN open source ►Conception d'applications web
Des outils indispensables pour une infrastructure
sécurisée, et les solutions open source règnent en Synthèse des bonnes pratiques pour l'utilisabilité et
maîtres. [58 pages]. l'efficacité des applications métier construites en
technologie web. [61 pages]
►Virtualisation open source
► Les 100 bonnes pratiques du web
Pour comprendre les principes de la virtualisation,
connaître les solutions, découvrir les domaines Cent et quelques « bonnes pratiques du web »,
d’applications variés, et bénéficier du retour usages et astuces, incontournables ou tout
d’expérience de Smile. [41 pages]. simplement utiles et qui vous aideront à construire un
site de qualité. [26 pages]
► Décisionnel : les solutions open source
Générateurs d’états, analyse multi-dimensionnelle, ► ERP/PGI: les solutions open source
ETL ou datamining, découvrez les meilleurs outils et Des solutions open source en matière d’ERP sont tout
suites de la business intelligence open source. [74 à fait matures et gagnent des parts de marché dans
pages] les entreprises, apportant flexibilité et coûts réduits.
[121 pages]
► Les frameworks PHP
Une présentation complète des frameworks et ► GED : les solutions open source
composants qui permettent de réduire les temps de Les vraies solutions de GED sont des outils tout à fait
développement des applications, tout en améliorant spécifiques ; l’open source représente une alternative
leur qualité. [77 pages] solide, une large couverture fonctionnelle et une forte
dynamique. [77 pages]
► Gestion de contenus : solutions open source
Dans la gestion de contenus, les meilleures solutions ► Référencement : ce qu’il faut savoir
sont open source. Du simple site à la solution Grâce à ce livre blanc, découvrez comment optimiser
entreprise, découvrez l’offre des CMS open source. la "référençabilité" et le positionnement de votre site
[58 pages] lors de sa conception. [45 pages]
► Portails : les solutions open source ► Introduction à l’open source
et au Logiciel Libre
Pour les portails aussi, l’open source est riche en
solutions solides et complètes. Après les CMS, Smile Son histoire, sa philosophie, ses grandes figures, son
vous propose une étude complète des meilleures marché, ses modèles économiques, ses modèles de
solutions portails. [50 pages] support et modèles de développement. [75 pages]
Les livres blancs Smile sont téléchargeables
gratuitement sur www.smile.fr

3
Quelques clients célèbres

Macif, Cadremploi, Dassault Systemes, Caisse D’Epargne, Bureau Veritas, Sport24, Inra,
Bouygues Telecom, Vinci, Ministère de l’Emploi, Hachette Filipacchi, Prisma Presse, Explorimmo,
Renault, Spie, Crédit Coopératif, La Poste, ETS, Gîtes de France, Yves Rocher, Bouygues
Construction, Longchamp, Dior, PagesJaunes, Merck, Zodiac, Souriau, Arjowiggins, Sanef,
Conseil Régional Ile de France, Ministère de l’Environnement, Commissariat à l’Energie
Atomique, Ministère du Tourisme, JCDecaux, HEC, Véolia, Groupama, Société Générale,

Sommaire

Smile
 Introduction
Concepts
Solutions décisionnelles open source
Cas clients
Conclusion

4
BI open source, un marché déjà
en place

• 4 acteurs majeurs : SpagoBI, Pentaho,


JasperSoft et Palo + 1 dans l’ETL : Talend
• Acteurs open source déjà bien installés
• Chacun sa spécialité et ses forces
• Chaine BI couverte : ETL, OLAP, Rapports,
Tdb, DataMining, Planification
• Système éditeur/partenaires intégrateurs en
place. Smile partenaire des éditeurs

Modèles économiques des


éditeurs BI open source

Sociétés « classiques », pas des fondations,


R&D majoritaire, puis Support, puis Sales
Sociétés déjà mondiales
2 modèles :
- Modèle ‘pure player’
Version communautaire et Version entreprise
⇒ Pentaho, JasperSoft, Palo, Talend, Infobright
- Modèle ‘éditeur/intégrateur’
Une seule version, revenus par les projets
⇒ SpagoBI, Vanilla

10

5
Forces de l’open source

Solutions opérationnelles, éprouvées


Coût de possession réduit, pas de cout
d’entrée
Ouverture du code, interopérabilité,
communauté, pilotage par les clients
Tests et évaluations libres
Faible coût commercial
Un modèle qui marche !

11

Fantasme ?

• Analyse du Gartner, oct 2009 d’Andreas


Bitterer
• Marché x5 entre 2009 et 2012
• Sans compter les projets community !

Ou plutôt réalité !

12

6
Sélection de références BI open
source
Public et collectivités : IEDOM (Banque de France) – INRA -
Agence pour l’Enseignement Français à l’Etranger - Institut
National de l’Audiovisuel - Maison de la France - CG Loire-
Atlantique (44) - CG Sarthe (72) – Trésorerie Générale du
Royaume (Maroc) – Sonelgaz (Algérie)
Industrie : Lafarge – Thales - Yves Rocher – Faiveley
Transport – Saint-Gobain Banque et assurance : BdF, Horus
Finance – PolyExpert Santé : Perouse Medical – Hosta
Immobilier : Observatoire Plurience – CecimObs
Agroalimentaire : Maiz’Europe – Saveol Services : Pierre
Audoin Consultants– KLB Group – ETS – CDiscount –
Companeo – Euronégoce - Skyrock Informatique et
télécom : Orange GOA – MeilleurMobile.com –
Technomedia – Mindscape - Qualidata - CoachClub
13

Sommaire

Smile
Introduction
 Concepts
Solutions décisionnelles open source
Cas clients
Conclusion

14

7
Architecture générale
OLAP analysis

PALO (de Jedox)


Budget

Company
Reporting
TALENDExtract
Transform the
JASPERSOFT
Ad-hoc
PDI ex Kettle Load datawarehouse
PENTAHO
(personal)
Reporting

SPAGO BI
Data
Excelextraction (csv) if needed

Applications sources
Operational databases

Business ex ex.
For : Marketing
production datamart,
datamarts datamart
finance datamart, HR datamart...

15

Datawarehouse, concepts
Le « datawarehouse » est une base de données qui :
1. réalise des « arrêts sur image » cadencés et mémorisés
2. décloisonne des informations par nature en « silos » (RH, finance,
commerce, production…)
3. agrège des événements sur des axes d’analyse
4. transforme l’exhaustivité (des événements) en pertinence (des
indicateurs de performance)
5. stocke des volumes de données qui peuvent être considérables
6. permet des temps de réponse immédiats à des requêtes qui
peuvent être complexes
7. gère de façon unifiée les droits d’accès des utilisateurs à des
informations souvent « sensibles »
8. unifie par son existence la source de données de toutes les
applications « aval » : reporting opérationnel, reporting financier,
cartographie, élaboration budgétaire…
=> c’est l’état de l’art en matière de base de données décisionnelles
Technologie relationnelle : MySQL, PostGreSQL, …
16

8
ETL, concepts

Alimente le datawarehouse
Une mise en œuvre technique, avec rapidement du
SQL ou même du javascript, du perl ou du java.
Deux ETL open source majeurs : Pentaho Data
Integration (ou PDI, ex Kettle) et Talend
Ces solutions sont par ailleurs intéressantes en dehors
du champ décisionnel,, pour l’intégration de
données, ie. tous les « batchs » développés et
exploités jusqu’ici manuellement …

17

Reporting adhoc, concepts


Permet à l’utilisateur final/métier de ne plus dépendre
des informaticiens pour construire ses propres rapports
• Par exemple, pouvoir sélectionner un pays, une gamme
de produits, l’indicateur CA, en faire un tableau, ajouter
un graphique, enregistrer la requête pour la ré-exécuter

L’utilisateur manipule des objets métier (les « clients »,
les « produits », les « magasins », le « CA »…)
Ces objets métier ont été au préalable définis dans
une couche dite sémantique qui masque la requête
SQL
Les rapports d’entreprise restent souvent du ressort des
spécialistes
Solutions : Pentaho, Jasper
18

9
Analyses OLAP, concepts
Analyse OLAP = analyse multidimensionnelle dynamique (i.e. en
temps réel)
Les données se présentent en « cube » avec possibilité de
rotation des axes d’analyse, de sélection, et de zoom
hiérarchique
Techniquement suppose le restockage des données de
production dans un modèle de données optimisé :
• ROLAP => restockage dans un datawarehouse (SGBDR)
• MOLAP => restockage dans une base de données
multidimensionnelle
L’utilisateur de ce type d’outil est le plus souvent un « power
user » : un analyste, un contrôleur de gestion… familier avec les
concepts multidimensionnels
Ne s’oppose pas aux outils de reporting : complémentaire pour
l’utilisateur
Solutions : Pentaho, Jasper, Palo

19

Modélisation, concepts

Une table unique dite « table de faits »


donnant une vision agrégée des faits
mais en réalité allégée ...
grâce à la présence des tables de dimension

Modélisation en étoile ou « star schema »


20

10
Modélisation, concepts
Bonne modélisation => Impact direct sur :
• Simplicité d’utilisation et fonctionnalités disponibles
• Maintenabilité/évolutivité de la structure
• Performances
mais difficile à appréhender
Une démarche possible (et éprouvée) :
1. Définition d’une modélisation cible globale pour tous les
domaines concernés
2. Première réalisation sur un périmètre réduit, pour mettre
cette modélisation à l'épreuve des faits.
3. Une démarche itérative, avec un réel pilotage du projet
Mots clés = simplicité, transfert de compétences techniques
et end-user, rigueur, communication.
Conclusion : « End-users understanding the data dictionary is
the key to simple and IT-independant maintenance »
21

Sommaire

Smile
Introduction
Concepts
 Solutions décisionnelles open source
Cas clients
Conclusion

22

11
Sommaire
Smile
Introduction
Concepts
Solutions décisionnelles open source
 • MySql, PostGreSql et infobright
• Talend
• SpagoBI
• JasperSoft
• Pentaho
• Palo
Cas clients
Comparatif
Conclusion
23

Datawarehousing open source


Solutions BI open source compatibles avec les bases de données
propriétaires.
Offre open source performante avec MySQL et PostgreSQL

Infobright :
•Moteur de stockage en colonnes pour MySql
•Utilisation transparente pour l’informatique
•Algorithme mathématique puissant de compression des données et aussi
de gestion des métadonnées
•Adapté aux très grosses volumétries, jusqu’à 30 To
•Des résultats impressionnants : x10 à 40 en stockage, x10 à 40 en vitesse
de lecture
•Adapté pour de l’OLAP et inadapté pour de l’OLTP …

24

12
Sommaire
Smile
Introduction
Concepts
Solutions décisionnelles open source
• MySql, PostGreSql et infobright
 • Talend
• SpagoBI
• JasperSoft
• Pentaho
• Palo
Cas clients
Conclusion

25

Talend

• Editeur open source français fondé en 2005


• Très forte croissance, de nombreux investisseurs et
clients
• Studio graphique de création des transformations et
des tâches (TOS)
• ETL de type « générateur de code » à déployer puis
exécuter
• Suite logicielle intégrée de gestion des données (TIS)
• Talend Forge : >200 composants open source

26

13
Talend Open Studio

Vision métier des


modèles et des
transformation.

27

Talend Integration Suite


• Studio enrichi fonctionnellement
• Gestion des environnements et des
déploiements
• Référentiel partagé
• Supervision

• Version avancé MDx et RTx


• Module Qualité de données :
→ Open Profiler : représentation en
amont, indicateurs
→ Data Quality : Correction,
nettoyage, enrichissement,
rapport

28

14
Nouveauté : MDM
• Gestion du dictionnaire d’entreprise (propagation de
la vérité, interrogation des systèmes tiers, historisation)
• Solution globale et intégrée à la suite
=> Etend l’offre de Talend

29

Sommaire
Smile
Introduction
Concepts
Solutions décisionnelles open source
• MySql, PostGreSql et infobright
• Talend
 • SpagoBI
• JasperSoft
• Pentaho
• Palo
Cas clients
Conclusion

30

15
Spago BI

Editeur R&D SSII italienne ‘Engineering’


Plateforme d’intégration ouverte à de
nombreux moteurs décisionnels tiers :
JasperReport, BIRT, Talend, JPivot, JPalo,
Business Objects
A développé ses propres moteurs :
dashboards, kpi, adhoc, maps

31

Restitutions

OLAP avec Mondrian / JPivot


Moteur KPI
Tdb composites interactifs

32

16
Reporting avec BIRT
• Développé par Actuate, membre de
la fondation Eclipse
• Produit déjà très largement répandu
pour du reporting embarqué
• Requêtes SQL
• Permet des tableaux croisés sans
cube rolap

33

Studio et Meta
Studio dans Eclipe : Birt,
Dashboards, Geo, …
simplificateur !

Meta : couche sémantique


Opérationnelle en web
Alpha : intégration au Studio

34

17
Sommaire
Smile
Introduction
Concepts
Solutions décisionnelles open source
• MySql, PostGreSql et infobright
• Talend
• SpagoBI
 • JasperSoft
• Pentaho
• Palo
Cas clients
Conclusion

35

JasperSoft BI Suite
Editeur US
D’abord JasperReport en 2001, API java de moteur de
rapport, couplé à un éditeur graphique
Puis suite BI complète, avec application web de
diffusion des rapports et d’interrogation adhoc
Suite BI
- Jasper Server
- Jasper Analysis
- Jasper Reports
- Jasper ETL

36

18
Jasper Server

• Référentiel
• Droits
• Exécutions
automatiques

• Recherche
• Filtres

37

Jasper Server

• adhoc avancé
• Rapports – graphiques - tc

• filtres continus en mémoire


• fonctions calculées

38

19
Jasper Server

39

Jasper Analysis

• Mondrian & Jpivot


• Complémentaire à l’adhoc

40

20
Jasper Reports & iReport

• Rapports avancés
« pixel perfect »

• Lecture /écriture
/exécution des rapports
du référentiel

• Requêtes sql et adhoc

• Réutilisation possible des


rapports adhoc

41

Domaines

•Couche sémantique
sur BDDs
•Vues en mémoire
•Eléments calculés
•Internationalisation
•Conception en web

42

21
Sommaire
Smile
Introduction
Concepts
Solutions décisionnelles open source
• MySql, PostGreSql et infobright
• Talend
• SpagoBI
• JasperSoft
 • Pentaho
• Palo
Cas clients
Conclusion

43

Pentaho
Éditeur US
A rallié des projets open source clés. Toujours
très relié à sa communauté
Comprend toute la chaîne logicielle en propre
-Console Utilisateur : Analysis, Dashboards,
Reports
-Outils de dév : Data Integration - Report
Designer - Metadata Editor
-Console d’administration

44

22
Console Utilisateur
Portail web pour l’accès à tous les documents décisionnels.

45

Pentaho Analysis
Mondrian, serveur R-OLAP
• Drill down, drill through, export xls, inversion,
graphiques …
Exploration interactive des données, avec
tableaux, graphiques, valeurs calculées …
Nouvelle interface : Analyzer

46

23
Analyses adhoc

47

Tableaux de bord

48

24
Metadata Editor
•Designer graphique des modèles métier
→ Masquer le SQL aux utilisateurs métier
•Sécurité d’accès à la donnée

→ Utilisé principalement par l’interface adhoc Web

49

Report Designer
•Designer graphique des
rapports
Multi-sources, mise en
forme avancée,
graphiques et tableaux

•Publication sur le portail

50

25
Data Integration

Lit et écrit n’importe


quelle source :
BDDs du marché,
AS/400, 4D, XML,
CSV, XLS, LDAP,
MsAccess …
Référentiel de job
toujours connecté
au déploiement
Console de
supervision

51

Console Administrateur
Interface web permettant la configuration du serveur, le
monitoring, la gestion des groupes / utilisateurs

52

26
Agile BI avec PDI v4
Intégration des
restitutions directement
dans l’ETL

Prévisualisation sous forme


de rapport.

Ou dans un cube
Multidimensionnel
Dynamique

53

Sommaire
Smile
Introduction
Concepts
Solutions décisionnelles open source
• MySql, PostGreSql et infobright
• Talend
• SpagoBI
• JasperSoft
• Pentaho
 • Palo
Cas clients
Conclusion

54

27
Palo
Jedox, société allemande fondée en 2002
1 bureau en France
Palo, la base multidimensionnelle qui fait la
différence !
•Analyse olap, saisie de données, simulation,
suivi des écarts
•Moteur de règles
•Cubes en mémoire
•Accès avec MsExcel ou OOCalc et tableur
web

55 55

Palo Suite
Analysis, Reporting, Planning & Budgeting, Forecasting, Dashboard, Consolidation

Palo for Excel Palo Web


XL Add-in OO Add-in (zero-foot print, Firefox, Internet Explorer)

Palo Supervision Server


OLAP

Palo ETL

Data Warehouse ERP SGBD Web


Services

56 56

28
Addin Excel

57

Palo Web
Un tableur Web

58

29
Palo Web

• Référentiel de
documents
• Publication
• Gestion des droits

59

Sommaire

Smile
Introduction
Concepts
Solutions décisionnelles open source
 Cas clients
Conclusion

60

30
IEDOM

• Mission d’observatoire économique des économies ultramarines

• Application existante « FIDEC-2 »


 Mode de fonctionnement de FIDEC-2 :
 BAFI
 Evolan Report

• Evolutions nécessaires
 limites rencontrées : cycle de synchronisation, besoins d’analyse
multidimensionnelle...
 Nouvelle réglementation bancaire
 émergence d’une nouvelle « taxonomie » : SURFI
 protocole de transport de l’information XBRL 26/03/2010 p- 61
 mise en production réglementaire : juin 2010 61

IEDOM
IEDOM & IEOM
PROCESSUS METIER :
Pôle Observatoire des EC
Suivi des EC
Connecteur open source
SURFI XBRL Siège
écrit par Smile
DOM & COM Requêtes

DWH
Etablissements
Requêtes Formulaires PALO
de Crédit
Corrections BAFI XBRL
~100

9 Agences

1. Collecte trimestrielle et annuelle


2. Conservation, contrôle et corrections
3. Production de statistiques et analyse

10 années d’historique représentant 1 500 000 lignes

62

31
LAFARGE
• LAFARGE : le contexte
• Direction de la Stratégie Groupe
• LAFARGE : le challenge
• Besoin de mettre en place un observatoire des marchés
• LAFARGE
• Collecter l’information de 80 BU:dans
le résultat
le monde entier
• Suivre la collecte•et laVisibilité sur les
qualité des marchés et les acteurs
données
• Corrélation avec des données macro-économiques (Kuznets)

63

Focus cartographie
• Google Maps
• OpenStreetMap
• OpenLayer
• PosGIS

64

32
Focus SAP
• Synchronisation de
données
• Alimentation dwh

• Talend : I/O BAPI,


RFC et iDoc
• Palo : I/O avec
Palo ETL
• Kettle : I/O en beta

65

Sommaire

Smile
Introduction
Concepts
Solutions décisionnelles open source
Cas clients
 Conclusion

66

33
Comparatif
INTERFACE WEB ergonomie
OLAP web
5
r-olap Pentaho
5 4
3
4
ergonomie 2 dashboarding
3
adhoc 1 end-user
2
simulation web 0
1
0

Difficile de comparer
Palo …JasperSoft Pentaho
adhoc carto Jasper
Exercice
excel théorique
m-olap à aujourd’hui … très
changeant REPORTING
JasperSoft
ergonomie
Pentaho 5
SpagoBI 4
Palo croisement
graphiques Palo
3
sources 2
SpagoBI
1
0

tableaux fonctions
croisés calculées

67
adhoc

Conclusion

Des suites et des produits opérationnels et à


l’état de l’art
Une offre plurielle : MOLAP/ROLAP, adhoc,
ETL, licences, … qui peut même se combiner
De nouvelles fonctionnalités tous les trimestres

Il n’y a pas UNE solution gagnante, cela
dépend de votre contexte !

68

34
Notre métier : mener à terme des
projets décisionnels
Dans la phase de conception : formalisation des besoins,
définition des axes d’analyse et des indicateurs, définition des
rapports et des TdB, modélisation du DWH et des cubes, choix
d’outils
Dans la phase d’implémentation : direction de projet, et
expertise technique sur la mise en œuvre de l’ETL, le
paramétrage des plateformes B.I. , la réalisation de rapports,
la réalisation de tableaux de bord, le développement de
modules spécifiques, l’optimisation des performances
Dans la phase d’utilisation : formation des utilisateurs,
accompagnement au changement, analyse des données,
exploitation des serveurs, hébergement

69

35