Vous êtes sur la page 1sur 96

Dcisionnel :

open source

le meilleur des solutions

Page 1

WWW.SMILE.FR
Prambule
Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions

Page 2

PREAMBULE
SMILE
Smile est une socit dingnieurs experts dans la mise en uvre de solutions open source et lintgration de systmes appuys sur lopen source. Smile est membre de lAPRIL, lassociation pour la promotion et la dfense du logiciel libre, du PLOSS le rseau des entreprises du Logiciel Libre en Ile-de-France et du CNLL le conseil national du logiciel libre. Smile compte plus de 700 collaborateurs dans le monde, dont plus de 550 en France (avril 2013), ce qui en fait le premier intgrateur franais et europen de solutions open source. Depuis 2000, environ, Smile mne une action active de veille technologique qui lui permet de dcouvrir les produits les plus prometteurs de lopen source, de les qualifier et de les valuer, de manire proposer ses clients les produits les plus aboutis, les plus robustes et les plus prennes. Cette dmarche a donn lieu toute une gamme de livres blancs couvrant diffrents domaines dapplication. La gestion de contenus (2004), les portails (2005), la business intelligence (2006), la virtualisation (2007), la gestion lectronique de documents (2008), les PGIs/ERPs (2008), les VPN open source (2009), les Firewall et Contrle de flux (2009), les Middleware orients messages (2009), lecommerce et les Rseaux Sociaux d'Entreprise (2010), le Guide de lopen source et NoSQL (2011), et plus rcemment Mobile et Recensement et audit (2012). Chacun de ces ouvrages prsente une slection des meilleures solutions open source dans le domaine considr, leurs qualits respectives, ainsi que des retours dexprience oprationnels. Au fur et mesure que des solutions open source solides gagnent de nouveaux domaines, Smile sera prsent pour proposer ses clients den bnficier sans risque. Smile apparat dans le paysage informatique franais comme le prestataire intgrateur de choix pour accompagner les plus grandes entreprises dans ladoption des meilleures solutions open source. Ces dernires annes, Smile a galement tendu la gamme des services proposs. Depuis 2005, un dpartement consulting accompagne nos clients, tant dans les phases davantprojet, en recherche de solutions, quen accompagnement de projet. Depuis 2000, Smile dispose dun studio graphique, devenu en 2007 Smile Digital agence interactive, proposant outre la cration graphique, une expertise e-marketing, ditoriale, et interfaces riches. Smile dispose aussi dune agence spcialise dans la TMA (support et lexploitation des applications) et dun centre de formation complet, Smile Training. Enfin, Smile est implant Paris, Lille, Lyon, Grenoble, Nantes, Bordeaux, Marseille et Montpellier. Et prsent galement en Espagne, en Suisse, au Benelux, en Ukraine, au Maroc et en Cte dIvoire.

WWW.SMILE.FR

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions

Page 3

QUELQUES REFERENCES DE SMILE


ERP et Dcisionnel Veolia, LaPoste, ChristianLouboutin, Eveha, SunR, HomeCineSolutions, PubAudit, Effia, France24, Publicis, iCasque, Nomadvantage, Gets, NouvellesFrontires, Anevia, Jus de Fruits de Moora, EspaceLoggia, Bureau Veritas, Skyrock, Lafarge, Cadremploi, Meilleurmobile.com, Groupe Vinci, IEDOM (Banque de France), Carrefour, Jardiland, Trsorerie Gnrale du Maroc, Ville de Genve, ESCP, Sofia, Faiveley Transport, INRA, Deloitte, Yves Rocher, ETS, DGAC, Generalitat de Catalunya, Gilbert Joseph, Perouse Mdical, Socit Gnrale, Solucom, Corsairfly, Virgin, Nexway, Sagem Gestion documentaire Generali, HEC, JCDecaux, Serimax, Pierre Audoin Consultant, Alstom Power services, NetasQ, CS informatique, SNCF - Direction du matriel, Mazars, EDF R&D, EDF Nuclaire, Conseil Rgional du Centre, Leroy Merlin, Primagaz, Renault F1, INRIA, Ministre belge de la Communaut Franaise, APAVE, CNIL, Services du Premier Ministre... Sites Internet EMI Music, Salon de lAgriculture, Mazars, Areva, Socit Gnrale, Gtes de France, Patrice Pichet, Groupama, Eco-Emballage, CFnews, CEA, Prisma Pub, Volia, NRJ, JCDecaux, 01 Informatique, Spie, PSA, Boiron, Larousse, Dassault Systmes, Action Contre la Faim, BNP Paribas, Air Pays de Loire, Forum des Images, IFP, BHV, ZeMedical, Gallimard, Cheval Mag, Afssaps, Bnteau, Carrefour, AG2R La Mondiale, Groupe Bayard, Association de la Prvention Routire, Secours Catholique, Canson, Veolia, Bouygues Telecom, CNIL Portails, Intranets et Systmes dInformation HEC, Bouygues Telecom, Prisma, Veolia, Arjowiggins, INA, Primagaz, Croix Rouge, Eurosport, Invivo, Faceo, Chteau de Versailles, Eurosport, Ipsos, VSC Technologies, Sanef, Explorimmo, Bureau Veritas, Rgion Centre, Dassault Systmes, Fondation dAuteuil, INRA, Gaz Electricit de Grenoble, Ville de Niort, Ministre de la Culture, PagesJaunes Annonces E-Commerce Krys, La Halle, Gibert Joseph, De Dietrich, Adenclassifieds, Macif, Furet du Nord, Gtes de France, Camif Collectivit, GPdis, Projectif, ETS, Bain & Spa, Yves Rocher, Bouygues

WWW.SMILE.FR

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions

Page 4

Immobilier, Nestl, Stanhome, AVF Primdical, CCI, Pompiers de France, Commissariat lEnergie Atomique, Snowleader, Darjeeling Infrastructure et Hbergement Agence Nationale pour les Chques Vacances, Pierre Audoin Consultants, Rexel, Motor Presse, OSEO, Sport24, Eco-Emballage, Institut Mutualiste Montsouris, ETS, Ionis, Osmoz, SIDEL, Atel Hotels, Cadremploi, SETRAG, Institut Franais du Ptrole, Mutualit Franaise

WWW.SMILE.FR

Consulter nos rfrences, en ligne, ladresse : http://www.smile.fr/clients.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
CE LIVRE BLANC

le meilleur des solutions

Page 5

Aprs avoir pris lascendant sur des marchs entiers, tels que la gestion de contenus, les portails, ou les frameworks de dveloppement, lopen source gagne des parts de march dans les solutions daide la dcision, avec des solutions aujourdhui trs comptitives. Comme les autres livres blancs publis par Smile, cet ouvrage sefforce de runir : Une approche gnrale de linformatique dcisionnelle, ses concepts, ses champs dapplication, ses besoins spcifiques.

WWW.SMILE.FR

Un recensement des meilleurs outils open source dans le domaine du dcisionnel. Une prsentation assez complte de ces outils, de leurs forces, de leurs limites, de leur maturit et de leur aptitude satisfaire des besoins oprationnels. Une prsentation des offres de supports professionnels existantes en accompagnement de ces outils. Cette tude, ralise par notre quipe de consultants dcisionnels, a t fonde sur plusieurs annes de travail de recherche, de dploiements effectifs, et est optimise en permanence par le biais des mises en uvre oprationnelles pour nos clients.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
VERSION 2013

le meilleur des solutions

Page 6

Depuis la premire publication de ce livre blanc en Juin 2006, chaque anne a vu une nouvelle version, fruit du travail sur les projets et de veille sur les outils. Cette version 2013 permet de prendre en compte les apports des nouvelles versions de solutions open source : SpagoBI 3.6, Pentaho 4.8, JasperSoft BI 5.0, Jedox 4.0, Talend 5.2, BIRT 4.2. De nouvelles solutions font galement leur apparition dans ce livre blanc : Saiku et CTools, deux projets open source ports par des communauts de plus en plus fortes. Le sujet du Big Data, pour le stockage et lanalyse de grandes masses de donnes, a galement t mis jour.

WWW.SMILE.FR

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions

Page 7

SOMMAIRE
PREAMBULE ..................................................................................................................... 2
SMILE....................................................................................................................................................................... 2 QUELQUES REFERENCES DE SMILE ................................................................................................................................... 3 CE LIVRE BLANC ........................................................................................................................................................... 5 VERSION 2013 ............................................................................................................................................................ 6

WWW.SMILE.FR

SOMMAIRE ....................................................................................................................... 7 PRINCIPES ......................................................................................................................... 9


LAIDE A LA DECISION .................................................................................................................................................... 9 GENERATEUR DE RAPPORTS OU REPORTING..................................................................................................................... 10 ANALYSE A LA DEMANDE OU AD HOC ............................................................................................................................ 10 LANALYSE MULTIDIMENSIONNELLE OU OLAP.................................................................................................................. 11 LA CONSOLIDATION DES DONNEES ................................................................................................................................. 14 LES PRINCIPES DE LETL ............................................................................................................................................... 16 LE TABLEAU DE BORD .................................................................................................................................................. 17 LE DATA MINING ........................................................................................................................................................ 17 LE MASTER DATA MANAGEMENT (MDM) ....................................................................................................................... 18 LANALYSE DE DONNEES EN MASSE : BIG DATA ................................................................................................................ 20 TENDANCES .............................................................................................................................................................. 21

LES COMPOSANTS DECISIONNELS ................................................................................... 22


PENTAHO DATA INTEGRATION ...................................................................................................................................... 23 TALEND ETL ............................................................................................................................................................. 29 BIRT ....................................................................................................................................................................... 33 JASPERREPORTS / IREPORT .......................................................................................................................................... 37 PENTAHO REPORT DESIGNER........................................................................................................................................ 40 PENTAHO ANALYSIS / MONDRIAN ................................................................................................................................. 44 JPIVOT ..................................................................................................................................................................... 45 PALO ....................................................................................................................................................................... 47 WEKA ...................................................................................................................................................................... 50 LANGAGE R............................................................................................................................................................... 52 SAIKU ...................................................................................................................................................................... 54 C*TOOLS ................................................................................................................................................................. 58 TALEND MDM .......................................................................................................................................................... 60

LES SUITES DECISIONNELLES............................................................................................ 65


PENTAHO BI SUITE ..................................................................................................................................................... 65 SPAGOBI .................................................................................................................................................................. 77 JASPERSOFT BI SUITE.................................................................................................................................................. 84 PALO BI SUITE ........................................................................................................................................................... 90

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions

Page 8

SERVICES PROPOSES PAR LES EDITEURS .......................................................................... 94 CONCLUSION .................................................................................................................. 95 REMERCIEMENTS ............................................................................................................ 96

WWW.SMILE.FR
Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 9

PRINCIPES
LAIDE A LA DECISION
Vous sortez de la runion trimestrielle de prsentation des rsultats commerciaux. Le chiffre daffaires a baiss en octobre. Pour y remdier, des dcisions sont prendre. Mais pour prendre la bonne dcision, il faut savoir pourquoi le chiffre daffaires a baiss, et dabord comment il a baiss. Dans quelle gamme de produits ? Dans quels pays, quelles rgions ? Dans le portefeuille de clientle de quels commerciaux ? Dans quel segment de distribution ? Navait-on pas une baisse semblable en octobre chaque anne ? Les questions sont nombreuses, auxquelles il faut savoir rpondre avant de prendre la bonne dcision. On appelle aide la dcision , ou bien le dcisionnel , ou encore business intelligence , un ensemble de solutions informatiques permettant lanalyse et le requtage des donnes de lentreprise, afin den dgager les informations qualitatives nouvelles qui vont fonder des dcisions, quelles soient tactiques ou stratgiques. Une entreprise moderne brasse dans son systme dinformation dimmenses volumes de donnes rpartis dans plusieurs silos applicatifs. Mais bien souvent, du fait mme de ces volumes trop importants et de lhtrognit des sources de donnes, il est trs difficile de donner un sens ces donnes, de comprendre ce quelles expriment : des tendances sous-jacentes, des faiblesses ou des forces caches, toutes choses que lon doit connatre afin de prendre de bonnes dcisions.

WWW.SMILE.FR

La BI, aprs rconciliation et consolidation des donnes sources, permet de restituer une vision large et unifie de l'information d'entreprise.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 10

Ainsi, les outils daide la dcision, avant daider la prise de dcision, aident dabord analyser les donnes afin didentifier les informations macroscopiques pertinentes caches dans de grands volumes de donnes.

GENERATEUR DE RAPPORTS OU REPORTING

WWW.SMILE.FR

Un rapport est une prsentation synthtique et lisible de donnes, gnralement des fins dimpression ou dutilisation interactive. Le rapport fait apparatre des tableaux de chiffres avec en-ttes, pieds de pages, (soustotaux) et des graphiques illustrant une composition ou une tendance. Un gnrateur de rapports est un programme qui permet de dfinir un rapport selon ses besoins, avec un minimum de programmation, uniquement au moyen dune interface interactive. Une fois dfini, le rapport peut tre gnr chance rgulire. Un rapport peut tre paramtrable : lanne, le mois, la rgion, la branche dactivit, etc. Ainsi, un mme rapport qui aura t dfini une fois, pourra tre gnr avec diffrentes variantes, selon le contexte dexcution et les valeurs de paramtres. Les paramtres du rapport pourront tre renseigns par lutilisateur selon ses souhaits, et il pourra galement faire varier ces paramtres afin daffiner sa recherche. Dans dautres cas, les paramtres sont dfinis automatiquement par des rgles de gestion, par exemple pour adresser chaque commercial le rapport de ses propres ventes du mois. On parle ici de rapports en rafale ou de bursting . On peut distinguer deux phases dans la gnration dun rapport : Une phase de conception initiale, qui requiert le plus souvent une expertise spcifique, et qui nest pas entre les mains de lutilisateur final ; Une phase de paramtrage et de production, qui ne requiert plus dexpertise et qui peut tre mise entre les mains de lutilisateur final. Bien sr, on aimerait limiter la premire phase, qui est la plus coteuse, et mettre directement des outils de conception entre les mains des utilisateurs finaux. Lexprience montre que cest possible avec lapport des outils de requtage Ad hoc, dans la limite de restitutions peu complexes.

ANALYSE A LA DEMANDE OU AD HOC


Depuis 2007, des outils de reporting destins aux utilisateurs finaux et dits Ad hoc sont apparus au sein des solutions BI open source. Ils permettent aux utilisateurs finaux de raliser rapidement et simplement des rapports simples, sans connaissance technique, sans requrir de connaissance du langage SQL notamment.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 11

Ces outils sont trs pratiques pour raliser des rapports simples ou pour rpondre un besoin ponctuel dinformation. Les outils de restitution ad hoc permettent d'obtenir rapidement l'information prsente dans un dictionnaire de donnes en langage naturel, et avec autonomie, apportant ainsi une abstraction au langage SQL de requtage des bases de donnes que les utilisateurs ne sont pas censs connatre. Enfin, lanalyse interactive ou ad hoc requiert dexcellents temps de rponse, afin de permettre lutilisateur daffiner petit petit sa requte partir des rsultats obtenus.

WWW.SMILE.FR

LANALYSE MULTIDIMENSIONNELLE OU OLAP


Lanalyse multidimensionnelle permet lanalyse en masse de mesures suivant diffrents aspects mtiers appels dimensions ou axes danalyse. Considrons lentit lmentaire quest la ligne de facture de vente. Cest souvent une entit cl dans une entreprise, linformation la plus fine dont on dispose par rapport aux processus de vente. La ligne de facture porte sur la vente dun produit un client une date (axes danalyse ; contexte danalyse), dans une quantit, des prix unitaires et totaux donns (mesures). Sur le client lui-mme, on possde dautres informations : pays, rgion, type de client, secteur de mtier, etc. Par ailleurs, le client est peut-tre affect un commercial. Linformation des axes peut tre hirarchise : jour mois trimestre anne produit catgorie de produit client secteur de mtier. Nous nous arrterons ici pour cet exemple, mais lon voit bien que lon peut pousser trs loin cette collecte dinformation gravitant autour de lentit la plus lmentaire quest la ligne de facture.

Client
Pays, rgion, secteur de mtier, commercial affect,

Produit
SKU, libell, catgorie,

Lignes de factures
Quantit, prix unitaire, prix total

Date de facturation
Jour, mois, trimestre, anne,

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 12

La premire tape est donc lidentification des informations ncessaires nos analyses. Ici, elles sont par exemple : Date (anne, mois, jour,), Produit (SKU, catgorie,), Client (secteur de mtier, pays, commercial attitr...), Lignes de commandes : Quantit, PU, CA.

WWW.SMILE.FR

Les premires informations constituent les axes danalyse potentiels, la dernire, les grandeurs ou mesures analyser. Dans lanalyse multidimensionnelle, la modlisation relationnelle applicative des sources oprationnelles nest pas la plus pertinente, ni la plus efficace. On prfre gnralement une modlisation en toile et dnormaliser les axes, cest dire travailler sur des tables dans lesquelles ont t rassembles toutes les informations utiles. Dans notre cas, on obtient :
Client Castorama LeroyMerlin Pays France France Commercial Lepaul Legrand

On remarque bien sr quil y a de la redondance dans ce tableau, mais finalement il est plus utile ici de grer de linformation redondante mais simple et performante slectionner, et lon ne soccupe pas ici des problmes de cohrence et dintgrit qui sont du domaine des systmes dinformation oprationnels ou des systmes dintgration de donnes (ETL). Ltape suivante consiste raliser un premier niveau dagrgation, cest dire runir certaines lignes. Dans notre cas, on peut faire par exemple lhypothse que les donnes ne seront pas utilises au niveau de la rfrence produit, mais uniquement par segment. Dans ce cas, on runira toutes les lignes identiques pour la cl (date, segment, famille, client, pays, commercial), et lon pourra cumuler les grandeurs quantit et CA.

La dernire tape est celle de lanalyse multidimensionnelle proprement dite, qui consiste slectionner des axes danalyse. Parmi ces axes, on peut distinguer : Des axes valeurs discrtes, ou discontinues, cest dire qui portent un nombre fini de valeurs, par exemple un code postal, un segment CSP. Des axes valeurs continues, typiquement une date, un prix. On peut les ramener un nombre discret de valeurs en dfinissant des tranches : tranches de prix, tranches dges.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
On distingue galement :

le meilleur des solutions


Page 13

Des grandeurs cumulables, par exemple un montant, un nombre ditems. Des grandeurs non cumulables, par exemple lge ou la date.

Les grandeurs cumulables sont celles quil est pertinent dagrger, cest dire dont on peut calculer la somme, (ou la moyenne ou dautres fonctions mathmatiques), pour un sous-ensemble de lignes, par exemple pour chaque thmatique.

WWW.SMILE.FR
Lanalyse multidimensionnelle consiste donc : Dfinir les axes danalyse que lon utilisera, et lordre dans lesquels on les utilise. Par exemple : par rgion, puis par anne, puis par vendeur, puis par gamme de produits. On nutilisera pas toujours tous les axes possibles. Dfinir la ou les mesures qui sont tudies, et ventuellement la fonction dagrgation quon applique ces grandeurs (somme, moyenne, comptage). Chaque hirarchisation des axes danalyse correspond une question que lon se pose.
Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 14

Par exemple une analyse par anne, par vendeur vise reprsenter lvolution du chiffre daffaires, puis comparer les vendeurs chaque anne coule. Une analyse par vendeur, par anne vise avant tout comparer les vendeurs ().

LA CONSOLIDATION DES
DONNEES

Principes

WWW.SMILE.FR

Les informations, les donnes, qui seront la base du systme dcisionnel, proviennent souvent de multiples systmes dinformation de lentreprise. Une application dcisionnelle sappuie le plus souvent sur un entrept de donnes, un datawarehouse , en puisant les donnes de plusieurs sources dans lentreprise. Il y a de nombreuses raisons cette tape de consolidation : La centralisation : il serait trs difficile, et parfois impossible, daccder en temps rel aux donnes dans les diffrents systmes o elles se trouvent : problmes dinterconnexions rseaux, de dbits, mais galement de disparits de protocoles et dinterfaces. Lunification : le datawarehouse runit les donnes dans un systme unique, avec un rfrentiel et une terminologie communs, une modlisation unifie, et des interfaces daccs identiques. Il permet de crer des liens entre des donnes lorigine htrognes. Les ressources informatiques : les applications dcisionnelles peuvent tre gourmandes en CPU, disque, mmoire, et les systmes en place ne sont pas dimensionns pour supporter ces nouveaux traitements. La spcialisation : les applications dcisionnelles ont des besoins spcifiques qui ne pourront tre satisfaits par les systmes en place dans lentreprise. Le datawarehouse est une base de donnes de consolidation, souvent une base relationnelle relativement standard, mais qui doit accueillir et manipuler de gros volumes dinformation. Cela peut tre une base de donnes open source (MySQL, PostgreSQL, ) ou une base propritaire (Oracle, SQL-Server).

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 15

WWW.SMILE.FR

Le datawarehouse concentre de linformation dcisionnelle issue de diffrents systmes dinformation de lentreprise.

Organisation
Comme voqu prcdemment, cette nouvelle base de donnes au sein de lentreprise nest pas cre pour les bienfaits dune application oprationnelle directement lie lactivit de lentreprise (ex : systme comptable, base de donnes RH, base de donnes des commerciaux). Le datawarehouse ne va stocker que les informations clefs de lentreprise et ne sera ddi quaux requtes danalyse et de reporting. Lentreprise pourra ainsi analyser ces donnes sans diminuer les performances de ses outils de production courants. La base dcisionnelle va tre modlise dans le but de faciliter les requtes . On parle de modlisation dcisionnelle en flocon ou en toile. Les tables ne vont tre relies que par un seul champ clef afin daider aux performances de requtes et certaines informations de type liste de valeurs vont tre rptes de multiples fois dans les tables de dimension. Comme toute modlisation de base de donnes, cette tape est cruciale dans la russite dun projet dcisionnel. La modlisation doit tre volutive afin de facilement recevoir de nouveaux domaines fonctionnels ( datamarts ) lavenir et assurer une relle prennit lentreprise en historisant un grand nombre dinformations.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 16

Le datawarehouse se doit davoir une dure de vie plus longue que les outils de production. En effet, eux peuvent voluer, voire tre remplacs. Dans ce cas, le datawarehouse assure la mmoire de lentreprise, et seules les interfaces de chargement de ce datawarehouse seront mises jour.

LES PRINCIPES DE LETL


Afin dalimenter le datawarehouse partir des diffrentes applications de lentreprise, on utilise une gamme doutils appels ETL, pour Extract, Transform, Load . Comme le nom lindique, ces outils permettent dextraire des donnes partir de diffrentes sources, de les transformer (format, dnomination), et de les charger dans la base de donnes cible, ici le datawarehouse. Les transformations confies un ETL sont souvent simples, mais elles peuvent, dans certains cas, inclure des traitements procduraux, de vritables programmes spcifiques. Un ETL permet dviter la ralisation de programmes batch rptitifs, souvent semblables, dont il faudra galement assurer la maintenance. Le principe est que lintgration dun nouveau flux de donnes ne requiert aucun dveloppement, et sopre par une simple configuration interactive : on choisit les lments de donnes dans le rfrentiel source, on indique les transformations simples quils doivent subir, et on prcise la destination de la donne dans le datawarehouse. LETL peut prendre en charge diffrentes natures de sources de donnes, tant en entre quen sortie, les principales tant bien sr les SGBD relationnels, les flux XML, les fichiers formats fixes ou avec sparateurs (CSV), mais il peut sagir galement de Web Services, de fichiers Excel, dannuaires,... Une fois quun flux dextraction-transformation-chargement a t dfini, il est gnralement dclench de manire rgulire, ceci sous le contrle dun outil de planification de tches, ou bien dordonnancement. Un ETL traite gnralement des flux de point point, cest dire entre une source unique et une destination unique. LETL a vocation travailler en diffr, souvent la nuit. Un datawarehouse enregistrant par nature une succession de photos de lactivit de lentreprise, lETL va permettre dalimenter le datawarehouse dune photo supplmentaire. Une fois lalimentation termine, les donnes ainsi charges deviennent statiques et sont alors mises la disposition des utilisateurs.

WWW.SMILE.FR

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 17

WWW.SMILE.FR

LE TABLEAU DE BORD
Un tableau de bord est une forme particulire de rapport : particulirement synthtique : tout doit tenir sur une feuille A4, ou sur un cran dordinateur ; le plus souvent composite, cest dire prsentant plusieurs indicateurs, qui ensemble offrent une reprsentation complte de lactivit de lentreprise ; souvent personnalis, cest dire que chaque acteur consulte un tableau de bord qui concerne son activit. On parle de Key Performance Indicators (KPI), des indicateurs cls. Ce sont les indicateurs qui sont prsents ds la page daccueil dun portail dcisionnel. Selon les cas, le tableau de bord peut se suffire lui-mme, ou bien tre le point dentre vers des analyses affines, des tableaux de bord secondaires, ou bien des accs en drilldown. On utilise parfois galement le terme de Executive Information System, ou EIS, pour faire rfrence un systme dcisionnel spcifiquement destin la Direction Gnrale, et donc prsentant des informations stratgiques trs consolides.

LE DATA MINING
Le data mining consiste rechercher des informations statistiques utiles caches dans un grand volume de donnes. Dans le reporting et lanalyse multidimensionnelle, lutilisateur sait ce quil cherche : il cherche par exemple la dcomposition du chiffre daffaires par rgion. Il ne sait pas encore quelle est cette dcomposition, mais il sait du moins en quoi elle consiste, et quelle est une connaissance pertinente pour son travail. Dans le data mining, lutilisateur est la recherche dune information statistique cache quil nidentifie pas encore : tendance, corrlation, similitude, etc. Typiquement, une analyse des tickets de caisse dun hypermarch peut faire apparatre des corrlations

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 18

entre achats de produits. Certaines auront une explication simple (rasoirs et mousse raser par exemple), dautres seraient insouponnes. Il convient bien sr de valider de tels rsultats, car la corrlation observe peut ne pas traduire une relation de cause effet, mais tre fortuite, ou bien rsulter dune cause cache, ayant lun et lautre des phnomnes comme consquences conjointes. Les outils de data mining recherchent donc, de manire semi-automatise, des corrlations, des rgles statistiques, au travers de grands volumes de donnes, en saidant parfois dune restitution graphique de ces rgles, qui fera apparatre par exemple des nuages de points sur une reprsentation axiale des donnes.

WWW.SMILE.FR

LE MASTER DATA MANAGEMENT (MDM)


Les systmes dinformations sont gnralement composs de plusieurs applications, de conception htrognes. Le maintien d'une cohrence des donnes rfrentielles dans plusieurs sources d'informations diffrentes peut s'avrer complexe, notamment dans de grandes organisations. La gestion des donnes rfrentielles, le master data management, vise assurer la cohrence des donnes de rfrence manant de diffrentes sources de donnes au sein d'une organisation. Le MDM a pour objectif d'amliorer la qualit et de prenniser les donnes rfrentielles dans l'entreprise tous les niveaux du systme d'information. Concrtement, ceci passe par la rduction du risque d'erreur (contrle de la qualit, de l'unicit et de la fiabilit de l'information) en mettant en place un rfrentiel et en centralisant la gestion du cycle de vie de la donne. Le MDM est particulirement pertinent pour les entreprises du secteur de l'industrie et de la distribution. En effet, la gestion des rfrentiels produits et tiers sont deux cas typiques o la mise en place d'une solution MDM est adapte. Les outils de MDM, qu'ils soient open source ou pas, impliquent des vritables projets de mise en place d'un rfrentiel d'entreprise, relativement complexe mettre en place car faisant intervenir diffrents services de l'entreprise qu'il va falloir faire dialoguer.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 19

Mme si les solutions open source existantes sont encore relativement jeunes, il est fort parier que celles-ci vont se dvelopper dans les prochaines annes tant la problmatique de maintien d'un rfrentiel est au cur de l'exploitation et de la prennisation de l'information, base du dcisionnel.

WWW.SMILE.FR
Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
LANALYSE DE DONNEES EN MASSE : BIG DATA

le meilleur des solutions


Page 20

Chaque jour, la quantit de donnes cres et manipules ne cesse daugmenter, et ce quel que soit le secteur dactivit concern. Ces donnes sont issues de sources multiples : oprations commerciales ou financires, blogs, RFID, rseaux de capteurs, rseaux sociaux, tlphonie, indexation Internet, parcours de navigation, dtails d'appels, e-commerce, dossiers mdicaux, etc.

WWW.SMILE.FR
1

Les gestionnaires de base de donnes et les outils BI nont initialement pas t crs afin de manipuler une telle quantit de donnes, et il peut donc devenir compliqu et improductif pour les entreprises daccder ces masses de donnes avec les outils classiques. Ces donnes en masse ont une ou plusieurs des caractristiques suivantes : une trs grande volumtrie de donnes, gnralement de lordre du traoctet ou ptaoctet, une grande varit du niveau de structure des donnes, des donnes trs rapides et changeantes. Cette nouvelle problmatique a donn naissance aux systmes de gestion de base de donnes appels NoSQL , qui ont fait le choix dabandonner certaines fonctionnalits des SGBD classiques au profit de la simplicit, la performance et de la scalabilit. Des frameworks comme Hadoop ont galement t crs et permettent, dploys en complment des BDD relationnelles ou multidimensionnelles, le requtage et la manipulation de ces donnes en masse. Il est donc devenu primordial pour les outils BI de dvelopper des composants permettant de communiquer avec ces nouveaux logiciels. Cest notamment les cas des ETL Pentaho Data Integration et Talend qui disposent de connecteurs spcifiques pour les bases suivantes : Traitement : Hadoop MapReduce, Hive, Stockage : Cassandra, HBase, MongoDB. Cest galement le cas des outils de reporting ou danalyse avec des connecteurs spcifiques. Vous trouverez notamment nos articles sur notre blog : BIRT et Cassandra1, Pentaho Report Designer / iReport et Hive2, Pentaho Report Designer / iReport et Hbase3,

http://blog.smile.fr/Elaborer-des-rapports-BIRT-avec-une-base-source-Big-Data-Cassandra-viaJDBC 2 http://blog.smile.fr/Decisionnel/Hive-et-iReport-Hive-et-Pentaho-Report-Designer 3 http://blog.smile.fr/Hbase-et-iReport-Hbase-et-Pentaho-Report-Designer

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 21

Pentaho Report Designer / iReport et Cassandra4.

TENDANCES
Le dcisionnel open source tait jusquen 2006 constitu de composants crits en Java ddis des fonctions spcifiques : dition de rapports, analyse OLAP, ETL Ces composants open source taient crits et maintenus par des communauts qui se sont progressivement professionnalises.

WWW.SMILE.FR
4

La tendance la professionnalisation de lopen source dcisionnel qui s'est dessine ces dernires annes se poursuit aujourdhui. Lapproche open source est devenue un business model la fois dj en place et trs prometteur, sur lequel les investisseurs misent, avec la possibilit grce lopen source de crer rapidement des acteurs denvergure mondiale. Il est quand mme remarquable de voir quen 2008 et 2012, annes conomiquement perturbes o les financements sont devenus trs rares et trs exigeants, la fois Pentaho et JasperSoft ont pu lever des fonds significatifs. Ces diteurs ont vocation proposer des suites dcisionnelles compltes sur lesquels ils ont la matrise de la technologie : le paysage dcisionnel open source sest recompos autour des grandes suites que nous analysons ci-aprs.

http://blog.smile.fr/Cassandra-et-iReport-Cassandra-et-Pentaho-Report-Designer

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 22

LES COMPOSANTS DECISIONNELS


Avant de sorienter vers la cration de solutions dcisionnelles compltes, les projets open source se concentraient chacun sur un point bien prcis du dcisionnel. Ainsi, les projets BIRT ou JasperReports permettent de composer et gnrer des rapports, et les projets Mondrian et Saiku permettent de prsenter des donnes sous forme multidimensionnelle. Certaines plateformes dcisionnelles open source se basent sur ces composants dj bien rods et les intgrent de faon constituer une solution homogne, dans laquelle toutes les fonctionnalits sont disponibles dans un cadre unique et rendues interoprables. Dans cette partie, nous allons prsenter les principaux composants dcisionnels disponibles en open source, que lon peut regrouper dans les catgories suivantes : ETL : Pentaho Data Integration (ex Kettle), Talend Open Studio. Designer de rapport : BIRT, JasperReport (iReport) et Pentaho Report Designer. Analyse : Mondrian, JPivot, Palo, Saiku. Data mining : Weka. MDM : Talend MDM.

WWW.SMILE.FR

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
PENTAHO DATA INTEGRATION
Prsentation

le meilleur des solutions


Page 23

Pentaho Data Integration (PDI) est un ETL open source qui permet de concevoir et excuter des oprations de manipulation et de transformation de donnes. Grce un modle graphique base dtapes, il est possible de crer sans programmation des processus composs dimports et dexports de donnes, et de diffrentes oprations de transformation, telles que des conversions, des jointures, lapplication de filtres, ou mme lexcution de fonctions Javascript. PDI, initialement connu sous le nom de Kettle, est devenu open source partir de la version 2.2 et a rapidement intgr le projet de plateforme dcisionnelle Pentaho5 (voir plus loin dans ce livre blanc) qui la renomm depuis en Pentaho Data Integration. Au moment o nous crivons ces lignes, Pentaho Data Integration est disponible dans sa version 4.4.0. De nouvelles fonctionnalits sont apparues facilitant notamment le partage dun rfrentiel entre plusieurs dveloppeurs, lutilisation de mtadonnes dans les transformations (afin de personnaliser une transformation rapidement) et permettant de se connecter toujours plus de systmes de bases de donnes ou types de fichiers. Dans sa version Entreprise Edition, Pentaho, l'diteur de PDI, propose de suivre lexcution des transformations ETL via la console d'administration, en mode Web. Cette version propose en outre un rfrentiel Entreprise, qui permet le versionnement des dveloppements. PDI propose un module appel Agile BI permettant au dveloppeur ETL de valider directement les donnes en affichant des restitutions dans PDI, sous forme de rapports ou danalyses OLAP. Ce module n'est pas libre mais est mis disposition gratuitement par Pentaho. Les analyses OLAP sont bases sur Pentaho Analyzer (le client OLAP disponible en version Enterprise) et les rapports sappuient sur lassistant de cration de rapport du Pentaho Report Designer (le Report Wizard).

WWW.SMILE.FR
5

www.pentaho.com

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 24

WWW.SMILE.FR

Module AgileBI de Pentaho Data Integration

Afin de rpondre la problmatique du Big Data, PDI propose des composants ddis la solution Apache Hadoop6, qui permettent le traitement de trs gros volumes de donnes de faon parallle, via notamment laccs des bases de donnes de type Amazon S3 et HIVE. Pentaho prend galement en charge nativement les sources de donnes NoSQL mergentes les plus utilises, dont mongoDB, HPCC et les donnes issues de trs grandes sources XML.

http://hadoop.apache.org/

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
Fonctionnalits
PDI permet de crer deux types de processus :

le meilleur des solutions


Page 25

Les transformations : traitements effectus au niveau d'une ou plusieurs bases de donnes comprenant des oprations de lecture, de manipulation et d'criture. Cest ce niveau que sont manipules les donnes. Les tches : traitements de plus haut niveau, combinant des actions telles que l'excution d'une transformation PDI, l'envoi d'un mail, le tlchargement d'un fichier ou le lancement d'une application. Il est possible d'excuter des actions diffrentes en fonction de la russite ou de l'chec de chaque tape. Le rle dune tche est donc dorchestrer les diffrents traitements.

WWW.SMILE.FR

PDI est notamment utilisable avec un rfrentiel partag. Ainsi, plusieurs dveloppeurs peuvent utiliser des objets communs. Ce rfrentiel est stock au sein dune base de donnes relationnelle. Le dveloppeur peut donc facilement s'y connecter et changer de rfrentiel sa guise. PDI peut se connecter sur un grand nombre de bases de donnes, dont Oracle, Sybase, MySQL, PostgreSQL, Informix, SQLServer et bien dautres, et peut galement utiliser des donnes provenant de fichiers texte, XML et Excel. PDI dispose de : dtecteur de prsence de fichier et lecture de rpertoire, connecteurs en lecture et criture avec des dimensions/cubes MOLAP Palo, connecteur LDAP et lecture fichier LDIF, connecteur SalesForce (lecture), liste des plug-ins disponibles sur : http://wiki.pentaho.com/display/EAI/List+of+Available+Pentaho+Data+Integrati on+Plug-Ins. Les transformations et les tches sont cres par glisser-dposer des diffrentes tapes du processus. Des assistants sont disponibles chaque tape et permettent par exemple de gnrer automatiquement les requtes de lecture et de cration de tables.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 26

WWW.SMILE.FR

Exemple de transformation

Les applications
PDI se compose de 3 applications : Spoon : environnement graphique de cration et d'excution de transformations et de tches. Pan : application en ligne de commande permettant de lancer l'excution d'une transformation donne. Kitchen : application en ligne de commande permettant de lancer l'excution d'une tche donne. Pan et Kitchen sont essentiellement utiliss afin de planifier lexcution des transformations et des tches. En installant seulement le trs lger outil Pan sur plusieurs serveurs, les traitements lancs par PDI vont pouvoir tre excuts sur plusieurs serveurs simultanment. On parle dans ce cas dexcution en mode grappe. Vous avez ainsi le moyen de maitriser le temps de fonctionnement de vos traitements lorsque vos fentres de nuit sont rduites.

Planification
Il est gnralement souhaitable que des transformations ou tches cres avec PDI s'excutent priodiquement. C'est notamment le cas pour les tches de synchronisation ou de cration d'entrepts de donnes. PDI, en version entreprise, intgre un planificateur de tche. Avec la version communautaire, l'excution repose alors sur un systme externe, tel que les planificateurs de tches de Windows ou d'Unix.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
Utilisation

le meilleur des solutions


Page 27

Dans le contexte du dcisionnel, PDI va servir constituer un datawarehouse, en ralisant l'import des donnes depuis diffrentes sources, leur consolidation et leur mise en forme. L'utilisation de PDI prsente plusieurs avantages par rapport des solutions base de scripts :

la cration de flux de donnes complexes est extrmement simple, la maintenance est beaucoup plus aise car tous les flux de donnes sont visibles d'un simple coup d'il dans une interface unique et centralise.

WWW.SMILE.FR

PDI pourra galement trouver sa place dans tout projet non dcisionnel qui a besoin d'excuter priodiquement des traitements sur certaines donnes ou des synchronisations entre diffrentes bases.

Exemple
Dtaillons les tapes ncessaires pour la cration et le lancement d'une synchronisation entre 2 tables contenues dans des bases diffrentes : 1. Dposer un objet Extraction depuis table dans l'espace de travail. 2. diter l'objet Extraction depuis table , choisir la source de donnes et la table concerne. Une requte SQL est gnre automatiquement mais elle peut tre modifie librement. 3. Dposer un objet Insertion dans table dans l'espace de travail. 4. Lier ces 2 objets. 5. diter l'objet Insertion dans table , choisir la source de donnes et le nom de la table. Kettle prend en charge la cration d'une nouvelle table ou la modification d'une table existante, la demande, en utilisant les informations transmises par les tapes prcdentes. 6. Lancer lexcution de la synchronisation.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 28

WWW.SMILE.FR

Excution d'une Transformation dans Spoon

Conclusion
PDI est un outil efficace pour raliser rapidement tout type de traitements sur des bases de donnes. Ncessaire dans la plupart des projets dcisionnels, il sera galement trs utile dans tout projet utilisant des bases de donnes et demandant des oprations de synchronisation ou d'export. PDI a lavantage dtre performant, simple dutilisation, entirement open source et dtre intgr la suite dcisionnelle Pentaho prsente plus loin.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
TALEND ETL
Prsentation

le meilleur des solutions


Page 29

Talend Open Studio7 est un ETL open source, dvelopp par la socit Talend, base en France. Talend est un ETL de type gnrateur de code , cest--dire quil permet de crer graphiquement des processus de manipulation et de transformation de donnes puis de gnrer lexcutable correspondant sous forme de programme Java. Ce programme doit ensuite tre dploy sur le serveur dexcution. Talend est lETL utilis par les solutions SpagoBI et JasperSoft (o il est renomm en Jasper ETL). Au moment o nous crivons ces lignes, Talend Open Studio est disponible dans sa version 5.2.2.

WWW.SMILE.FR
7

Dfinition de processus
Les processus de manipulation de donnes sont crs en utilisant un modle graphique base de glisser-dposer. Des connecteurs sont disponibles pour se connecter aux principales bases de donnes, annuaires, Web Services, ainsi que pour traiter diffrents types de fichiers (CSV, Excel, XML). Talend dispose de fonctionnalits indites pour un ETL open source : les tapes ELT (Extract Load Transform), qui tirent parti de la base de donnes cible pour les diffrentes oprations, ce qui amliore grandement les performances au prix de possibilits plus limites. des connecteurs pour des applications de CRM (SugarCRM, SalesForce, Vtiger et CentricCRM ) et des ERP (Sage X3, SAP, Microsoft Dynamics, OpenBravo), ce qui vite de manipuler les modles relationnels de ces outils. des composants d'interactions avec des systmes de gestion de workflow et de BPM (Bonita). des composants ddis la problmatique Big Data, qui permettent de sinterfacer avec ce type de donnes (systme de fichier Hadoop, base de donnes Hbase, Cassandra, accs Hive et Pig, etc). possibilit dajouter simplement de nouvelles fonctions et composants afin de raliser des processus plus complexes, de dvelopper des connecteurs supplmentaires. On notera que Talend facilite la construction des requtes sur les bases de donnes en dtectant les relations entre tables grce aux cls trangres et en proposant une interface la Access .

http://www.talend.com/

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 30

WWW.SMILE.FR

Exemple de processus dintgration de donnes

Affectation et modification de valeurs

Modles mtier
Talend permet galement de crer un modle mtier (Business Model) afin de modliser les interactions entre les diffrents systmes et bases de donnes.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 31

Les informations de connexion, les mtadonnes, ainsi que des documents, peuvent tre associs chaque lment. Le modle constitue alors une vritable documentation du systme dinformation.

WWW.SMILE.FR

Modle mtier

Ce mode est dsormais complt avec un gnrateur de documentation technique permettant aux dveloppeurs de gagner du temps dans ltape souvent nglige des spcifications techniques.

Gestion des contextes


Talend permet de grer diffrents contextes dexcutions et de les appliquer aux connexions et transformations. Le mme processus peut donc sexcuter en environnement de dveloppement, de test ou de production, avec chaque fois lutilisation des bonnes connexions aux bases de donnes et des bonnes mtadonnes.

Dploiement des processus


Une fois le programme gnr, celui-ci est install par un administrateur sur la machine cible et son excution est planifie en utilisant le service cron dUnix ou les tches planifies de Windows selon le cas. Avec la version TIS/TEDI (Talend Integration Suite / Talend Enterprise Data Integration), sont proposs un gestionnaire dordonnancement des traitements et une excution distante Distant Run , permettant Talend de parfaitement sintgrer dans des environnements professionnels industrialiss. A travers la console de supervision en mode client Java ou en mode Web, les personnes charges de lexploitation des interfaces disposent de tableaux de bord synthtisant la bonne ou mauvaise excution des traitements.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
Conclusion

le meilleur des solutions


Page 32

Talend Open Studio est un produit complet. Talend a nou des partenariats avec de nombreuses socits ditrices de solutions dcisionnelles ou de bases de donnes, ce qui renforce sa position de leader sur le march. Depuis 2012, Talend a complt son offre avec un nouvel outil Talend ESB . Ce nouvel outil vient complter l'offre de l'diteur avec un bus dentreprise bas sur des technologies Open Source. Son offre s'articule donc aujourd'hui autour de cinq domaines :

WWW.SMILE.FR

L'intgration de donnes, Data Integration et Big Data, La qualit de donnes, Data Quality, LEnterprise Service Bus, Talend ESB, Moteur de workflow, Talend BPM. La gestion de donnes rfrentielles, Master Data Management. Notons que Talend propose une suite Talend Plateform for Enterprise Integration , soumise souscription annuelle, qui comprend des fonctionnalits trs avances comme la gestion des dploiements complexes, la supervision des excutions et la gestion de rfrentiels partags. Comme PDI, Talend sera avantageusement utilis dans des projets dcisionnels mais trouvera galement sa place dans des projets durbanisation de systmes dinformation, permettant duniformiser les modes dchanges entre les diffrentes applications de lentreprise.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
BIRT
Prsentation

le meilleur des solutions


Page 33

BIRT8 (The Business Intelligence and Reporting Tool) est un projet de la communaut Eclipse comprenant un gnrateur de graphiques, un gnrateur de rapport et un environnement de conception. Au moment o nous crivons ces lignes, BIRT est disponible dans sa version 4.2.2. Le projet a t initi par la socit Actuate9, qui commercialise une offre de business intelligence intgrant BIRT et qui a adopt la licence open source pour BIRT.

WWW.SMILE.FR

Gnrateur de rapports
Le moteur de BIRT est une bibliothque qui permet de gnrer des rapports (paramtrs ou non) au format HTML, PDF, XLS, DOC ou PPT. Ces rapports peuvent tre complexes et contenir plusieurs tableaux, graphiques avancs et images. BIRT propose galement la ralisation de tableaux croiss. Les donnes affiches peuvent provenir de bases et de requtes diffrentes.

Exemple de rapport BIRT

Le moteur de BIRT peut tre intgr dans toute application dveloppe avec le langage Java, que ce soit dans une application Web ou dans une application de type client lourd . Il est notamment possible d'intgrer nativement les rapports BIRT aux plateformes BI Pentaho et SpagoBI.

8 9

http://www.eclipse.org/birt http://www.actuate.com

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 34

WWW.SMILE.FR

Excution d'un rapport BIRT dans Pentaho

Excution d'un rapport BIRT dans SpagoBI

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
Conception des rapports

le meilleur des solutions


Page 35

WWW.SMILE.FR

Cration de rapport BIRT

BIRT dispose d'un outil de conception de rapports, qui permet de crer et modifier les rapports de faon graphique, en dposant des lments (tableaux, tableaux croiss, graphiques) dans un rapport vierge. Cet outil s'intgre sous forme de plug-in dans l'outil de dveloppement Eclipse10 mais peut tre galement utilis comme une application autonome. La dfinition d'un rapport tant au final simplement un fichier XML, il est galement possible, mais beaucoup plus long et peu conseill, de crer des rapports sans passer par cet outil. Seuls les bilingues XML/franais s'y risqueront. La cration d'un rapport passe par plusieurs tapes : La dfinition des sources de donnes : une ou plusieurs sources de donnes (bases de donnes compatibles JDBC, fichiers texte, fichier xls) peuvent tre ajoutes au rapport. La dfinition des jeux de donnes : un jeu de donnes est un ensemble d'informations destines tre mises en forme par un tableau ou un graphique. C'est concrtement le rsultat d'une requte SQL plus ou moins complexe sur une source de donnes. L'utilisateur dispose d'un assistant afin de faciliter la cration de cette requte, et il peut de plus combiner diffrentes sources de donnes htrognes en les liant sur une cl commune. Le placement des lments : les lments de base (tableaux, listes, graphiques, images, ...) sont insrs dans le rapport par glisser-dposer .

10

http://www.eclipse.org

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 36

La configuration : un jeu de donnes est associ chaque lment et les paramtres de rendu sont modifis. La prvisualisation : une option de prvisualisation permet de lancer la gnration du rapport.

Public vis
L'outil de conception de rapports de BIRT s'adresse en premier lieu des dveloppeurs, car il est ncessaire de crer des jeux de donnes en utilisant des requtes SQL.

WWW.SMILE.FR

Il est cependant possible de rendre BIRT accessible des utilisateurs finaux ayant un profil moins technique , en utilisant certaines fonctionnalits qui permettent de contourner les tapes les plus complexes. Dans un premier temps, il est possible de crer des bibliothques de ressources contenant les lments de base permettant de crer un nouveau rapport : les sources de donnes, la feuille de style de l'entreprise et un ensemble de jeux de donnes. Ces lments peuvent tre incorpors dans un nouveau rapport par un simple glisserdposer. L'utilisateur pourra par la suite crer ses propres jeux de donnes en ralisant des jointures de jeux de donnes existants. Par exemple, si la bibliothque contient les jeux de donnes clients (liste dtaille des clients) et ventes (liste des ventes incluant une rfrence vers le client, le produit), l'utilisateur pourra facilement crer un jeu de donnes 'ventes par client' (liste dtaille des ventes pour chaque client). Il pourra ensuite ajouter des colonnes calcules et filtrer les rsultats via un assistant.

Conclusion
BIRT est un outil de reporting trs complet, qui permet de crer rapidement des rapports complexes et de matriser sa mise en page. Il bnficie du support de la trs active communaut Eclipse.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
JASPERREPORTS / IREPORT
Prsentation

le meilleur des solutions


Page 37

JasperReports11 est un moteur de rapport dvelopp par la socit JasperSoft12 et distribu sous une licence open source. iReport est l'diteur de rapport de JasperSoft. Au moment o nous crivons ces lignes, JasperSoft et iReport sont disponibles dans leur version 5.0. Les rapports gnrs sont des fichiers XML et peuvent galement tre crs et modifis manuellement. Ces outils existent depuis 2001 et sont dj largement utiliss dans de nombreuses applications mtiers pour leur partie reporting.

WWW.SMILE.FR

Gnrateur de rapport
Le moteur JasperReports permet la gnration de rapports au format PDF, HTML, XML, CSV, RTF, XLS et TXT. Il utilise JFreeChart afin de gnrer les graphiques et peut tre intgr dans toute application dveloppe avec le langage Java. Il supporte, en tant que source de donnes, les bases de donnes classiques ainsi que les serveurs danalyse multidimensionnelle, ce qui permet dexploiter les possibilits du serveur Mondrian directement dans un rapport JasperReports.

Rapport ralis avec JasperReports

Conception des rapports


La conception des tats se fait soit par description XML soit par outil graphique (iReport). Bien videmment, nous vous recommandons dutiliser linterface graphique

11 12

http://jasperreports.sourceforge.net http://www.jaspersoft.com

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 38

Les rapports sont dcomposs en bandes dans lesquelles les lments graphiques sont dposs. Chaque bande a un comportement spcifique et apparat une ou plusieurs fois. Un rapport excute une itration sur un jeu de donnes principal. Certaines bandes sont affiches avant ou aprs lensemble des donnes de ltat, dautres le sont une fois pour chaque lment du jeu de donnes.

WWW.SMILE.FR
Les diffrentes bandes disponibles sont : titre du rapport, affich au dbut de la premire page, en-tte de la page, affich au dbut de chaque page, en-tte des colonnes, affich avant les donnes, dtails, rpts pour chaque lment des donnes, fin des colonnes, affiche aprs lensemble des donnes, pied de page, affiche en bas de chaque page, dernire page, affich dans la dernire page, page de rsum, conclut le rapport. Afin de crer des rapports plus riches, il est possible dutiliser des jeux de donnes secondaires dans certains lments, comme les graphiques et les tableaux, ou dinsrer des tats secondaires, les sous-rapports.

Interface graphique : iReport


Il existait plusieurs outils de conception graphique pour les tats JasperReports mais, depuis que lditeur JasperSoft a dvelopp la suite dcisionnelle, iReport, loutil de lditeur, a supplant les autres outils qutaient Jasper Assistant et JasperPal.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 39

iReport13 est donc l'outil de conception dtats officiel de JasperReports et se prsente sous la forme d'une application Java ddie. Il supporte la quasi-totalit des fonctionnalits de JasperReports (tableaux, tableaux croiss, graphiques) et dispose galement d'une extension ddie l'administration de la plate-forme dcisionnelle de JasperSoft. L'interface et le mode de fonctionnement des rapports JasperReports destinent principalement iReport des spcialistes.

WWW.SMILE.FR

iReport 5.0

Conclusion
JasperReports est le moteur de gnration dtats le plus rpandu dans le monde open source. On constatera que toutes les plateformes dcisionnelles permettent son utilisation. Son principal dfaut reste un relatif manque dintuitivit des diffrents diteurs graphiques, ce qui limite leur utilisation aux dveloppeurs.

13

http://ireport.sourceforge.net

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
PENTAHO REPORT DESIGNER
Prsentation

le meilleur des solutions


Page 40

JFreeReport a rejoint le projet Pentaho dbut 2006. Au fur et mesure, le nom JFreeReport a t abandonn au profit de Pentaho Report Designer (PRD). PRD permet de dvelopper des rapports complexes et, en association avec la plateforme Pentaho, de les publier directement sur le serveur dcisionnel.

WWW.SMILE.FR

Au moment o nous crivons ces lignes, PRD est disponible dans sa version 3.8.3.

Excution de rapports
PRD supporte les formats PDF, HTML, CSV, Excel, RTF et Texte. Notons que les rapports ne sont diffuss et excuts quen mode Web, affichant obligatoirement des donnes jour. Les rapports ne sont jamais diffuss et excuts par les utilisateurs finaux avec le client lourd ; il ne peut donc pas y avoir de problme de rafrachissement des donnes, comme on peut lobserver dans dautres solutions propritaires. Depuis la version 3.8 de Pentaho Report Designer, un cache dexcution de rapport existe. Ceci vite de r-excuter la requte qui alimente le rapport chaque fois que l'utilisateur choisit de pr-visualiser le rapport, ce qui augmente grandement la productivit du dveloppeur.

Rapport ralis avec Pentaho Report Designer

Pentaho Report Designer est un outil de conception graphique similaire, dans lesprit, iReport ou mme Crystal Report, avec la notion de bandes pour les zones rptes de la page (en-tte, en-tte de groupe, ligne, bas de page, )

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 41

Depuis la version 1.7, PRD, maintenant en version 3.8.3, sest considrablement enrichi et sintgre nativement dans la suite avec la publication simplifie sur le Web des rapports conus. Les rapports sont dfinis en XML, lisibles et pouvant mme tre manipuls par programmation simple. Ils sont empaquets, avec les requtes et les ventuels sousrapports, dans une archive dextension .prpt, interprte par le serveur Web de la suite Pentaho. Il est par ailleurs possible de gnrer des rapports en masse en utilisant lETL Pentaho Data Integration, dans lequel on retrouve une tape de gnration de rapports faisant appel au fichier prpt conu avec PRD. Ds louverture de loutil Pentaho Report Designer, une page daccueil guide lutilisateur vers les tapes indispensables de cration du rapport :

WWW.SMILE.FR

Un assistant, le Report Wizard, permet dtablir une nouvelle connexion mais galement de se connecter un mtamodle (dictionnaire de donnes) de Pentaho :

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 42

WWW.SMILE.FR

Il sagit ici dune avance importante dans les outils de reporting open source et PRD a t le premier, fin 2007, permettre un utilisateur de crer un rapport sans aucune connaissance SQL. Plusieurs fonctions sont galement disponibles afin de raliser des oprations courantes comme le comptage doccurrences dans un regroupement ou des fonctions de conversions de format. Ces fonctions sont prsentes, regroupes par thme, dans une bibliothque. Chaque attribut de chaque lment peut tre associ une formule, permettant ainsi davoir un contenu totalement dynamique et dpendant de critres que vous avez dfinis : selon tel paramtre jaffiche ou non tel lment, selon telle valeur je colore le fond de mon lment en vert ou en rouge, etc.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 43

WWW.SMILE.FR

Rapport dans Pentaho Report Designer

Conclusion
Pentaho Report Designer est un outil simple manipuler, bien intgr la suite dcisionnelle Pentaho pour la gestion des paramtres ou la publication sur la plateforme Web. On regrettera cependant que la fonction de tableaux croiss soit absente de PRD. Cette fonctionnalit prsente dans d'autres solutions de reporting est prvue pour la version 4.0 de PRD. Cette future version compltera les fonctionnalits de Pentaho Report Designer pour en faire un outil de reporting abouti.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
PENTAHO ANALYSIS / MONDRIAN

le meilleur des solutions


Page 44

Mondrian14 est un serveur OLAP (On Line Analytical Processing) ou moteur OLAP disponible sous licence open source EPL (Eclipse Public Licence). Au moment o nous crivons ces lignes, Pentaho Analysis est disponible dans sa version 3.5. Il fait partie de la catgorie des serveurs R-OLAP , c'est--dire qu'il accde des donnes contenues dans une base relationnelle. Mondrian excute des requtes utilisant le langage MDX, galement utilis par dautres moteurs OLAP, tel que celui de Microsoft SQL Server. Ce langage permet de crer des requtes dont lquivalent en langue SQL ncessiterait un grand nombre de requtes et des temps dexcution beaucoup plus longs. Mondrian est particulirement puissant et permet doptimiser les temps de rponse en utilisant des tables d'agrgats, cres au pralable, mais permet galement de raliser des calculs complexes, en comparant des lments sur la dimension temps ou en grant des hirarchies rcursives dissymtriques. Mondrian est utilis avec les clients Saiku, JPivot, JPalo, ou Pentaho Analyzer (prsents ci-aprs), outils qui proposent une interface graphique Web de consultation et manipulation des donnes. Pentaho a, il y a plusieurs annes, acquis et intgr une nouvelle interface de navigation OLAP sur Mondrian, nomme Analyzer, se dmarquant clairement au niveau de lergonomie de lancienne interface JPivot. Le projet Mondrian ainsi que son fondateur Julian Hyde ont rejoint le projet Pentaho sous le nom de Pentaho Analysis. Mondrian est utilis par Pentaho, JasperSoft et SpagoBI.

WWW.SMILE.FR
14

http://mondrian.sourceforge.net/

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
JPIVOT

le meilleur des solutions


Page 45

JPivot15 est un client OLAP disposant d'une interface Web. Il permet de reprsenter un cube OLAP sous forme de tableau crois multidimensionnel et d'effectuer les oprations classiques d'analyse (drill down, drill up, rotations, filtres ...) de faon interactive. JPivot permet galement d'afficher un graphique correspondant aux donnes prsentes en tableau, qui est mis jour au fur et mesure de l'exploration. Il est possible dexporter tableau et graphique sous forme de fichier PDF imprimable ou de document Excel afin de rutiliser les donnes obtenues.

WWW.SMILE.FR

L'interface utilisateur peut tre facilement modifie via l'utilisation de feuilles de styles (CSS et XSL).

Tableau JPivot (Web)

JPivot va permettre aux utilisateurs dexplorer les cubes, mais galement de raliser un drill-though, cest--dire dafficher les lignes de donnes lorigine dun chiffre consolid (par exemple les N lignes de factures de janvier du produit A sur la rgion R).

15

http://jpivot.sourceforge.net/

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 46

WWW.SMILE.FR

Drill through dans JPivot

JPivot est une interface assez ancienne, souvent remplace par Saiku ou des composants fournis dans les versions Enterprise . Le couple Mondrian/JPivot est disponible dans les suites Pentaho Community Edition, JasperSoft et SpagoBI.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
PALO

le meilleur des solutions


Page 47

Palo16 est une base de donnes multidimensionnelle et en mmoire dveloppe en C et distribue sous licence GPL par la socit Jedox17. Palo fait partie de la catgorie M-OLAP (Multidimensional OLAP) : toutes les donnes sont charges en mmoire et non dans une base de donnes relationnelle. Les donnes sont calcules la vole, ce qui lui permet d'obtenir de trs bons temps de rponse. Au moment o nous crivons ces lignes, Palo est disponible dans sa version 3.2 (Community) et 4.0 SR1 en version Premium. La version 5 est prvue pour le milieu de lanne 2013. La base Palo est accessible depuis le tableur Microsoft Excel ou OpenOffice Calc avec un plugin, ce qui permet de naviguer dans les donnes multidimensionnelles directement dans les feuilles de calcul tant apprcies des utilisateurs.

WWW.SMILE.FR

Navigation dans un cube Palo dans Excel

Cette intgration permet de tirer parti des fonctionnalits natives de tableurs et graphiques d'Excel pour la couche de prsentation, les donnes affiches tant toujours stockes dans la base Palo et non pas dans Excel.

16 17

http://www.Palo.net http://www.jedox.com/fr

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 48

WWW.SMILE.FR

Tableau de bord dans MsExcel, constitu avec Palo

Palo n'est cependant pas limit Excel et dispose d'API vers les langages Java et PHP. Palo peut ainsi tre interrog depuis d'autres applications, telles que Palo Eclipse Client (JPalo) ou bien videment les autres composants de la suite Jedox Palo, tels que Palo Web, un tableur en mode Web. Dans le cadre d'un projet dcisionnel, Palo va devoir utiliser les donnes de l'entreprise : contrairement Mondrian qui travaille directement sur une base relationnelle, les donnes doivent tre importes dans la base de donnes Palo. Des API sont fournies et permettent d'crire dans les cubes M-OLAP depuis les langages C, Java, PHP et .NET. De plus, un ETL est fourni par Jedox afin dalimenter cette base, et les ETL open source Pentaho Data Integration et Talend Open Studio disposent de connecteurs vers Palo. On notera qu'il est galement possible, depuis Excel, d'importer les donnes partir d'un fichier texte ou d'une connexion ODBC mais cette solution n'est videmment pas adapte l'import automatis d'un grand nombre de donnes. Palo propose de plus une fonctionnalit diffrenciante et trs intressante : la possibilit de modifier les valeurs dun cube. Par exemple, les valeurs peuvent tre gres selon diffrents scnarios : valeur budgte, valeur relle, valeur rvise, ce qui permet de construire une application de saisie dcentralise et de consolider le tout in fine, ou linverse de saisir des donnes globales et de les ventiler selon la mthode choisie.

Conclusion
Palo nest pas, proprement parler , un outil mtier dlaboration budgtaire, mais toutes les fonctions sont prsentes pour le faire et nous avons eu loccasion de le vrifier pour avoir ralis plusieurs applications de ce type, pour nos clients comme pour Smile, avec les notions de planification budgtaire, de ventilation par service ou par mois, de saisonnalit intgre, de suivi des carts par rapport au rel et de replanification en cours d'anne.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 49

Le cot multi-dimensionnel de Palo s'adapte galement une analyse de type ABC (Activity Based Costing). En version Premium, Palo propose galement une brique appele Supervision Server qui permet notamment de capter les vnements/changements sur les cellules d'un cube et de dclencher des actions. Cette brique permet par exemple de garder une trace de tous les changements effectus dans une base de donnes spare.

WWW.SMILE.FR
Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
WEKA

le meilleur des solutions


Page 50

Weka18 est un outil permettant d'excuter des algorithmes de data-mining sur un ensemble de donnes. Il est ainsi possible disoler des populations ou dextraire des rgles partir des donnes contenues dans le datawarehouse. Il se prsente sous la forme dune application indpendante, disposant dune interface utilisateur graphique ou en ligne de commande. Au moment o nous crivons ces lignes, Weka est disponible dans sa version 3.7.

WWW.SMILE.FR

Lutilisateur peut appliquer un un les diffrents algorithmes, ou bien crer, dune faon similaire PDI, un workflow de traitements qui pourra par exemple tre utilis dans une plateforme dcisionnelle afin danalyser priodiquement les donnes. Lutilisation de Weka demande de bonnes connaissances du data-mining et des diffrents algorithmes statistiques utiliss.

WEKA - Prtraitement

18

http://www.cs.waikato.ac.nz/~ml/index.html

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 51

WWW.SMILE.FR

WEKA - Visualisation des donnes

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
LANGAGE R

le meilleur des solutions


Page 52

WWW.SMILE.FR

R est un langage de programmation mathmatique, largement rpandu chez les statisticiens mais galement utilis pour raliser du data mining. Sous licence GNU GPL, c'est aujourd'hui un projet majeur au sein de la communaut GNU. La richesse de R vient des nombreux paquets mis disposition librement par la communaut, qui permettent ainsi d'accder toute sorte d'analyses, modles, et algorithmes statistiques. Ces extensions permettent aussi de se connecter diffrents types de bases de donnes, comme PostgeSQL ou MySQL. De nombreuses librairies graphiques sont galement disponibles pour exploiter le rsultat des analyses effectues.

Enfin, des interfaces graphiques sont disponibles pour exploiter le langage R, notamment RStudio ou Rattle, tous deux open source.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 53

WWW.SMILE.FR

Site web de R : http://www.r-project.org/

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
SAIKU
Prsentation

le meilleur des solutions


Page 54

Saiku est une solution de navigation multidimensionnelle, de cration et de partage de rapports, intgrable au serveur Pentaho BI ds la version communautaire. Elle est compose de deux outils : Saiku Analytics pour l'analyse OLAP, Saiku Reporting pour la cration de rapports en ligne (les rapports Ad-Hoc). Dvelopp par Analytical-Labs, Saiku est utilis par une vaste communaut mondiale en pleine croissance. Son interface, simple et intuitive, est base sur le glisser-dposer de mtadonnes partir dun dictionnaire en langage naturel. Les rsultats de requtes ou danalyse peuvent tre exports dans les formats PDF, Excel, ... Les analyses et rapports conus peuvent galement tre enregistrs pour tre r excuts au besoin.

WWW.SMILE.FR

Saiku-Analytics
Saiku Analytics propose des fonctionnalits plus riches que celles proposes par l'outil JPivot et constitue un outil d'analyse moderne et flexible sur la plateforme Pentaho. Loutil permet de visualiser et analyser les donnes dun cube OLAP dans un tableau crois ou un graphique en glisser-dposer partir du modle OLAP dfini.

Intgration de Saiku Analytics dans Pentaho BI Server

Il est mme possible dintgrer des micrographiques au sein du tableau crois afin dillustrer des tendances.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 55

La version de base peut d'ailleurs tre enrichie avec un plugin complmentaire, Saiku Chart Plus19, qui ajoute de nouveaux types d'illustration graphiques Saiku Analytics ainsi que de la cartographie. Techniquement, Saiku Analytics utilise le moteur Mondrian et le pilote OLAP4J pour rcuprer les informations partir d'une source de donnes et les restituer dans le navigateur ou les exporter.

WWW.SMILE.FR
19

http://it4biz.github.com/SaikuChartPlus/

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 56

WWW.SMILE.FR

Exemples de visualisations graphiques de donnes avec Saiku Analytics

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
Saiku-Reporting

le meilleur des solutions


Page 57

Saiku Reporting20, quant lui, est une interface de cration de rapports en mode Wysiwyg ; lutilisateur visualise directement le rsultat du rapport au fur et mesure de sa construction. La composition se fait en glisser-dposer des mtadonnes en langage naturel comme colonnes, regroupements et filtres. Loutil permet galement dajouter facilement des totaux et sous-totaux aux mesures.

WWW.SMILE.FR

Saiku-Reporting utilise le mme moteur de gnration de rapport que la version entreprise de Pentaho. Ces diffrentes options permettent aux utilisateurs mtiers de crer leurs rapports AdHoc avec une totale autonomie et de visionner ainsi rapidement leurs donnes. Il remplace avantageusement le module WAQR (Web Ad Hoc Query and Reporting) non maintenu par Pentaho.

Intgration de Saiku Reporting dans Pentaho BI Server

20

http://blog.smile.fr/Pentaho-et-Saiku-reporting

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
C*TOOLS
Prsentation

le meilleur des solutions


Page 58

Les C*Tools regroupent un ensemble d'outils permettant la mise en place de tableaux de bord sur le serveur Pentaho BI en version communautaire. Ces outils sont dvelopps par Pedro Alves (de WebDetails) et Ingo Klose (TimoCom Soft) afin de permettre la cration de tableaux de bord trs riches.

WWW.SMILE.FR

Avec l'outil d'dition CDE (Community Dashboard Editor), les C*Tools permettent la publication de tableaux de bord trs riches sur le serveur Pentaho BI via un assistant de cration graphique web.

Il est noter que ces outils dlaboration de tableaux de bord s'adressent essentiellement des utilisateurs techniques, contrairement au Dashboard Designer de la version entreprise.

Pentaho BI OS enrichi des modules CTools et BIRT permet llaboration et la publication de tableaux de bords modernes et intuitifs.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 59

WWW.SMILE.FR

Exemple de tableau de bord labor avec un module CTools pour Pentaho BI OS

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
TALEND MDM
Prsentation

le meilleur des solutions


Page 60

Talend Master Data Management est une composante de la suite d'intgration de donnes open source Talend. Elle fournit une plateforme permettant d'intgrer, nettoyer, surveiller et publier les donnes rfrentielles d'une entreprise. En s'intgrant dans la suite ETL de Talend, Talend MDM permet de faire de l'change en temps rel entre un rfrentiel de donnes et des bases d'application htrogne.

WWW.SMILE.FR
D'un point de vue technique, les donnes rfrentielles sont stockes dans une base de donnes XML eXist-db. Le serveur MDM Talend est une application J2EE dploye dans un serveur JBoss donnant accs de nombreux services Web. Du point de vue utilisateur, on dispose d'une application Web permettant d'interagir avec la base de donnes rfrentielle. Le studio de dveloppement MDM s'intgre au sein du studio Talend. Il permet de modliser ses donnes rfrentielles et d'y affecter des rgles mtiers.

Studio MDM
L'application est compose du studio MDM qui permet de modliser les donnes rfrentielles. Talend MDM est un systme de gestion de la donne gnraliste. Il n'est pas spcifiquement orient produit ou tiers. A ce titre, il ncessite un travail de modlisation des donnes rfrentielles en amont. Dans le studio, une vue nous permet de dfinir le model. Un modle est compos de plusieurs entities pouvant avoir des relations entre elles.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 61

WWW.SMILE.FR

Les possibilits de typages de champs sont nombreuses (entiers, dcimaux, chanes de caractre, URL, numration, cl trangre, etc.) et permettent de modliser la donne rfrentielle de faon trs prcise. Le studio permet galement de crer un Data Contener qui contiendra une instance du modle MDM dans laquelle on pourra charger des lignes de donnes rfrentielles en rapport avec notre model. Le studio permet enfin de dfinir diffrents triggers et process permettant d'appeler des jobs d'intgration de donnes Talend. Ceci permettra par exemple de contrler la qualit des donnes avant sauvegarde (contrle des doublons, validation de rgles mtiers, etc.) ou d'enrichir les donnes rfrentielles de faon automatique.

MDM Web GUI


L'application Talend MDM est ensuite compose d'une application Web permettant de mettre disposition d'utilisateurs non techniques toutes les fonctionnalits de gestion de la donne rfrentielle. Ces crans permettront l'utilisateur de visualiser et modifier les donnes rfrentielles.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 62

WWW.SMILE.FR

Des outils de reporting sont galement disposition afin de visualiser ces donnes, les filtrer, les regrouper par hirarchies et les importer/exporter directement depuis linterface Web. La version 5 de Talend a permis lamlioration de l'interface de saisie de donnes rfrentielles ainsi que lamlioration des performances de la fonction de recherche : une recherche parmi toutes les donnes rfrentielles s'effectue dsormais en moins d'une seconde.

MDM Talend Components


Enfin, le studio classique de Data Integration de Talend s'enrichit de composants orients MDM permettant deffectuer de l'intgration de donnes en entre et en sortie de la base rfrentielle. Ces composants permettront de remplir et de faire vivre la base de donnes rfrentielle et de propager les donnes valides l'ensemble du SI de l'entreprise.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 63

WWW.SMILE.FR

Les nouveaux composants MDM de la palette permettront d'insrer, de rcuprer, de supprimer des donnes dans la base rfrentielle ou encore d'intercepter des modifications dans les donnes rfrentielles.

MDM Entreprise
La version Entreprise de Talend MDM est une version soumise souscription et amenant de nombreuses fonctionnalits complmentaires par rapport la version Community. La gestion des droits est beaucoup plus pousse que dans la version Community. On peut dfinir des oprateurs qui auront le droit de manipuler les donnes rfrentielles. Les droits s'exerant sur la donne peuvent se dfinir tant au niveau des colonnes (quel utilisateur a le droit de visualiser/modifier quelles colonnes ?) que des lignes (quelles valeurs d'une colonne a le droit de voir un utilisateur ?). La console de DataStewardship permet un contrle manuel des donnes avant leur entre dans le rfrentiel. Elle permet d'affecter des lignes, candidates une entre dans le rfrentiel mais prsentant une anomalie lie la qualit de donne, aux utilisateurs.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 64

WWW.SMILE.FR

Ceux-ci pourront alors corriger la donne manuellement et la valider afin quelle puisse entrer dans le rfrentiel. Talend MDM Entreprise permet une intgration avec Bonita, moteur open source de workflow. Il est possible de soumettre des processus de modification de donnes rfrentielles des utilisateurs avec diffrents niveaux d'approbation.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 65

LES SUITES DECISIONNELLES


Depuis maintenant 6 ans, nous avons tudi puis mis en uvre les principales plateformes dcisionnelles open source. Chaque solution est une suite logicielle part entire, compose des modules prsents ci-avant, avec une logique densemble.

WWW.SMILE.FR
21 22

Si les suites partageaient au dbut certains des composants open source que nous venons de prsenter, et quelles en partagent encore certains, les solutions dcisionnelles open source ont maintenant tendance se diffrentier afin dapporter chacune une rponse adapte aux besoins des projets.

PENTAHO BI SUITE
Prsentation
Pentaho21 est une suite logicielle qui permet la distribution de fonctionnalits et documents dcisionnels un grand nombre de personnes par l'intermdiaire d'une interface Web. Pentaho est propos en version communautaire et en version entreprise soumise souscription annuelle, avec des modules supplmentaires ainsi quun support produit et projet et des garanties de licences. Pentaho est un acteur clair et impliqu de lopen source, qui a ralli ds le dbut des produits open source comme Kettle ou Mondrian et qui sait encore animer sa communaut, la diriger et au final se baser sur les dveloppements communautaires pour les complter et les intgrer dans sa version entreprise. Le dashboard designer est un bon exemple de cet ancrage dans la communaut open source. Ce module se base sur le CDF (Community Dashboard Framework), dvelopp par la communaut et destination de profils techniques. Sur la base de ce framework, lquipe Pentaho a dvelopp une interface Wysiwyg de configuration en mode Web, destination cette fois-ci des utilisateurs mtiers. Le module end-user est maintenant intgr dans la version entreprise. En parallle, un projet communautaire, le Community Dashboard Editor22, a vu le jour en 2009. Aujourdhui ce sont les projets Ctools qui ont le vent en poupe.

Fonctionnalits
Pentaho permet, via une interface unique, l'accs aux diffrents composants dcisionnels de la suite.

http://www.pentaho.com http://code.google.com/p/cdf-de/

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 66

Il est ainsi possible de consulter des rapports (conus avec Pentaho Report Designer, BIRT ou iReport), d'utiliser les fonctions d'exploration multidimensionnelle de Mondrian, et de constituer des tableaux de bord. Lors de louverture dun document, l'utilisateur a la possibilit de modifier les paramtres d'excution, par exemple en choisissant la priode concerne ou les produits reprsents. La plateforme permet galement d'envoyer automatiquement par email un ensemble de rapports leurs destinataires respectifs. Cet envoi se produisant soit priodiquement, soit la demande.

WWW.SMILE.FR

Interface utilisateur
Il est possible d'utiliser les fonctionnalits de la plateforme Pentaho dans une application Web, un portail ou par l'appel de Web-services. Pentaho inclut deux interfaces pour la prsentation et l'excution des diffrentes actions disponibles. Application Web Linterface par dfaut de Pentaho, donne accs de faon trs simple lensemble des actions disponibles ainsi quaux fonctions dadministration. La scurit y est largement implmente, tous les niveaux attendus : accs aux documents, droits daction sur les documents et galement scurit la donne selon la personne connecte, permettant quun responsable dun pays ne verra par exemple que les donnes de son pays et non celles des autres. Cette interface constitue la faon la plus simple de mettre en place la plateforme Pentaho et elle sera donc bien souvent utilise en priorit.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 67

WWW.SMILE.FR

Application Web Pentaho BI Server 4.8

Portail Depuis la version 2.0 et la disponibilit dune console utilisateur trs ergonomique et multi-onglets, lintgration de Pentaho un portail est beaucoup moins pertinente, voire mme inutile. Elle nest reste pas moins possible, dune part par la large utilisation diframes dans Pentaho, fonctionnement que lon peut dupliquer pour lintgration dans un portail, et dautre part par la disponibilit de portlets standards permettant dafficher des listes de rapports puis de les excuter. Lintgration de Pentaho un portail implique galement la mise en uvre dun systme de Single Sign On, avec la gestion des utilisateurs dans un rfrentiel externe, en gnral un annuaire LDAP, et le partage de jetons, via par exemple la solution open source CAS.

Rapport Pentaho excut dans un portail Liferay

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 68

Dans ce mode, la scurit et la personnalisation de linterface sont grs par le portail. Il est par exemple possible de choisir quels portlets seront affichs pour tel ou tel utilisateur. Comme avec linterface classique , les informations utilisateur sont propages jusquaux actions Pentaho, ce qui permet de retourner des documents adapts, profils. Les portlets fournis par Pentaho sont utiliser lorsquon souhaite intgrer la plateforme dans des portails ou intranets dentreprise existants.

Moteur de workflow

WWW.SMILE.FR

Chaque fonctionnalit (gnration de rapport, analyse) peut tre appele par l'excution d'une squence dactions, ou xaction dans le langage Pentaho. Un xaction est une succession d'tapes simples, telles que l'excution d'une requte sur une base de donnes, la gnration d'un tat, l'envoi d'un mail ou lexcution dun job de PDI. Les traitements effectus dans ces actions peuvent tre assez pousss, car il est possible de traiter sparment chaque lment d'un ensemble de rsultats ou bien de raliser des calculs spcifiques via l'excution d'un programme javascript. Le moteur de workflow gre l'enchanement des diffrentes tapes. Chaque xaction est dcrit par un simple fichier XML. Pentaho dispose d'un outil, Pentaho Design Studio, qui s'intgre dans l'environnement de dveloppement Eclipse et permet d'assister la cration des fichiers xaction. Il faut noter que tous les composants dcisionnels supports par Pentaho peuvent constituer une tape du workflow, ce qui permet de combiner leurs fonctionnalits, et d'tendre trs facilement les possibilits de la plateforme en dveloppant de ENVOI D'UN ETAT PAR MAIL nouvelles tapes, jusqu en faire si souhait une vritable application mtier.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 69

WWW.SMILE.FR

Pentaho Design Studio

Planificateur
Le planificateur utilis est Quartz 23. Il permet de planifier n'importe quelle action Pentaho. Il est ainsi possible de crer une squence dactions qui gnre et envoie par mail un tat, et de la planifier pour une excution priodique. Le contrle du planificateur (ajout, suspension et suppression des actions) peut s'effectuer soit directement en Web, soit en utilisant les tapes correspondantes dans une squence dactions. Pentaho permet donc non seulement d'utiliser des outils dcisionnels avec une interface unique, mais galement de combiner leurs fonctionnalits et de les enrichir grce des traitements raliss en amont et en aval de leur excution.

Metadata
Une des fonctionnalits importantes de la suite Pentaho rside dans le Pentaho Metadata Editor, qui permet de crer des vues mtier de bases de donnes, les mtamodles, comprhensibles par les utilisateurs finaux. Lutilisateur ne voit plus directement les tables de la base mais des regroupements dinformations, retranscrites en franais (ou en anglais ou en plusieurs langues selon les utilisateurs), potentiellement issus de plusieurs tables et affichs ensemble.

23

http://www.opensymphony.com/quartz/

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 70

Une fois ces vues mtier dfinies, une interface Web leur permet de crer des requtes sans passer par du langage SQL, en slectionnant lcran les champs afficher, et les regroupements effectuer. En version communautaire, cest le Web Ad hoc Query Reporter qui sera utilis, avec une conception en quatre tapes successives, du choix du template au paramtrage des colonnes en passant par la slection des champs afficher. En version entreprise, vous pourrez utiliser linterface Interactive Reporting, dans laquelle vous pouvez positionner et configurer vos lments directement sur le rapport, en glisser-dposer et en mode Wysiwyg.

WWW.SMILE.FR

Le Metadata Editor enregistre le modle sous le format Common Warehouse Model , standard ouvert mais malheureusement peu partag de description dentrept.

Pentaho Metadata Editor

Il est noter que, au niveau de la conception du mtamodle, cette brique de la suite Pentaho n'a malheureusement pas normment volue depuis la version 3. Il est difficile d'envisager de raliser des modles de trs grande envergure comme ceux que l'on peut raliser avec des outils propritaires comme Business Object.

Analyzer
Analyzer est une interface Web de navigation multidimensionnelle pour le serveur Mondrian, disponible uniquement dans la version Enterprise de Pentaho. Les quipes de Pentaho ne lont pas dveloppe, mais Pentaho la acquise lditeur LucidEra qui proposait son logiciel en SaaS mais qui a fait faillite. Lopration financire est assez exceptionnelle dans la mesure o loutil de LucidEra fonctionnait dj avec le serveur Mondrian de Pentaho, ce qui a permis une intgration la version stable en moins dun mois, et que Pentaho a au passage rcupr les dveloppeurs du produit. Analyzer permet de construire sa vue multidimensionnelle la souris, par glisser-dposer des dimensions et indicateurs, puis de filtrer/exclure des valeurs. Il permet aux utilisateurs mtiers de crer des champs calculs, en saisissant la formule, donc sans limite de complexit. Bien que tous deux bass sur le moteur Mondrian, les fonctionnalits proposes par lAnalyzer sont beaucoup plus nombreuses que celles proposes sur loutil JPivot.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 71

WWW.SMILE.FR

Pentaho Analyzer

Avec cet Analyzer, Pentaho se tourne rsolument vers les utilisateurs finaux et leur donne un outil danalyse la fois simple daccs et trs puissant.

Dashboard designer
Pentaho propose depuis la version 3 un dashboard designer , permettant de crer des pages composites en mode Web. Pentaho a fait le choix dune mise en page avec des modles prdfinis, dans lesquelles les zones peuvent contenir des rapports existants ou de nouvelles requtes ad hoc. Dans chaque zone, lutilisateur peut choisir dafficher une table, un graphique, un cube, un rapport, etc. Les tables et les graphiques peuvent tre crs partir du requteur ad hoc, et on apprciera la qualit des graphiques proposs, raliss en Flash.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 72

WWW.SMILE.FR

Tableau de bord en mode dition

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 73

Lutilisateur peut galement dfinir des filtres qui sappliqueront toutes les zones et obtenir des tableaux de bord comme suit :

WWW.SMILE.FR

Tableau de bord en mode visualisation

Pentaho Schema WorkBench


Pentaho fournit une application de conception de cubes Mondrian. Lapplication est une simple surcouche par rapport ldition manuelle des fichiers XML : chaque balise est modifiable laide dun formulaire basique.

Schma Workbench

Cette application na pas de trs forte valeur ajoute, mais fera gagner un peu de temps aux dveloppeurs, en leur vitant les erreurs de balises XML et en leur proposant au bon endroit les noms des tables de la base de donnes et leurs colonnes associes.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 74

Depuis la version 4 de Pentaho, en version entreprise uniquement, il est possible de dvelopper ces schmas directement en Web. Un assistant aide construire les diffrents lments qui composent ce schma. Toutefois, les options sont limites et ne permettent pas de bnficier pleinement de la puissance de lAnalyzer. Il est donc souvent ncessaire de revenir au Schema Workbench ou denrichir directement le fichier XML gnr.

Pentaho Mobile

WWW.SMILE.FR

Loffre mobile de Pentaho, lance en 2011, permet aux utilisateurs de consulter ou de crer leurs propres rapports, et intgre galement la solution ad hoc et lAnalyzer. Cette offre nest disponible que pour iPad et la cration de tableaux de bord la vole, base sur Flash, nest du coup pas disponible.

Instaview
Instaview est une volution majeure du module Agile BI sortie il y a maintenant quelques temps et permettant de raccourcir les temps dimplmentation dun projet de BI. Il sagit de donner aux utilisateurs mtiers ou aux experts dcisionnels un outil pour couvrir rapidement lintgralit de la chaine de traitement BI et donc pour visualiser un rsultat sans longue phase de spcifications, modlisation, alimentation, construction des mta-modles et autres cubes.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 75

WWW.SMILE.FR

Instaview est donc un client riche bas sur PDI daccs des sources de type Big Data telles que : Hadoop : HDFS, Hive, NoSQL : HBase, Cassandra, MongoDB, Web : Twitter, Facebook, Log Files, Web Logs.

Communaut
Le projet Pentaho est actuellement trs actif et dmontre lactivit dun grand diteur de logiciel. Plusieurs projets dcisionnels open source tels que Kettle, Mondrian, Weka et JFreeReport ont rejoint le projet Pentaho, ce qui garantit une parfaite intgration et une volution cohrente de l'ensemble. La communaut autour du projet est galement dynamique comme en tmoigne l'activit sur le forum Pentaho ainsi que les diverses contributions faites au projet par les utilisateurs.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
Pentaho Marketplace

le meilleur des solutions


Page 76

WWW.SMILE.FR

Le Pentaho Marketplace est un nouveau module disponible sur la plateforme de Pentaho en version communautaire. Il permet l'intgration des plugins stables directement sur le serveur. Cet outil est dvelopp par WebDetails et Pentaho avec des objectifs simples : permettre aux utilisateurs de la version communautaire de Pentaho de connatre les plugins disponibles et compatibles avec la version actuelle de leur plateforme, permettre d'installer un plugin directement partir du serveur BI, voir les plugins qui sont installs, pouvoir effectuer leurs mises jour ou les dsinstaller. L'utilisateur a galement accs aux liens en rapport avec chaque plugin ainsi qu' la page des projets correspondants.

Ce concept de plugins essentiellement gr via l'interface utilisateur est une nouveaut majeure et rpond efficacement aux besoins des utilisateurs de la plateforme communautaire de Pentaho.

Conclusion
Pentaho dans sa version 4.8 est une plateforme dcisionnelle extrmement complte et auto-suffisante. Elle permet non seulement dutiliser les diffrents outils dcisionnels open source depuis une interface unique et simple dutilisation, mais elle permet galement dtendre et de combiner leurs fonctionnalits grce lutilisation dun moteur de workflow. Elle est par ailleurs aujourdhui la seule suite proposer lintgralit de la chaine de traitement dcisionnel en version communautaire.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
SPAGOBI
Prsentation

le meilleur des solutions


Page 77

SpagoBI24 est une suite dcisionnelle dveloppe par la socit italienne Engineering Ingegneria Informatica. Cette suite, la seule entirement Open Source, est uniquement distribue sous licence MPL v2.0. Il sagit dune licence dite commercial friendly faible copyleft qui permet la distribution dapplications bases sur SpagoBI intgrant du code dautres produits, open source ou propritaires. Afin de couvrir les diffrents besoins fonctionnels propre au dcisionnel, SpagoBI sappuie sur un ensemble de projet open source connexes (BIRT, WEKA, Talend). Plus quune simple solution agrgative, la suite permet de puissantes synergies notamment via son modle comportemental pouss. Au moment o nous crivons ces lignes, SpagoBI Server est disponible dans sa version 3.5.1.

WWW.SMILE.FR

Fonctionnalits et composants
Pour rpondre aux besoins de ses utilisateurs SpagoBI propose une vingtaine de composant (ou moteurs ) complmentaires.

Fonctionnement de SpagoBI

Reporting
4 moteurs : JasperReport, BIRT, Accessible report, BO

24

http://spagobi.eng.it

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 78

WWW.SMILE.FR

Exemple de rapport structur

Les moteurs de reporting ralisent des rapports statiques qui utilisent des vues d'informations structures et permettent leur export en plusieurs formats (XLS, JPEG, PDF,). Ils incluent gnralement des composants de type listes, tableaux croiss dynamiques, graphiques ou images. Les charts permettent de dvelopper des objets graphiques "ready-to-use" interactifs utiliser sparment, en choisissant les proprits inclure dans les rapports pour une vision plus riche des donnes. SpagoBi embarque 3 moteurs graphiques : JFreeChart, HChart, ExtChart.

Analyses dynamiques
Analyse Multi-dimensionelle 3 moteurs : Jpivot/Mondrian, JPalo/Mondrian, JPXMLA. Grce aux moteurs OLAP, plus flexibles que des rapports structurs, les utilisateurs peuvent explorer les donnes sur diffrents niveaux de dtail. La navigation se fait par actions de drill-down, drill-across, slice-and-dice, drill-through Reporting Ad-Hoc Le moteur Worksheet de SpagoBI permet aux utilisateurs finaux de crer librement leurs propres rapports multi feuilles, en dfinissant tableaux simples, tableaux croiss et diffrents types de graphiques dans la prsentation du document.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 79

WWW.SMILE.FR

SpagoBI comporte aussi des composants daide la cration de requtes qui permettent lutilisateur de slectionner graphiquement les donnes afficher de la base de production (pas obligatoirement dun entrept de donnes) puis deffectuer des tris, regroupements et slections puis dexporter le rsultat. En outre, lutilisateur peut exporter les rsultats, les enregistrer pour une utilisation ultrieure ou gnrer des modles de rapports. Data Mining SpagoBI permet l'analyse avance de donnes, grce des processus d'exploration visant trouver des informations caches dans de grands volumes. Pour cela elle sappuie sur Weka. Analyse Gographique SpagoBI offre deux moteurs gographiques permettant de mettre en relation des donnes gographiques et mtiers : Un moteur GEO, qui utilise un catalogue statique permettant aux utilisateurs de regrouper les informations selon des hirarchies gographiques. Ce moteur peut galement tre utilis en dehors de son contexte initial. Lanalyse de la rpartition de processus industriels ou de systmes topologiques sont des exemples possibles.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 80

WWW.SMILE.FR

Exemple dutilisation de GEO

un moteur GIS, qui interagit avec de vrais systmes spatiaux, selon le standard WFS / WMS.

Tableaux de bord
SpagoBI propose un moteur spcifique pour la ralisation de cockpits complexes qui permettent d'agrger plusieurs documents en une seule vue. En les reliant les uns aux autres, il favorise lexploration interactive et intuitive des donnes.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 81

SpagoBI offre au travers des outils COCKPIT et KPI tous les outils ncessaires pour crer, grer, afficher et parcourir les modles KPI hirarchiques, par diffrentes mthodes, rgles de calcul, seuils et rgles d'alarme.

Administration
SpagoBI propose un moteur spcifique permettant de produire des consoles de contrle en temps rel. Elles peuvent tre utilises plusieurs niveaux : entreprises, applications ou processus de BAM.

WWW.SMILE.FR

Gestion des donnes


SpagoBI met disposition des utilisateurs des fonctionnalits de write-back sur une base de donnes de rfrence via une interface utilisateur trs intuitive. Le comportement de cette dernire est entirement paramtrable. Des modles prdfinis sont disponibles dans la plate-forme. SpagoBI a slectionn Talend comme lETL de rfrence pour sa plateforme. Il est possible de planifier et de lancer des traitements de donnes directement depuis le portail.

Architecture
Larchitecture de SpagoBI repose sur cinq modules : SpagoBI Server, le serveur de Business Intelligence qui accueille les fonctionnalits centrales et analytiques, SpagoBI Studio, lenvironnement de dveloppement intgr, SpagoBI Meta, lenvironnement ddi aux mtadonnes, SpagoBI SDK, la couche dintgration pour utiliser SpagoBI avec des outils externes, SpagoBI Applications, qui regroupe les modles analytiques verticaux dvelopps travers SpagoBI.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 82

WWW.SMILE.FR

Architecture SpagoBI

SpagoBI Server Le SpagoBI Server met disposition un portail web destination des utilisateurs et administrateurs. Les premiers y accdent aux rapports et documents analytiques tandis que les seconds y retrouvent lensemble des interfaces de gestion et paramtrage de la solution. Il sagit dune application web dploye sur un serveur dapplication J2EE (Tomcat, JBoss) supportant la JVM 1.6. Elle sappuie sur une base de donnes ddie modlisable via lensemble des SGBD classiques (MySQL, PostgreSQL, Oracle). Lapplication peut tre utilise en stand alone ou tre embarque au sein dun portail de type Lyferay, eXo ou WebSphere. SpagoBI Studio SpagoBI Studio est un environnement de dveloppement bas sur Eclipse. Destin au dveloppeur, il permet la conception, le test et le dploiement direct des documents analytiques. Il embarque notamment les plug-ins de cration de rapports de BIRT et JReport. En proposant une interface unique, cette brique contribue allger la maintenance et le dploiement des documents dcisionnels dans SpagoBI. SpagoBI Meta SpagoBI Meta est le module spcifiquement ax sur la gestion et lexploitation des mtadonnes. Il propose de crer des business models au travers dun environnement Eclipse.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 83

WWW.SMILE.FR

Ces business model sont une couche smantique sur laquelle SpagoBI peut sappuyer aux travers de ses moteurs de reporting. Le module QbE permet aux utilisateurs de crer des requtes et des rapports bass sur ces modles qui leurs sont intelligibles.

Communaut
La communaut autour du projet SpagoBI reste moins importante que celle de Pentaho ou JasperSoft, mais son appartenance au consortium OW2 permet de crer une dynamique et un partage avec dautres modules et diteurs open source.

Conclusion
SpagoBI est une suite complte couvrant l'ensemble des besoins de Business Intelligence. Sa force est d'offrir ses utilisateurs un important panel de solutions analytiques et aux dveloppeurs, testeurs et administrateurs un large ventail d'outils dans leur travail quotidien. SpagoBI est une suite flexible. Elle offre de nombreux moteurs pour un mme domaine d'analyse, permettant aux dveloppeurs de choisir librement leur propre solution. Bas sur des standards ouverts, SpagoBI s'appuie sur des solutions prennes et open source.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
JASPERSOFT BI SUITE
Prsentation

le meilleur des solutions


Page 84

JasperServer25 est la plateforme dcisionnelle de JasperSoft, socit qui dveloppe galement le gnrateur dtats JasperReports, disponible depuis 2001. Cette plateforme propose des fonctionnalits de reporting et danalyse et est disponible sous deux licences : GPL et commerciale.

WWW.SMILE.FR

Fonctionnalits
On retrouve dans JasperServer toutes les fonctionnalits de JasperReports et JPivot/Mondrian, dj prsentes dans ce document. Les utilisateurs ont la possibilit de planifier eux mme la gnration des rapports, puis de recevoir le document par mail ou de le stocker dans un rpertoire du rfrentiel. Linterface nutilise pas de portail tiers contrairement aux autres plateformes. On dispose ici dune application Web dveloppe spcifiquement qui permet de crer de nouvelles analyses, de publier de nouveaux documents, de grer les comptes utilisateurs, leurs rles, ainsi que les droits daccs aux diffrents rpertoires et fichiers du rfrentiel.

Visualisation dun rapport dans JasperServer 5.0

Il est noter que, pour les administrateurs, la publication et la modification des diffrents rapports est possible directement depuis iReport, lapplication de conception de rapports de JasperReports.

25

http://www.jaspersoft.com/

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 85

WWW.SMILE.FR

Visualisation du rfrentiel dcisionnel dans JasperSoft

Composants utiliss

Rapports : JasperReports, Analyse : Mondrian et JPivot, sous le nom de JasperAnalysis, Planificateur : Quartz, ETL : Talend Open Studio, sous le nom de Jasper ETL.

Il est peu probable que cette plateforme supporte dautres gnrateurs dtats dans le futur. En effet, JasperSoft a tout intrt mettre en avant son propre outil de reporting.

Domaines
JasperSoft, dans ses versions payantes (Professionnal ou Enterprise), propose la cration de domaines mtier, couches smantiques et techniques au dessus des bases SQL relationnelles, permettant la fois de dfinir un lexique mtier et de sabstraire de la technique et du SQL. Une des particularits de JasperSoft est de proposer un outil de cration de domaines en mode Web, donc trs simplement accessible. Si cet outil nest pas graphique, il reste trs pratique et permet plusieurs fonctions trs avances, comme la cration de tables drives ou de champs calculs complexes.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 86

WWW.SMILE.FR

Cration dun domaine

Analyse ad hoc pour les utilisateurs finaux


JasperServer, en versions professionnelle et entreprise, comporte des fonctionnalits supplmentaires par rapport la version open source. Une diffrence majeure est loutil de cration de rapports ad hoc en ligne (listes, graphiques ou tableaux croiss), accessible tout utilisateur et s'appuyant sur les domaines. Les utilisateurs finaux ont ainsi la possibilit de crer en mode Web de nouveaux documents en quelques minutes grce une interface visuelle base dassistants et de glisser-dposer.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 87

Lditeur de tableaux croiss est particulirement intressant. Tout dabord, il permet de crer des cubes en mmoire sur nimporte quelle base relationnelle, sans passer par un serveur OLAP. Ensuite, il permet aux utilisateurs de crer leurs filtres, valeurs calcules et autres manipulations classiques. Enfin, il est possible de programmer lexcution priodique de ce cube avec, par exemple, un envoi par email. Sans oublier que, pour simplifier la manipulation, Jasper propose de travailler uniquement sur des donnes chantillon, cest--dire 100 lignes au lieu de toute la table.

WWW.SMILE.FR

Tableaux croiss avec JasperServer ad hoc

Depuis la version 4.2, Jasper a dploy un module danalyse OLAP, Jasper Analysis, qui permet la cration des cubes en ligne de manire trs intuitive.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 88

Cration dun graphe avec JasperServer OLAP

Linterface Web de cration de cubes est ici un vrai plus, avec la possibilit, pour les utilisateurs finaux, de construire leur analyse partir des donnes mises disposition, en toute autonomie, sans aucune connaissance informatique.

Cration de tableaux de bord


JasperSoft dispose galement dun outil de cration de tableaux de bord, accessible tout profil dutilisateur.

WWW.SMILE.FR

La mise en page est libre et se fait par glisser-dposer des rapports ou analyses dj ralises. Lajout de filtres est facilit, loutil proposant les filtres possibles pour les lments slectionns.

Jasper WorkBench
JasperSoft fournit galement un utilitaire pour la conception des cubes Mondrian. Celuici est trs proche de celui propos par Pentaho et prsent prcdemment.

Jasper Mobile
Loffre mobile de JasperSoft, lance en 2011, est sensiblement identique celle de Pentaho dcrite plus haut. Elle intgre les solutions de reporting, danalyse ad hoc et de tableaux de bord de la suite Jasper. Cette offre est dveloppe pour les mobiles et tablettes fonctionnant sous iOS et Android. Le code source et les ressources sont galement accessibles aux dveloppeurs afin de garantir une meilleure flexibilit.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 89

WWW.SMILE.FR

Conclusion
JasperSoft na pas dvelopp dETL, distribuant celui de Talend, ni de solution de datamining. En revanche, JasperSoft sest concentr sur lutilisabilit de sa solution pour les utilisateurs finaux. Le rsultat est excellent, avec une ergonomie 2.0 et, pour des utilisateurs non techniques, une trs grande autonomie la cration de nouveaux rapports et de nouveaux tableaux de bord. Les principaux changements apports par la version 5 de la suite JasperSoft se situent au niveau du visionneur de rapports, qui permet maintenant deffectuer des filtres et des tris sur les colonnes des rapports, ce qui permet de rendre plus interactifs les rapports crs dans iReport. Ceci rpond une demande forte des utilisateurs, qui taient souvent contraints dexporter au format Excel les rapports avant de pouvoir les exploiter. Le planificateur de tche a galement t amlior ; laudit perfectionn (identifier las anomalies) ; la flexibilit des emplacements de sortie des rapports (systme de fichier, FTP, e-mail) ; lamlioration des alertes ; la gestion du calendrier de l'entreprise (exclure les jours non pertinents) ; les interfaces API. Lanne 2012 a galement permis lintgration du Big Data dans la suite JasperSoft, la cration de connecteurs permettant laccs depuis la plateforme Jasper aux principales solutions Big Data (Hadoop Hive, Hadoop HBase, MongoDB, Cassandra). Ces connecteurs peuvent tre utiliss dans iReport et dans JasperReportsServer. Il est noter sur la version 5 un changement technologique important avec l'utilisation de Html5 en remplacement de la technologie Adobe Flash (graphiques, widgets, ...). L'utilisation de cette technologie standard du WEB permet l'interface web Jasper BI Suite daccrotre sa compatibilit avec de nouveaux systmes dexploitation (iOS, Android...).

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
PALO BI SUITE

le meilleur des solutions


Page 90

Jedox, socit allemande, dite la base multidimensionnelle Palo ainsi que diffrents composants connexes permettant den faire une suite dcisionnelle complte. Au moment dcrire ces lignes, il existe une version communautaire compose des briques suivantes Palo pour Excel, Palo Web et Palo ETL. La version Premium galement appele Jedox Suite propose des modules quivalents : Jedox pour Excel, Jedox Web, Jedox ETL, Jedox Mobile et le Supervision Server.

WWW.SMILE.FR
Jedox/Palo pour Excel
Palo pour Excel est un plugin pour Microsoft Excel et pour OpenOffice.org Calc qui permet la restitution de donnes contenues dans la base OLAP de Palo, mais galement la saisie de donnes directement via linterface Excel. La plupart des utilisateurs ayant une bonne connaissance des fonctionnalits Excel, Palo pour Excel, grce sa simplicit, savre tre un bon moyen de se familiariser Palo BI Suite.

Jedox/Palo Web
Palo Web combine tous les composants Palo dans une interface Web : ETL Manager : gestion de lETL Palo (cf. ci-aprs), Task Manager : planification de jobs, User Manager : gestion des droits utilisateurs, File Manager : cration de rapports via une interface Excel en ligne,

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 91

Report Manager : publication de rapports, Modeleur : cration et administration des modles OLAP. Gnralement, on entend par Palo Web uniquement le composant File Manager, qui permet la fois la cration de rapports Web mais galement limport de fichiers Excel existants.

WWW.SMILE.FR

Jedox-Web : rapport en ligne

Le tableur en ligne comporte la plupart des fonctionnalits utiles d'Excel. Il est mme possible de dvelopper des macros , mlange de PHP et Javascript. Il permet en outre de grer nativement le mode Read-Only sur certains indicateurs et le mode Read-Write sur dautres. Contrairement la version Excel de Palo, Palo Web est capable d'afficher proprement des listes de longueurs variables. Les graphiques disponibles dans la version Web, bien que trs riches, ne sont pas aussi volus que dans Excel.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 92

WWW.SMILE.FR

Jedox-Web : saisie en ligne

Cette fonctionnalit permet donc dadministrer, en mode Web, un workflow de saisie contrl.

Palo ETL
Palo ETL est un utilitaire qui permet de charger des cubes/dimensions Palo partir de diffrentes sources de donnes : Base de donnes relationnelles, Fichier, ERP (SAP, ) dans la version Premium payante. Il permet galement de charger des tables relationnelles, par exemple des tables de drillthrough, qui stockent les donnes au niveau fin et peuvent tre accdes directement depuis Palo pour Excel. Ceci permet davoir le dtail des donnes consolides dans les cubes.

Palo ETL

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source
Supervision Server

le meilleur des solutions


Page 93

Le Supervision Server est un module disponible dans la version Premium de Jedox Suite. Il s'agit d'un serveur Web/PHP qui permet d'intercepter des vnements dans les cubes et d'effectuer des actions. Une bibliothque PHP est mise disposition. Celle-ci permet par exemple de dlguer la partie authentification un annuaire LDAP ou encore de suivre les modifications survenues dans une base de donnes relationnelle. Depuis la version 3.3, il permet galement de surveiller les modifications effectues en base et den garder un historique (modification dun cube, dune dimension, dune valeur).

WWW.SMILE.FR

Jedox Mobile
Jedox Mobile est compos de plusieurs applications pour iPad, iPhone et Android. Elles permettent la visualisation, la cration et la sauvegarde de rapports, ainsi que lexport vers des mails et des PDFs. Les donnes peuvent galement tre saisies directement depuis le mobile. Cette application ne fonctionne cependant quen mode connect, car Jedox ne souhaite pas permettre le stockage de donnes sur les mobiles par soucis de scurit.

Conclusion
La couverture fonctionnelle de Palo/Jedox, et les choix technologiques associs, sont trs diffrentiants et ne rpondent pas aux mmes besoins que les autres suites open source. Si Palo peut souvent tre loutil unique de projets dcisonnels dune entreprise, il peut galement tre complmentaire de solutions comme Pentaho ou Jasper avec leurs fonctionnalits de reporting ad hoc. Il y a fort parier que le dveloppement de Jedox Web permettra de dployer cette solution dans des projets de grande envergure ou dans des entreprises pour lesquelles le dploiement grande chelle du plugin Excel pose problme.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 94

SERVICES PROPOSES PAR LES EDITEURS


Si le dveloppement, au sein dune communaut, dun outil technique spcifique a un sens, chacun pouvant utiliser loutil en question et y apporter ses contributions, le dveloppement dune suite dcisionnelle par une communaut nexiste pas, ou pas encore, tant leffort est important.

WWW.SMILE.FR

Ce sont bien de vritables socits commerciales qui sont la tte des diffrentes suites dcisionnelles open source exposes dans ce document. Aussi ces socits, outre le fait de se partager ou de se batailler les composants dvelopps par certaines communauts, essayent de trouver le meilleur moyen de rentabiliser leur investissement dans ce mtier dditeur de solutions open source. En dehors de SpagoBI, qui diffuse lintgralit de son logiciel sous licence MPL, les autres diteurs (Pentaho, JasperSoft, Jedox et Talend) ont tous choisi de mettre disposition une version gratuite mais limite, et de rserver la version entreprise des modules supplmentaires. En plus de ces modules complmentaires, les versions entreprise comprennent un support de la part de lditeur, avec, au-del du classique support logiciel pour les anomalies, une assistance la mise en uvre de la solution. Dans tous les cas, le support propos par lditeur est une garantie que, en cas de problme, vous ne serez pas seul et disposerez de lexpertise de lditeur afin de ne pas rester bloqus tant en mode projet quen mode exploitation. Les contrats de support incluent galement, en gnral, une clause d Intellectual Property protection , cest--dire une assurance juridique qui protge le client dventuelles actions de dtenteurs de brevets. Une clause trs prise aux Etats-Unis et en Angleterre.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 95

CONCLUSION
Les plateformes dcisionnelles open source sont des alternatives compltes et crdibles face aux solutions dcisionnelles commerciales. Les diffrents composants utiliss existent depuis plusieurs annes et sont trs fiables et prouvs. Le Web est le support de prdilection des plateformes open source, qui proposent visualisation, cration de rapports et analyse des donnes sous cette forme. Si des solutions, telles que Pentaho, JasperSoft ou SpagoBI, permettent de mettre en place un portail dcisionnel complet, il est galement possible dajouter facilement des fonctionnalits dcisionnelles une application existante, en utilisant sparment les composants sur lesquels sont bases ces plateformes. Depuis la premire version de ce livre blanc, les outils voluent en continu et intgrent maintenant des fonctionnalits interactives puissantes, apprcies des utilisateurs et des administrateurs. De nombreuses entreprises font maintenant le choix des outils dcisionnels open source, profitant de leurs performances, de leur scalabilit, de leur capacit dadaptation lexistant et de leur faible cot de possession.

WWW.SMILE.FR

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Dcisionnel :

open source

le meilleur des solutions


Page 96

REMERCIEMENTS
Un grand remerciement toutes les personnes ayant travaill sur le livre blanc : Pierre-Antoine MARC Alexis TRINQUET Simon MAURIN Florent BERANGER Boudjema LARID Aristide DE SOUZA Adrien FUTSCHIK

WWW.SMILE.FR

Et plus gnralement lensemble de lquipe BI de SMILE.

Edition avril 2013 Copyright Smile Open Source Solutions Toute reproduction interdite sans autorisation

Vous aimerez peut-être aussi