ETL

TALEND
A U T E U R : J O N AT H A N F O N TA N E L
D AT E : 1 4 / 1 0 / 2 0 1 9
TP ISIMA ZZ3 F3 BUSINESS INTELLIGENCE
 BUT DE CES TP S
• But des TP  Acquérir des compétences dans plusieurs outils de BI :
– Talend Open Studio

– Suite Microsoft SQL Server

– Tableau

– MicroStrategy

2
 BUT DE CES TP S

• Comment ça va être noté ?

– Présence et implication en TP (… %)

– Rapport final de 10/15 pages max en PDF qui résumera ce que vous avez
compris

3
DES DONNÉES SOURCES À LA
RESTITUTION

4
 LES DONNÉES SOURCES
• Des données provenant du SI de l’entreprise ou de l’extérieur
– Interne : ERP, fichiers XLS, Systèmes Legacy, BDD spécifiques, …
– Externe : Flux EDI Fournisseurs, clients, ..

5
ETL : EXTRACT, TRANSFORM
LOAD
• Extraction de données de tous types (Excel, fichier plat ou CSV,
BDD, etc…)

• Transformation de données (Création de colonnes, changement

de type, Jointure de tables)

• Chargement de données (Chargement dans l’entrepôt de

données ou des fichiers)

6
MAGIC QUADRANT FOR DATA
INTEGRATION TOOLS

7
PRÉSENTATION
DE TALEND
OPEN STUDIO

8
PRÉSENTATION DE TALEND OPEN
STUDIO
• Talend Open Studio for Data Integration : Outil Open Source pour
l’intégration de données

9
PRÉSENTATION DE TALEND OPEN
STUDIO
• But de Talend : l’intégration de données
– Intégration opérationnelle :
• entre des programmes ;
• réplication de base de données ;
• migration de données ;

– Intégration décisionnelle : ETL

10
PRÉSENTATION DE TALEND OPEN
STUDIO
 De quoi est fait Talend ?

 Basé sur Eclipse

 Générateur de code Java et Perl

 Outil qui évolue (partage de composant)

11
ATELIERS SUR
TALEND OPEN
STUDIO

12
PRÉREQUIS

• Vérification de MySQL Workbench

• Installation de la base « gestion_livres »

• Récupération des paramètres de connexion à la base

• Vérification avec une requête

13
 ATELIERS SUR TALEND OPEN
STUDIO
• Création d’un projet
• Création d’un business model
• Création d’une connexion à une base MySQL
• Création d’un premier job
• Modification de ce job
• Création d’une connexion à un fichier Excel et CSV
• Création d’une routine
• Chargement dans une base

14
 ATELIERS SUR TALEND OPEN
STUDIO
• Création d’un projet :

15
 ATELIERS SUR TALEND OPEN
STUDIO
• Création d’un business model :

16
 ATELIERS SUR TALEND OPEN
STUDIO
• Création d’une connexion à une base MySQL :

17
ATELIERS SUR TALEND OPEN
STUDIO
• Création d’une connexion à une base MySQL :

18
 ATELIERS SUR TALEND OPEN
STUDIO
• Création d’une connexion à une base MySQL :

19
 ATELIERS SUR TALEND OPEN
STUDIO
• Création d’un premier job :

20
ATELIERS SUR TALEND OPEN
STUDIO
• Création d’un premier job : ajout de la connexion

21
 ATELIERS SUR TALEND OPEN
STUDIO
• Création d’un premier job : ajout d’un composant de log

22
 ATELIERS SUR TALEND OPEN
STUDIO
• Création d’un premier job : configuration du composant de log

23
 ATELIERS SUR TALEND OPEN
STUDIO
• Création d’un premier job : liaison des composants

24
 ATELIERS SUR TALEND OPEN
STUDIO
• Création d’un premier job : exécution du job

25
ATELIERS SUR TALEND OPEN
STUDIO
• Modification de ce job : ajout d’un composant d’aiguillage

26
ATELIERS SUR TALEND OPEN
STUDIO
• Modification de ce job : liaison avec les autres composants

27
ATELIERS SUR TALEND OPEN
STUDIO
• Modification de ce job : configuration du composant d’aiguillage

28
ATELIERS SUR TALEND OPEN
STUDIO
• Ajout d’un paramètre dans le job : ajout du composant tMsgBox

29
ATELIERS SUR TALEND OPEN
STUDIO
• Ajout d’un paramètre dans le job : configuration du composant tMsgBox

30
 ATELIERS SUR TALEND OPEN
STUDIO
• Ajout d’un paramètre dans le job : configuration du composant tMysqlinput

" SELECT
`auteur`.`NUMERO_A`,
`auteur`.`NOM`,
`auteur`.`PRENOM`,
`auteur`.`DOMICILE`
FROM `auteur`
WHERE `auteur`.`DOMICILE` = ‘ " +
((String)globalMap.get("tMsgBox_1_RESULT"))
+" ‘ "

31
 ATELIERS SUR TALEND OPEN
STUDIO
• Création d’une connexion à un fichier Excel

32
 ATELIERS SUR TALEND OPEN
STUDIO
• Création d’une connexion à un fichier Excel

33
 ATELIERS SUR TALEND OPEN
STUDIO
• Création d’une connexion à un fichier CSV

34
ATELIERS SUR TALEND OPEN
STUDIO
• Création d’une connexion à un fichier CSV

35
ATELIERS SUR TALEND OPEN
STUDIO
• Création d’une routine :

36
 ATELIERS SUR TALEND OPEN
STUDIO
• Création d’une routine :

public static String Concat (String message1,

String message2)
{
String resultat = new String("");
resultat = message1 + " / " + message2;
return resultat;
}

37
ATELIERS SUR TALEND OPEN
STUDIO
• Création d’une routine :

38
ATELIERS SUR TALEND OPEN
STUDIO
• Chargement dans une base :

39
ATELIERS SUR TALEND OPEN
STUDIO
• Chargement dans une base :

40