cntl+ .

-> chercher un composants sur le designer

Les composants -> Rôles

tFileInputDelimited -> source de données: peut être un fichier word excel json txt

- built-In : quand on va utiliser la source de données sur un seul job

- Référenciel : quand on va utiliser la source de données dans plusieurs jobs -> il faut ajouter la source
dans métadonnées puis l'utiliser dans les jobs

tUniqRow -> éviter les doublons

tLogRow -> afficher le résultats

tJavaFlex -> permet de personnaliser un composants par code java

 Composants Transformation

tAggregateRow -> recevoir un flux de données en faisant une agrégation sur une ou plusieurs colonnes
ou bien pour chaque ligné de sortie -> faire l’opération de GROUP BY soit par une valeur ou par un
champs ou faire des opérations de SUM/MAX/MIN (exp : on a un fichier excel contenant 4 colonnes dont
la colonne année -> on veut afficher seulement les lignes qui ont l’année maximale et on veut les grouper
par destination : group by destination et dans opérations on va mettre année et l’opération MAX)

tAggregateSortedRow -> permet d’agréger les données d’entrée triées pour la colonne de sortie en se
basant sur un ensemble d’opérations (même rôle de tAggregateRow mais avec le tri des lignes)

tConvertType-> faire des conversions de types de données Java vers un autre types de données Talend
(souvent associé au composant tMap)

tExternalSortRow -> utilisé pour les applications externes trier les données d’entrée d’une ou plusieurs
colonnes en fonctions de leurs types et de leurs ordres (il faut une applications externes pour trier)

tFilterColumn -> faire des modifications spécifiques établies a partie d’un mapping du noms des colonnes
sur un schéma défini -> on a une table de 4 colonnes mais on ne veut afficher/prendre que 2 colonnes
parmi 4 donc on utilise tFilterColumn et on choisi les colonnes qu’on veut filtrer

tFilterRow -> permet de filtrer des lignes d’entrées en définissant une ou plusieurs conditions sur les
colonnes sélectionnées -> exp : on veut afficher les lignes dont le pays commencent par une majuscule /
on veut afficher les personnes qui ont 20 ans (age=20)

tJoin -> permet d’établir des jointures entre deux tables

tMap -> permet de faire des jointures/ définir les propriétés d’aiguillage/ définir les propriétés de
transformation de données/ filtrage /concaténation /duplication (tMap peut remplacer
tJoin/tAggregate/tFilterRow)

tMap Filtrage

exp filtre -> (« filtre »).equals(row1.nomColonne) : on veut afficher les ligne qui ont le nom de pays
tunisie -> (« tunisie»).equals(row1.pays)

tMap concatenation

On met les deux colonnes à concaténer sur la même ligne de sortie dans le tableau Tmap : on va avoir
dans l’expression row1.nomColonne1 row1.nomColonne2-> puis on ajoute à l’expression

+ « séparateur » +

Résultat de l’expression : row1.nomColonne1 + « »+ row1.nomColonne2

tReplace -> effectuer une recherche et remplacer une valeur par une autre dans les colonnes spécifiés

tSampleRow -> filtrer les lignes en fonction de leurs positions

(Afficher les lignes 1 et 10 seulement -> écart= 1,10/ Afficher de la ligne 1 à la ligne 30 -> écart 1..30)

tSortRow -> trier les données d’entrées basées sur une ou plusieurs colonnes

(tri numérique ou alphabétique/ ascendant ou descendant )

tXMLMap -> même rôle que tMap mais utilisé sur des fichiers xml

 Composants Système

tRunJob -> exécuter des jobs un après l’autre

Les types de connexion

1/Row
- main: sert à envoyer un flux de données d'un composant à un autre

- lookup: utilisé lorsqu'on a plus qu'1 flux de données (2 sources de données par exemple reliées à un
tMap) / permet de faire la recherche des données -> relier un composant d'un flux secondaire à un
composants d'un flux principal

-Filter: filtrer/utilisé uniquement avec le composant tFilterRow avec un autre composant=> permet de
regrouper les données
- Reject: isoler les données qui ne peuvent pas être traitées pour différentes raisons (exp: valeur nulle..)

- ErrorRejects: rassembler les données qui sont impossibles à traiter (dates erronées/valeurs nulles...)

- Output: traiter les données reliés à un composant tMap

- Unique/Duplicates: lié au composant tUniqRow

- Multiple Input/Output: utilisé lorsqu'on a plusieurs inputs et plusieurs outputs

- Combine: relié uniquement au composant CombineSql

2/Iterate
faire une boucle sur plusieurs fichiers d'un répertoire de données/ sur les lignes d'un fichier ou sur les
entrées d'une bdd

3/Trigger: Déclenchement
Subjob Triggers:

-OnSubjobOK: exécuter le sous-job à condition qu'il soit exécuté sans erreurs

-OnSubjobError: exécuter le sous-job lorsque le sous-job précédent ne s'est pas déroulé correctement

Component Triggers:

-OnComponentOK: déclenche l'exécution du composant cible une fois que l'exécution du composant
source est terminé correctement/ peut servir à déclencher un sous job de notifications

-OnComponentError: déclenche l'exécution du composant cible une fois que l'exécution du composant
source n'a pas été faite correctement

-RunIf: déclencher un sous job si les conditions de déclenchement sont validées

4/Link
utilisé sur ELT et non pas sur ETL
Importation d’un fichier excel sur une bdd mysql avec l’invite
de commande du serveur :
1/ mettre le fichier excel dans htdocs du xampp

2/ ouvrir invite de commande

3/ Accédez au répertoire où MySQL est installé dans XAMPP. Le répertoire contenant l'exécutable MySQL
doit être quelque chose comme "xampp/mysql/bin".

=> cd C:\xampp\mysql\bin

4/ mysql -u nom_utiisateur nom_bdd --local-infile=1 -e "LOAD DATA LOCAL INFILE 'chemin du fichier’
INTO TABLE nom_table FIELDS TERMINATED BY ';' LINES TERMINATED BY '\n' IGNORE 1 LINES;"

Exemple : mysql -u root testuib --local-infile=1 -e "LOAD DATA LOCAL INFILE 'C:/xampp/htdocs/trans.csv'
INTO TABLE trans FIELDS TERMINATED BY ';' LINES TERMINATED BY '\n' IGNORE 1 LINES;"