Big Data 2

Pr. MOHAMED HAMLICH Sige.ensam@gmail.com

 Plan

 Rappels

 Chapitre 1: Sqoop, Flume, Zookeeper et Kafka

 Chapitre 2: Spark

 Chapitre 3: ML dans un environnement Big Data

 Chapitre 4: Fonctionnalités de sécurité Hadoop

2
 Rappels

 Système de fichier HDFS.

 MapReduce

 YARN

3
 Sqoop

 Sqoop, abbréviation de SQL-to-Hadoop, est un utilitaire de

transfert des données d’une base de données relationnelle
au HDFS et du HDFS aux bases de données relationnelles.

 Sqoop est utilisé pour importer des données des SGBDR tels
que MySQL, Oracle, SQL Server ou Teradata au HDFS,
transformer les données dans Hadoop via le MapReduce ou
un autre modèle de calcul, et les exporter en retour dans le
SGBDR.

 Lorsque vous exportez les données du SGBDR pour Hadoop,

vous pouvez les stocker sur Hive, HBase ou directement sur
le HDFS.
4
Sqoop

5
 Sqoop
 Sqoop est intégré à l’écosystème Hadoop et est-ce que nous
appelons le planificateur d’ingestion des données dans
Hadoop: il automatise ce processus d’import/export et en
planifie le moment d’exécution.
 Tout ce que vous avez à faire en tant qu’utilisateur c’est
d’écrire les requêtes SQL qui vont être utilisées pour
effectuer le mouvement d’import/export. Par ailleurs,
Sqoop, utilise le MapReduce pour importer et exporter les
données, ce qui efficace et tolérant aux pannes.

6
 Sqoop

 La figure suivante illustre particulièrement bien les

fonctions de Sqoop.

 Le processus d’import/export de Sqoop est relativement

simple à développer: Ecrire les requêtes SQL qui vont être
utilisées pour effectuer le mouvement d’import/export.

7
 Sqoop

 Supposons que nous souhaitons exporter une table MySQL

appelée ‘jvc_hadoop’ dans Hadoop. Nous souhaitons importer
la table dans le répertoire HDFS ‘lab/import/data’. Le script
Sqoop d’import sera le suivant :.