Vous êtes sur la page 1sur 13

TP N °2: Sqoop

Salah Eddine Hebabaze

Master: Cloud and High-Performance Computing

ENSIAS
27 December 2020

Part 1: importer les données de MySQL vers HDFS en utilisant Sqoop.


1. L'accès au MySQL :
2. Afficher les bases de données existantes :

3. Utiliser la base de données `retail_db' :

4. Afficher les Tables de la base de données sélectionnée :


5. Afficher tous les champs de la table des départements:

6. Quitter la base de données :

7. afficher toutes les bases de données MySQL en utilisant sqoop list-databese :

8. Importer les données de MySQL vers HDFS en utilisant la commande Sqoop import
8.1. L'exécution de commande :
8.2. Suivis de job : http://quickstart.cloudera:8088/proxy/application_1609112803102_0003/

9. Afficher les données importer à partir du navigateur Hue :


10. Affichage des données importés , en ligne de commande :

Part 2 : exporter les données de HDFS vers MySQL :


1. Se connecter à MySQL :

2. Afficher les bases de données existantes :


3. La sélection de la base de données " retail_db":

4. L'affichage des Tables de la base `retail_db`:

5. Création de la table departements_data :

6. Vérification de la tâche de création de nouveau Table :


7. Afficher le contenu du Table `departements_data`:

N.B: le Table est encore vide


8. Exporter les données de HDFS vers Mysql :

9. Se connecter au MySQL :
$mysql -u root –pcloudera
10. Sélection de la base de données ` retail_db ` :

11. Afficher la liste des tables de la base `retail_db` :

12. Affichage des données de la table ` departements_data`

Part 3 : Sqoop incremental import


1. Login to mysql databases
$mysql -uroot -pcloudera

2. Show all database in mysql


$show databases;
3. Used retail_db databases.
$use retail_db
4. Show all tables in retail_db database.
show tables;
5. Display all fields in departments table.

6. Insert two rows in departments table.

7. Display all fields in departments table.


8. To show data in HDFS.

9. To show data in departments table through Sqoop eval command.

10. Import new data from mysql to HDFS using Sqoop import command.
11. To show all imported data in HDFS:

Part 4: how to create Sqoop job using Sqoop command


1. Create Sqoop job using below command:

2. to verify the list of saved Sqoop jobs:

3. verify particular jobs and their details:


4. The following command is used to execute a saved job called mynewjob :