Stockage de données et Data centers

TP 1 : Gestion de données avec HDFS

Préparé par : Zouhair Essiddiqi

Encadré par : Abdelmajid BOUSSELHAM

 Exercice 1 : Commandes HDFS

1. Vérifiez la version Hadoop

Pour vérifier la version de Hadoop installée sur votre système, vous pouvez
exécuter la commande suivante dans votre terminal : hadoop version

2. Démarrez HDFS et vérifiez qu’il est en cours d’exécution

Tout d'abord, assurez-vous que votre environnement Hadoop est correctement
configuré.
Ensuite, démarrez HDFS en exécutant la commande suivante : start-dfs.sh
Cette commande démarrera les différents composants du système de fichiers
distribué Hadoop, y compris le NameNode, le DataNode, et le
SecondaryNameNode.
Pour vérifier que HDFS est en cours d'exécution, vous pouvez utiliser la
commande jps (Java Process Status) pour voir les processus Java en cours
d'exécution, y compris les processus HDFS. Exécutez la commande suivante : jps

3. Créez deux nouveaux répertoires nommés /mundiapolis/mdai et

/mundiaplois/lia sur HDFS
Pour créer deux nouveaux répertoires nommés /mundiapolis/mdai et
/mundiaplois/lia sur HDFS en utilisant la commande hdfs, vous pouvez
procéder comme suit :
• hdfs dfs -mkdir /mundiapolis/mdai
• hdfs dfs -mkdir /mundiaplois/lia

4. Créez un nouveau fichier java.txt contenant 10 lignes et cpp.txt contenant

10 lignes sur votre système local
Pour créer deux nouveaux fichiers, java.txt et cpp.txt, contenant chacun 10
lignes sur votre système local, vous pouvez utiliser un éditeur de texte ou
des commandes de terminal, selon votre préférence

5. Charger le fichier java.txt dans /mundiapolis/mdai et cpp.txt dans

/mundiaplois/lia sur HDFS
Pour charger le fichier java.txt dans /mundiapolis/mdai et cpp.txt dans
/mundiaplois/lia sur HDFS, vous pouvez utiliser la commande hdfs dfs -put.
Assurez-vous que les répertoires /mundiapolis/mdai et /mundiaplois/lia
existent déjà sur HDFS. Si ce n'est pas le cas, vous pouvez les créer en
utilisant la commande hdfs dfs -mkdir comme expliqué précédemment.
 Voici comment vous pouvez procéder :

6. Afficher le contenu du répertoire /mundiapolis/mdai et /mundiaplois/lia

Pour afficher le contenu des répertoires /mundiapolis/mdai et
/mundiaplois/lia sur HDFS, vous pouvez utiliser la commande hdfs dfs -ls.
Voici comment procéder :

7. Affichez le contenu du fichier java.txt qui se trouve dans HDFS

Pour afficher le contenu du fichier java.txt qui se trouve dans HDFS, vous
pouvez utiliser la commande hdfs dfs -cat. Voici comment procéder :
8. Déterminez la taille du fichier cpp.txt qui se trouve dans HDFS
Pour déterminer la taille du fichier cpp.txt qui se trouve dans HDFS, vous
pouvez utiliser la commande hdfs dfs -du. Cette commande affiche la taille de
chaque fichier ou répertoire spécifié sur HDFS.
Voici comment vous pouvez le faire :

9. Déplacez le fichier cpp.txt vers /mundiapolis/mdai et vérifier si le fichier est

bien déplacé
Pour déplacer le fichier cpp.txt vers le répertoire /mundiapolis/mdai sur
HDFS, vous pouvez utiliser la commande hdfs dfs -mv. Ensuite, pour vérifier
si le fichier a été déplacé avec succès, vous pouvez lister le contenu du
répertoire de destination.
Voici comment procéder :

10. Supprimez les fichier java.txt et cpp.txt dans HDFS

Pour supprimer les fichiers java.txt et cpp.txt dans HDFS, vous pouvez
utiliser la commande hdfs dfs -rm. Voici comment vous pouvez procéder :
 Exercice 2 : Sqoop

On souhaite à travers cet exercice d’importer et exporter des données entre

une base de données sur MySQL et HDFS.
- Créez une base de données nommée DB_MUNDIAPOLIS dans MySQL
contenant une table nommée ADMINISTRATEURS.
Pour créer une base de données nommée DB_MUNDIAPOLIS dans MySQL
contenant une table nommée ADMINISTRATEURS, vous pouvez utiliser des
commandes SQL dans l'interface de ligne de commande MySQL ou dans un
outil de gestion de base de données comme phpMyAdmin.

- Importation les données de la table dans HDFS en utilisant SQOOP.