Vous êtes sur la page 1sur 3

Big Data - Labs

Lab2

HDFS

Manipulation des Commandes HDFS

Dr. Sondès Fayech 1/3


Big Data - Labs

Objectifs
 Manipulation des commandes HDFS.
 Transfert des données entre le système de fichier local et Hadoop.
 Gestion des données sous HDFS
 Suivi de la configuration de Hadoop via les commandes HDFS

Exercice 1 : Accéder à HDFS

Pour les besoins du Lab2 : Démarrer votre machine virtuelle et créer l’arborescence
suivante :

/home/cloudera/Labs/Lab2

puis y placer le fichier fournit hamlet.txt.

1. Lancer un terminal.
2. Vérifier la version installée de hadoop.
3. Vérifier que HDFS fonctionne comme il faut.

Exercice 2 :Manipulation de HDFS

1. Créer un nouveau répertoire exercise2 sous HDFS

2. Copier le fichier hamlet.txt sous HDFS, dans le répertoire exercise2

3. Visualiser le contenu du répertoire exercise2 sous le navigateur UI et


naviguer à travers le contenu de HDFS

4. Utiliser le terminal pour visualiser le contenu de HDFS

5. Taper la commande suivante : hdfs dfs -put /etc/hosts /exercise2/ puis


vérifier le résultat

6. Essayer de réécraser le fichier hosts en retapant la commande précédente.


Ceci est-il possible ? Pourquoi ? Comment faire pour réécraser ce fichier ?

Dr. Sondès Fayech 2/3


Big Data - Labs

7. Déterminer la taille du fichier hamlet.txt

8. Afficher le contenu du fichier hamlet.txt sous HDFS

9. Afficher les 25 premières lignes du fichier hamlet.txt sous HDFS

10. Afficher les dernières lignes du fichier hamlet.txt

11. Copier hamlet.txt dans hamlet_hdfsCopy.txt sous HDFS

12. Copier hamlet.txt du HDFS dans le système local


/home/cloudera/Labs/Lab2 avec le nom hamlet_copy.txt

13. Créer un fichier fichierVide.txt de taille zéro dans le répertoire exercise2


sous HDFS

14. Renommer le fichier hamlet.txt sous HDFS par hamlet_backup.txt

Exercice 3 : Plongée plus profonde dans HDFS

1. Vérifiez l'ensemble du système de fichiers pour détecter les incohérences ou


les problèmes et lister tous les data nodes en utilisant les commandes HDFS

2. Afficher le nombre de data nodes en vie

3. Afficher les noms des datanodes sur le cluster

4. Visualiser les informations sur le fichier hamlet_backup.txt (nombre de


blocs, réplication, état, etc). Ces informations proviennent de quelle source ?

5. Supprimer le fichier hamlet_backup.txt de HDFS

6. Supprimer le répertoire exercise2 de HDFS

Correction du Lab : Lab2-Solution

Dr. Sondès Fayech 3/3

Vous aimerez peut-être aussi