Objectifs Manipulation des commandes HDFS. Transfert des données entre le système de fichier local et Hadoop. Gestion des données sous HDFS Suivi de la configuration de Hadoop via les commandes HDFS
Exercice 1 : Accéder à HDFS
Pour les besoins du Lab2 : Démarrer votre machine virtuelle et créer l’arborescence suivante :
/home/cloudera/Labs/Lab2
puis y placer le fichier fournit hamlet.txt.
1. Lancer un terminal. 2. Vérifier la version installée de hadoop. 3. Vérifier que HDFS fonctionne comme il faut.
Exercice 2 :Manipulation de HDFS
1. Créer un nouveau répertoire exercise2 sous HDFS
2. Copier le fichier hamlet.txt sous HDFS, dans le répertoire exercise2
3. Visualiser le contenu du répertoire exercise2 sous le navigateur UI et
naviguer à travers le contenu de HDFS
4. Utiliser le terminal pour visualiser le contenu de HDFS
5. Taper la commande suivante : hdfs dfs -put /etc/hosts /exercise2/ puis
vérifier le résultat
6. Essayer de réécraser le fichier hosts en retapant la commande précédente.
Ceci est-il possible ? Pourquoi ? Comment faire pour réécraser ce fichier ?
Dr. Sondès Fayech 2/3
Big Data - Labs
7. Déterminer la taille du fichier hamlet.txt
8. Afficher le contenu du fichier hamlet.txt sous HDFS
9. Afficher les 25 premières lignes du fichier hamlet.txt sous HDFS
10. Afficher les dernières lignes du fichier hamlet.txt
11. Copier hamlet.txt dans hamlet_hdfsCopy.txt sous HDFS
12. Copier hamlet.txt du HDFS dans le système local
/home/cloudera/Labs/Lab2 avec le nom hamlet_copy.txt
13. Créer un fichier fichierVide.txt de taille zéro dans le répertoire exercise2
sous HDFS
14. Renommer le fichier hamlet.txt sous HDFS par hamlet_backup.txt
Exercice 3 : Plongée plus profonde dans HDFS
1. Vérifiez l'ensemble du système de fichiers pour détecter les incohérences ou
les problèmes et lister tous les data nodes en utilisant les commandes HDFS
2. Afficher le nombre de data nodes en vie
3. Afficher les noms des datanodes sur le cluster
4. Visualiser les informations sur le fichier hamlet_backup.txt (nombre de
blocs, réplication, état, etc). Ces informations proviennent de quelle source ?
