Discipline : 5-info Matière : Big Data

Enseignantes : Dr. Dalel kanzari & Mme. Mayssa Ben Kahla

TP2 : Hadoop-HDFS

Démarrer le cluster Hadoop

Accédez au répertoire hadoop-3.2.2/sbin et exécutez les commandes suivantes pour démarrer

le NameNode et le DataNode :

cd /home/mayssa/hadoop-3.2.2/sbin/

./start-dfs.sh

Une fois que le namenode, les datanodes et le namenode secondaire sont

opérationnels, démarrez la ressource YARN et les nodemanagers en tapant :

./start-yarn.sh

Tapez cette commande simple pour vérifier si tous les démons sont actifs et
s'exécutent en tant que processus Java :

jps
 Discipline : 5-info Matière : Big Data
Enseignantes : Dr. Dalel kanzari & Mme. Mayssa Ben Kahla

Quelques commandes HDFS Hadoop :

hadoop fs –ls //Affiche le contenu du répertoire racine

hadoop fs –put file.txt //Upload un fichier dans hadoop (à partir du

répertoire courant linux)

hadoop fs –get file.txt // Download un fichier à partir de hadoop sur le répertoire

courant linux

hadoop fs –tail file.txt //Lit les dernières lignes du fichier

hadoop fs –cat file.txt //Affiche tout le contenu du fichier

hadoop fs –mv file.txt newfile.txt //Renomme le fichier

hadoop fs –rm newfile.txt //Supprime le fichier

hadoop fs –mkdir myinput //Crée un répertoire

hadoop fs –cat file.txt | less //Lit le fichier page par page

Exercice :

1. créer le repertoire « myinput » sous hdfs :

 Discipline : 5-info Matière : Big Data
Enseignantes : Dr. Dalel kanzari & Mme. Mayssa Ben Kahla

2. Copier le fichier test.txt sous le repertoire « myinput»

3. Afficher les dernières lignes de test.txt
4. Afficher les 10 premières lignes de test.txt

Exercice2

1. Télécharger le fichier
« https://query.data.world/s/dk3tqqleaasgtr73gnwt6kc74xzolo” sous le
nom « diabetes» sur la machine « master-hadoop »

2. Télécharger le fichier
« https://query.data.world/s/nm5f6c67tstkrnqoogfplsq6o7jpdb” sous le
nom”diabete_Registry” sur le machine “master_hadoop”

3. Copier ces fichiers dans le cluster Hadoop dans le répertoire «myinput »

4. Afficher les dernières lignes de diabetes.csv

5. Afficher les 10 premières lignes de diabetes.csv

6. Afficher les dernières lignes de diabete_Registry.csv

7. Afficher les 10 premières lignes de diabete_Registry.csv

 Discipline : 5-info Matière : Big Data
Enseignantes : Dr. Dalel kanzari & Mme. Mayssa Ben Kahla

8. Fussionner les deux fichiers “diabetes.csv” et “diabete_Registry” dans

une seul fichier nommait “diabetes_global”