Ecole Polytechnique de Sousse Année Universitaire : 2023 -2024

Classe : 3LBI Devoir Surveillé S1

Matière : Big Data et Cloud Durée : 1h30
Enseignant : Sofiane Khalfallah Date : 08 - 11 - 2023
Documents autorisés : Non Nombre de Pages : 04

Nom et Prénom : ………Ben Ameur Islem ………………………………. Matricule : 21LBI011 N°

Place : …….

1- Donner la commande qui permet de lancer hadoop et yarn. Donner le nom de ce script. Lancer ce script.

./sbin / start-all .sh

2- Donner la commande qui permet de vérifier que le NameNode est lancé ainsi que les DataNodes.

jps

3- Donner la commande qui permet de mettre en place un répertoire dans HDFS, appelé dossier.

./bin / hdfs dfs -mkdir -p dossier

4- Donner la commande qui permet de mettre en place un fichier appelé dataset.txt dans le répertoire
courant (utiliser la commande touch).

touch dataset.txt

5- Utiliser echo pour ajouter plusieurs mots dans le fichier dataset.txt.

echo {......} >>dataset.txt

6- Charger le fichier dataset.txt dans le répertoire dossier que vous avez mis en place.

./bin/hdfs dfs -put dataset.txt dossier/

7- Donner la commande qui permet d’afficher le contenu du répertoire dossier

./bin/ hadoop fs -ls dossier

8- Donner la commande qui permet d’afficher les lignes du fichier dossier/dataset.txt (utiliser l’option tail)

./bin/hadoop fs -tail dossier/dataset.txt

9- Donner la commande qui permet de copier le fichier dataset.txt du hdfs vers votre disque local
(répertoire courant). Le fichier copié aura un nouveau nom copy-dataset.txt.

./bin/hadoop fs -copyToLocal dossier/dataset.txt copy-dataset.txt

10- Donner la commande qui permet d’afficher les lignes du fichier dossier/dataset.txt (utiliser l’option cat)

./bin/ hadoop fs -cat dossier/dataset.txt

 Ecole Polytechnique de Sousse Année Universitaire : 2023 -2024

11- Donner la commande qui permet de renommer le fichier dossier/dataset.txt. Le fichier renommé aura
un nouveau nom dossier/rename-dataset.txt.

./bin / hadoop fs -mv dossier/rename-dataset.txt

12- Donner la commande qui permet de supprimer le fichier dossier/rename-dataset.txt.

./bin/ hadoop fs rm dossier/rename-dataset.txt.

14- Donner la commande qui permet de tester le code mapreduce suivant :

/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar. On utilisera les trois
arguments suivants (pi, 2 et 5).

./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 2 5 &

15- Donner la commande qui permet de vérifier l'exécution de notre job

./bin/ hadoop job -list