10/12/2022 22:03 Hadoop 

Distributed File System - Utilisation pratique d'un cluster

Utilisation pratique d'un cluster

Méthode
Le but d'un système de fichiers étant d'avoir des fichiers, nous allons uploader les fichiers de
configurations présents dans le répertoire etc/hadoop d'Hadoop. Auparavant, nous allons créer un
dossier import pour pouvoir ajouter ensuite nos fichiers.

1 hdfs dfs -mkdir import

2 hdfs dfs -put $HADOOP_PREFIX/etc/hadoop/*.xml import

Ensuite, pour permettre de vérifier la bonne distribution des noeuds, nous allons lancer un job très
simple présent dans Hadoop :

1 hadoop jar $HADOOP_PREFIX/share/hadoop/mapreduce/hadoop-mapreduce-

examples-2.6.0.jar pi 2 5

Durant l'exécution du job, nous pouvons utiliser la commande suivante dans le but de vérifier l'exécution
de notre job :

1 hadoop job -list

https://stph.scenari-community.org/contribs/nos/Hadoop2/co/Configuration_et_utilisation_d_un_cluster_3.html 1/1