Académique Documents
Professionnel Documents
Culture Documents
1
Table des matières
2
1) Installation et configuration d'un noeud unique d'Apache Hadoop
3.3.1 :
3
Etape 1-2 : Avoir les fichiers nécessaires pour le Tp
4
.
5
Copiez la clé publique sur le serveur localhost
6
Etape 3 : Installation de JAVA 8
Extraction de l'archive
7
.
8
9
Utilisation de la commande update-alternatives pour dire au système où java et ses
exécutables sont installés et mise à jour de javac alternatives
10
.
.
.
11
Recharger le fichier profile (en tant que root et avec
l’utilisateur hdziane)
12
Test de la mise en place des variables d'environnement dans le terminal hadoop
13
Création des répertoire de stockage de données de hadoop:
14
Etape 5 : Configuration d'Apache Hadoop 3.3.1
On modifie le fichier .bashrc en ajoutant les lignes suivantes à la fin du fichier comme ci-dessous
15
Après on modifie la variable d’environnement JAVA_HOME dans le fichier
/usr/local/hadoop/etc/hadoop/hadoop-env.sh
hdziane@hicham:~$ cd /usr/local/hadoop/etc/hadoop/
Après on effectue les changements suivants :
16
Dans le fichier core-site.xml :
17
Dans le fichier hdfs-site.xml:
18
Dans le fichier mapred-site.xml :
19
Dans le fichier yarn-site.xml :
Formatage du Namenode
.
.
20
.
.
21
On vérifie si tous les composants du cluster fonctionnent à l’aide de la commande
jps
22
Accéder l’interface du ResourceManager :
23
2) Exécution d'un programme Map/Reduce dans un cluster à noeud
unique :
24
Création des répertoires code et org ainsi que l’extraction des fichiers java depuis
le fichier code_java.zip ainsi la compilation des fichiers java
25
.
.
.
.
.
.
.
.
.
.
.
26
hdziane@hicham:~$ cd /usr/local/hadoop/
hdziane@hicham:/usr/local/hadoop$ bin/hdfs dfs -put /home/hdziane/Documents/poeme.txt /
hdziane@hicham:~$ cd /home/hdziane/Documents/code/
27
hdziane@hicham:~/Documents/code$ hadoop jar wcount.jar org.hadoop.wordcount.WCount /poeme.txt /results
28
29
hdziane@hicham:~$:~/Documents/code$ hadoop fs -ls /results
hdziane@hicham:~$:~/Documents/code$ hadoop fs -cat /results/part-r-00000
30
En fin on arrête tous les daemons en cours d'exécution sur votre la machine virtuelle
A travers les deux scripts stop-dfs.sh et stop-yarn.sh
31
3) Configuration d'un cluster multi-noeuds d'Apache Hadoop
Ajout du nouveau hostname de la machine master
32
Suppression des fichiers du répertoire de stockage de données créer par l'installation single node
de Hadoop
33
Modification du fichier hdfs-site.xml
34
Modification du fichier yarn-site.xml
35
Modification du fichier workers
36
Suppression des fichiers du répertoire de stockage de données créer par l'installation
single node de Hadoop
Slave 1
Slave 2
37
Connexion entre les machines du cluster
Testez la connexion entre les machines du cluster en effectuant des pings entre les différentes
machines
38
Copiez la clé ssh pour configurer un accès ssh sans mot de passe entre les machines du cluster
39
hdsaad@hadoopmaster:~$ ssh-copy-id -i /home/hdsaad/.ssh/id_rsa.pub
hdsaad@slave2
40
Test de la connexion du slave2 au master
Slave1
41
Slave2
42
Démarrage du cluster
start-dfs.sh et start-yarn.sh
la commande jps
Master
43
Slave1
Slave2
44
Accéder aux services de Hadoop via le navigateur
live nodes
45
L’interface du Ressource manager
46
4) Exécution d'un programme Map/Reduce dans un cluster multi-
nœuds
47
Exécution du programme Map/Reduce
48
hdsaad@hadoopmaster:~/Documents/code$
hadoop jar wcount.jar org.hadoop.wordcount.WCount /poeme.txt /results
49
hdsaad@hadoopmaster:~/Documents/code$ hadoop fs -cat /results/part-r-00000
50