Vous êtes sur la page 1sur 50

Tp Hadoop

NOM : ZIANE NOM : BERRISSOUL

PRENOM : HICHAM PRENOM : SAAD

1
Table des matières

1-Installation et configuration d'un noeud unique d'Apache Hadoop 3.3.1………………….………….….3

2-Exécution d'un programme Map/Reduce dans un cluster à nœud unique……………………….……..24

3-Configuration d'un cluster multi-noeuds d'Apache Hadoop……………………………………………….…...32

4-Exécution d'un programme Map/Reduce dans un cluster multi-nœuds……………………………..…..47

2
1) Installation et configuration d'un noeud unique d'Apache Hadoop
3.3.1 :

Etape 1 : Création d'un utilisateur hdziane

3
Etape 1-2 : Avoir les fichiers nécessaires pour le Tp

Etape 2 : Mise en place de la clé ssh


Installez le paquet nécessaire pour ssh

4
.

Mettre en place la clé ssh pour son propre compte

5
Copiez la clé publique sur le serveur localhost

Teste de la connexion à localhost

6
Etape 3 : Installation de JAVA 8

Création du répertoire /opt /java.

Extraction de l'archive

7
.

8
9
Utilisation de la commande update-alternatives pour dire au système où java et ses
exécutables sont installés et mise à jour de javac alternatives

Installation de l’éditeur de texte vim

10
.
.
.

Mise en place de manière permanente les variables d'environnement JAVA pour


tous les utilisateurs
Dans le ficher /etc/profile on effectue les changements suivants :

11
Recharger le fichier profile (en tant que root et avec
l’utilisateur hdziane)

Mise en place de manière permanente les variables d'environnement JAVA


Pour cela on édit le fichier .bashrc comme suit :

12
Test de la mise en place des variables d'environnement dans le terminal hadoop

Etape 4 : Installation d'Apache Hadoop 3.3.1


hdziane@hicham:~/Documents$ tar -zxvf hadoop-3.3.1.tar.gz
.
.
.
.
.

13
Création des répertoire de stockage de données de hadoop:

14
Etape 5 : Configuration d'Apache Hadoop 3.3.1

Mise en place des variables d'environnements

On modifie le fichier .bashrc en ajoutant les lignes suivantes à la fin du fichier comme ci-dessous

On recharge le fichier ~/.bashrc en utilisant la fonction source

15
Après on modifie la variable d’environnement JAVA_HOME dans le fichier
/usr/local/hadoop/etc/hadoop/hadoop-env.sh

Création du répertoire des fichiers temporaires de hadoop

Modification des fichiers de configuration de Hadoop

hdziane@hicham:~$ cd /usr/local/hadoop/etc/hadoop/
Après on effectue les changements suivants :

16
Dans le fichier core-site.xml :

17
Dans le fichier hdfs-site.xml:

18
Dans le fichier mapred-site.xml :

19
Dans le fichier yarn-site.xml :

Formatage du Namenode

.
.

20
.
.

Maintenant on démarre le cluster à nœud unique

21
On vérifie si tous les composants du cluster fonctionnent à l’aide de la commande
jps

Accéder aux interfaces graphiques de Hadoop via le navigateur

accéder l’interface du NameNode:

22
Accéder l’interface du ResourceManager :

23
2) Exécution d'un programme Map/Reduce dans un cluster à noeud
unique :

24
Création des répertoires code et org ainsi que l’extraction des fichiers java depuis
le fichier code_java.zip ainsi la compilation des fichiers java

On déplace les .class dans le répertoire org/hadoop/wordcount/

Génération du fichier .jar

25
.
.
.
.
.
.
.
.
.
.
.

26
hdziane@hicham:~$ cd /usr/local/hadoop/
hdziane@hicham:/usr/local/hadoop$ bin/hdfs dfs -put /home/hdziane/Documents/poeme.txt /

hdziane@hicham:/usr/local/hadoop$ bin/hdfs dfs -ls /

hdziane@hicham:~$ cd /home/hdziane/Documents/code/

27
hdziane@hicham:~/Documents/code$ hadoop jar wcount.jar org.hadoop.wordcount.WCount /poeme.txt /results

28
29
hdziane@hicham:~$:~/Documents/code$ hadoop fs -ls /results
hdziane@hicham:~$:~/Documents/code$ hadoop fs -cat /results/part-r-00000

30
En fin on arrête tous les daemons en cours d'exécution sur votre la machine virtuelle
A travers les deux scripts stop-dfs.sh et stop-yarn.sh

31
3) Configuration d'un cluster multi-noeuds d'Apache Hadoop
Ajout du nouveau hostname de la machine master

Ajout des IP fixes des différentes machines du cluster

Configuration de manière permanente l'adresse IP fixe de la machine hadoopmaster

32
Suppression des fichiers du répertoire de stockage de données créer par l'installation single node
de Hadoop

Modification des fichiers de configuration de hadoop

Modification du fichier core-site.xml

33
Modification du fichier hdfs-site.xml

Modification du fichier mapred-site.xml

34
Modification du fichier yarn-site.xml

Création du fichier masters

35
Modification du fichier workers

Clonage de la machine hadoopmaster

Modification à faire dans les machines slave1 et slave2

*Configuration d'adresse IP fixe et de hostname*

36
Suppression des fichiers du répertoire de stockage de données créer par l'installation
single node de Hadoop

Slave 1

Slave 2

37
Connexion entre les machines du cluster

Testez la connexion entre les machines du cluster en effectuant des pings entre les différentes
machines

38
Copiez la clé ssh pour configurer un accès ssh sans mot de passe entre les machines du cluster

hdsaad@hadoopmaster:~$ ssh-copy-id -i /home/hdsaad/.ssh/id_rsa.pub


hdsaad@slave1

39
hdsaad@hadoopmaster:~$ ssh-copy-id -i /home/hdsaad/.ssh/id_rsa.pub
hdsaad@slave2

Testez la connexion ssh entre les différentes machines du cluster

Test de la connexion du master au slave2

40
Test de la connexion du slave2 au master

Modification du fichier hdfs-site.xml de la machine virtuelle slave1 et slave2

Slave1

41
Slave2

Formatage du namenode dans hadoopmaster

42
Démarrage du cluster

start-dfs.sh et start-yarn.sh

la commande jps

Master

43
Slave1

Slave2

44
Accéder aux services de Hadoop via le navigateur

live nodes

45
L’interface du Ressource manager

46
4) Exécution d'un programme Map/Reduce dans un cluster multi-
nœuds

Vérifier le bon fonctionnement de tous les noeuds du cluster

47
Exécution du programme Map/Reduce

48
hdsaad@hadoopmaster:~/Documents/code$
hadoop jar wcount.jar org.hadoop.wordcount.WCount /poeme.txt /results

hdsaad@hadoopmaster:~/Documents/code$ hadoop fs -ls /results

49
hdsaad@hadoopmaster:~/Documents/code$ hadoop fs -cat /results/part-r-00000

arrêter tous les daemons en cours d'exécution avec stop-dfs.sh et stop-yarn.sh .

50

Vous aimerez peut-être aussi