TP 1

Installation et configuration d’Apache Hadoop

Objectif :

Afin de réaliser ce TP on doit suivre les étapes suivantes :

Etape 1 (téléchargement et installation)

 Télécharger et installer java

 Télécharger et installer hadoop

Etape 2 (paramétrage des variables d’environnement)

 Java_Home
 Hadoop_Home

Etape 3 (configuration d’Hadoop)

 Modifier 5 fichiers
 Copier le fichier winutils

Etape 4 (Tester Hadoop)

 Tester les commandes de démarrage

 Tester les commandes d’arrêt

I. Etape 1 (téléchargement et installation)

Hadoop

Pour télécharger Hadoop visitez le site web mentionné sur la figure et cliquer sur download

Vous pouvez remarquer un dossier compresser est encours de téléchargement

Extraire le dossier dans C et nommé le Hadoop comme suit

1
Télécharger sur google un dossier nommée winutils Hadoop 2.6

Cliquer sur le deuxième lien

Le téléchargement sera lancé

Java

Pour télécharger java il faut vérifier tout d’abord qu’il n’existe plus dans votre machine pour ce faire
démarrer l’invite de commande (cmd) comme suit :

En tapant sur la barre de recherche cmd et en cliquant avec le bouton droit sur Exécuter en tant
qu’Administrateur

Une nouvelle fenêtre qui s’affiche devant vous :

2
Tapez la commande java -version

Vous pouvez remarquer que java n’est pas reconnu

Maintenant on doit télécharger java

Visitez le site web suivant :

Lancer le téléchargement en cliquant sur ce bouton

Après cliquer donwload

Il vous demande de créer un compte

Remplir les champs nécessaires

3
Valider le compte et lancer le téléchargement

Lancer l’installation de java

Cliquer sur change pour changer l’emplacement d’enregistrement

Modifier le comme suit

La même chose ici vous devez changer l’emplacement de l’installation de dossier jre comme suit

4
Créer un nouveau dossier et nommée le jre1.8.0_202

Suivant –suivant--- et close

Vérifier maintenant que l’installation de java est bien réussie

II. Etape 2 (paramétrage des variables d’environnement)

On passera à la configuration d'une variable d'environnement

Pour Java

Tapez variables dans la barre de recherche

5
Cliquer sur variables d’environnement puis sur nouvelle

Ajouter le nom de la variable et le chemin comme la figure

Cliquer sur path puis modifier

6
Ajouter deux le chemin vers les bin de jdk

Pour Hadoop

Refaire la même chose pour Hadoop

Dans les variables d’environnement ajouter un chemin pour Hadoop

Modifier le path et ajouter un chemin vers le bin et sbin

7
Etape 3 (configuration d’Hadoop)

copier le contenu du dossier winutils Hadoop 2.6

Coller le dans Hadoop\bin comme suit

Entrer dans le chemin suivant

C:\hadoop\etc\hadoop

On doit éditer et modifier 5 fichiers :

Core site.xml

Apporter les modifications suivantes

Le deuxième fichier est hdfs site.xml

Apporter les modifications suivantes

8
Le 3ème fichier est yarn site.xml

Apporter les modifications suivantes

Le 4ème fichier est yarn site.xml

Apporter les modifications suivantes

Le 5ème fichier est hadoop-env

Apporter les modifications suivantes

9
Etape 4 (Tester Hadoop)

Avant de commencer vérifier que Hadoop a été bien installer pour ce faire taper la commende
Hadoop –version

On va lancer la commande de formatage hdfs namenode -format

On peut remarquer la création du dossier namenode

Dans le namenode on peut trouver les deux fichier fsimage et edits

On peut démarrer le namenode et le datanode avec la commande start-dfs

10
On peut remarquer le démarrage de deux fenêtres namenode et datanode

On peut remarquer la création du dossier datanode

Dans le dataenode on trouve un fichier version qui vient du namenode

Démarrer maintenant yarn

Avec la commande start-yarn

et on peut remarquer l’exécution du nodemanager et resourcemanager

11
Vérifier le démarrage des ressources de notre cluster avec la commande jps

Exécuter maintenant la commande stop-dfs

On remarque que deux fenêtres qui sont fermé le namenode et le datanode

Exécuter la commande stop-yarn

On remarque que deux fenêtres qui sont fermé le resourcemanager et le datamanager

Avec la commande start-all vous pouvez démarrer tous les composants

On peut voir maintenant le web en tapant http://localhost:8088/cluster

C’est lien vers resourcemanager dans lequel on trouve toute les tache programmé

Avec le deuxième lien on peut voir des informations sur le cluster et datanode

12
Dans les utilities – browse the file system on va créer des fichier et des base de données

Finalement

Avec la commande stop-all vous pouvez fermer tous les composants

13