Ministère de l’éducation supérieure

Université de Carthage
*****
Institut National des sciences
appliquées et de technologie

Compte rendu du TP 1 en Big

Data
Filière: Réseaux et Télécommunications
Niveau: 4éme année

Réalisé par:
Belkacem Mohamed Ghaith

Année universitaire: 2020/2021

Objectifs du TP:
Se familiariser avec le framework hadoop et patron d'architecture MapReduce, et
puis d’utiliser docker afin de lancer un cluster hadoop composé 3 nœuds et tester la
wordcount application en utilisant un fichier input.

Etapes pour préparer l’environnement:

1. Télécharger l'image docker uploadée sur dockerhub
docker pull liliasfaxi/spark-hadoop:hv-2.7.2

2. Créer les trois contenaires à partir de l'image téléchargée.

2.1. Créer un réseau qui permettra de relier les trois contenaires
docker network create --driver=bridge hadoop

2.2. Créer et lancer les trois contenaires

docker run -itd --net=hadoop -p 50070:50070 -p 8088:8088 -p 7077:7077 -p
16010:16010 \
--name hadoop-master --hostname hadoop-master \
liliasfaxi/spark-hadoop:hv-2.7.2

docker run -itd -p 8040:8042 --net=hadoop \

--name hadoop-slave1 --hostname hadoop-slave1 \
liliasfaxi/spark-hadoop:hv-2.7.2

docker run -itd -p 8041:8042 --net=hadoop \

--name hadoop-slave2 --hostname hadoop-slave2 \
liliasfaxi/spark-hadoop:hv-2.7.2

3. Entrer dans le contenaire master pour commencer à l'utiliser.

docker exec -it hadoop-master bash
 La première chose à faire, une fois dans le contenaire, est de lancer hadoop
./start-hadoop.sh

4. Créer un répertoire dans HDFS, appelé input.

hadoop fs –mkdir -p input

5. Charger le fichier purchases dans le répertoire input créé:

hadoop fs –put purchases.txt input

6. Pour afficher les dernières lignes du fichier purchases:

hadoop fs -tail input/purchases.txt
 Map Reduce
Etapes:
1. Créer un projet Maven dans IntelliJ IDEA
2. Ouvrir le fichier pom.xml, et ajouter les dépendances pour Hadoop, HDFS et
Map Reduce
3. Créer un package tn.insat.tp1 sous le répertoire src/main/java
4. Créer la classe TokenizerMapper
5. Créer la classe IntSumReducer
6. Créer la classe WordCount
7. Tester Map Reduce en local
7.1. Créer un répertoire input sous le répertoire resources du projet.
7.2. Créer un fichier de test: file.txt dans lequel on insère les deux lignes:
Hello Wordcount!
Hello Hadoop!
8. Créer une configuration de type Application
9. Définir comme Main Class: tn.insat.tp1.WordCount, et comme Program
Arguments: src/main/resources/input/file.txt src/main/resources/output
Après avoir suivi l’énoncé du TP 1, voici le resultat d’execution du programme qui est trouvé
dans le fichier part-r-00000 sous le dossier output:

Lancer Map Reduce sur le cluster

Steps:

1. Créer une configuration Maven avec la ligne de commande: package install

2. Lancer la configuration. Un fichier wordcount-1.jar sera créé dans le répertoire
target du projet.
3. Copier le fichier jar créé dans le contenaire master avec la commande:
docker cp target/wordcount-1.jar hadoop-master:/root/wordcount-1.jar
4. Revenir au shell du contenaire master, et lancer le job map reduce avec cette
commande:
hadoop jar wordcount-1.jar tn.insat.tp1.WordCount input output7
En affichant les dernières lignes du fichier généré output7/part-r-00000, avec
hadoop fs -tail output7/part-r-00000, on obtient l'affichage suivant: