Discipline : 5-info Matière : Big Data

Enseignantes : Dr. Dalel kanzari & Mme. Mayssa Ben Kahla

TP3 : Traitement des données par Hadoop MapReduce

MapReduce est un patron d’architecture de développement permettant de

traiter les données volumineuses de manière parallèle et distribuée.
Il se compose principalement de deux types de programmes :
– Les Mappers: permettent d’extraire les données nécessaires sous forme de
clef/valeur,
– Les Reducers: permettent à partir d’un ensemble de données triées selon
leur clef d’effectuer des traitements d’agrégation sur ces données (somme,
moyenne, total…)
Démarche:

1.Demarrer Intellij Idea

2. File → New → Project → Maven
3. Mise a jour du fichier Pom .xml :
 Discipline : 5-info Matière : Big Data
Enseignantes : Dr. Dalel kanzari & Mme. Mayssa Ben Kahla

4. Creation du package bigdata,tp3 sous le repertoire

src/main/java
5. Creation de la classe MyMapper, contenant le code
suivant:
 Discipline : 5-info Matière : Big Data
Enseignantes : Dr. Dalel kanzari & Mme. Mayssa Ben Kahla

6. Création de la classe MyReducer, contenant le code

suivant:
 Discipline : 5-info Matière : Big Data
Enseignantes : Dr. Dalel kanzari & Mme. Mayssa Ben Kahla

7. Création de la classe main WordCount, contenant le code

suivant :