Master Spécialisé

Ingénierie de Données et Développement Logiciel

BIG DATA ANALYTICS

Apache Hadoop Labs
L’objectif de de ce TP 1 – Hadoop MapReduce : est de coder une application
MapReduce en utilisant Java, cette application a pour but de trouver la
température moyenne mensuelle la plus élevée.

Après le téléchargement des outils nécessaires (VMware Workstation,

Machine viruelle VMWare Cloudera CDH, Putty, WinSCP), nous configurons
les paramètres réseau de la machine virtuelle

Nous démarrons notre machine virtuelle et nous récupérons son adressage

ip.
Nous se connectons sur notre machine via SSH depuis le client putty

On se loge en utilisant le login Cloudera et le mot de passe cloudera

Nous configurons le client WInSCP de la façon suivante afin de pouvoir

transférer les fichiers.
TP1
Charger et examiner les données de l'échantillon (Sample Data)
Sur Putty :

Nous transférons le fichier BDU_MapReduce_and_YARN.tar sur notre

machine via winSCP
Nous téléchargeons les données de température vers HDFS
Démarrage du Projet Java
Créons un répertoire contenant les trois fichiers Java que nous allons créer
et rendez-le accessible. Le répertoire sera utilisé pour contenir les artefacts
du programme et pour le séparer des autres éléments du système de
fichiers.

Classe Mapper
Nous créons un nouveau fichier Java MaxTempMapper.java

Classe Reducer
Le Driver

Compilation et création du fichier JAR

Nous lançons notre fichier JAR
Ajoutons la fonction combiner
Nous relançons l’application en utilisant l’utilisateur HDFS